El documento robots.txt es una recurso fundamental para la página web que busca estar bien posicionada por los buscadores como Chrome . Opera como una directorio para los rastreadores , indicándoles qué áreas de tu web pueden deben crawleadas y cuáles no . La adecuada configuración de este fichero sirve a prevenir problemas de posicionamiento