Gracias al archivo Robots.txt, podemos guiar a los buscadores en el rastreo de una web y evitar que almacenen en su base de datos ciertas URL’s, carpetas o cualquier archivo que no quieres indexar en los buscadores.
Para crear un robots txt básico simplemente debemos crear un documento con el “Notepad” o similar, con el nombre de “robots.txt”, en este documento pondremos como encabezamiento:
User-agent: *
y a continuación Disallow:
Detrás del Disallow pondremos lo que no queremos que sea indexado, ejemplo:
Disallow: /*.PDF$
Disallow: /*.jpeg$
Te recomiendo la siguiente herramienta, muy fácil de utilizar y que crea automáticamente los robots.txt: http://www.mcanerin.com/EN/search-engine/robots-txt.asp
Si ya disponéis de unos robots.txt y queréis ver si disponen de algún fallo, podeis usar la siguiente herramienta: http://tool.motoricerca.info/robots-checker.phtml
