Spambots

El archivo robots.txt

El otro día en ¿Cómo crear un sitio web bajo WordPress con uno o varios alias de nombre de dominio?, os esbozábamos apenas unas cuantas líneas sobre el archivo robots.txt, y hoy queremos profundizar un poco más en este pequeño y, en apariencia, insignificante, pero importantísimo archivo. Pero empecemos por el principio, ¿qué es el archivo robots.txt? La respuesta a esta pregunta es igual de simple y sencilla que el propio archivo, es un archivo de texto que sirve para indicar, ojo, sólo indicar, a los buscadores web, bueno en realidad a los robots, web bots, bots, spiders, arañas, indexadores [...]