El archivo robots.txt también puede usarse para indicar donde se encuentra nuestro sitemap, añadiendo en la última línea del documento:

Sitemap: http://www.ejemplo.com/sitemap.xml

Por lo tanto, un ejemplo de robots.txt completo para Wordpress se vería así:

User-agent:*
Disallow:/wp-admin
Sitemap:http://www.ejemplo.com/sitemap.xml

Si quieres profundizar más en detalle sobre este archivo, es recomendable visitar la
web con la información sobre el estándar.

Meta etiqueta robots
La meta etiqueta “robots” se utiliza para decirle a los robots de los motores de
búsqueda si pueden o no indexar la página y si deben seguir los enlaces que contiene.
A la hora de analizar una página deberás comprobar si hay alguna meta etiqueta
que por error esté bloqueando el acceso a estos robots. Este es un ejemplo de
cómo se verían estas etiquetas en el código HTML:

<meta name=”robots” content=”noindex, nofollow”>

Por otra parte las metaetiquetas son muy útiles para evitar que Google indexe

ANTONIO RODRÍGUEZ CASTRO
Página 4