Rastreo: URL’s bloqueadas


Los archivos robots.txt restringen el acceso a un
sitio por parte de los robots de motores de búsqueda
que rastrean la Web. Estos robots están automatizados
y, antes de acceder a las páginas de un sitio, verifican si
existe un archivo robots.txt que les impida el acceso a
determinadas páginas
 User-agent: *
 Disallow: /carpeta1/
 User-Agent: Googlebot
 Disallow: /carpeta2/