Trae los robots.txt de un sitio y vea lo que los rastreadores se permiten alcanzar.
Herramienta de demostración — los resultados son ejemplos de datos, sin consultas en tiempo real.
robots.txt es un pequeño archivo en la raíz de su sitio que dice a los rastreadores de Search-engine que caminos pueden y no pueden solicitar. Obtenga el error y usted puede accidentalmente bloquear Google de todo su sitio - o dejar las rutas de administración gateable que usted prefiere mantener silencio.
Esta herramienta hace que robots.txt y muestra las reglas que contiene, por lo que puede confirmar páginas importantes son rastreables, caminos sensibles están desahuecados, y su mapa de sitio está conectado.
Para mantener una página fuera de los resultados, utilice una meta tag noindex en su lugar - una página no aceptada todavía puede ser indexado de los enlaces.
Típicamente se desahoga /wp-admin/ pero permite /wp-admin/admin-ajax.php, y enlaces a la hoja de sitio. No debe bloquear CSS o JS.
Siempre en la raíz de dominio - por ejemplo https://example.com/robots.txt. WordPress genera una virtual si no existe un archivo físico.
Rendimiento, seguridad y las herramientas de WordPress que necesitas, con gestión incluida para que estas comprobaciones salgan bien.