Trouvez les robots.txt d'un site et voyez ce que les rampeurs sont autorisés à atteindre.
Outil de démonstration – les résultats sont des exemples de données, sans vérification en direct.
robots.txt est un petit fichier à la racine de votre site qui indique aux chercheurs-moteurs les chemins qu'ils peuvent et ne peuvent pas demander. Get it wrong et vous pouvez accidentellement bloquer Google de tout votre site - ou laisser les chemins d'administration rampables que vous préférez garder tranquille.
Cet outil récupère robots.txt et montre les règles qu'il contient, de sorte que vous pouvez confirmer que les pages importantes sont rampables, les chemins sensibles sont refusés, et votre plan du site est lié.
Pour garder une page hors des résultats, utilisez plutôt une méta-balise noindex - une page refusée peut toujours être indexée à partir de liens.
Généralement, il ne permet pas /wp-admin/ mais permet /wp-admin/admin-ajax.php, et des liens vers le plan du site. Il ne devrait pas bloquer CSS ou JS.
Toujours à la racine du domaine - par exemple https://example.com/robots.txt. WordPress génère un virtuel si aucun fichier physique n'existe.
Performances, sécurité et outils WordPress, entièrement gérés pour que ces vérifications restent au vert.