Holen Sie sich die robots.txt einer Website und sehen Sie, welche Crawler erreicht werden dürfen.
Demo-Tool – die Ergebnisse sind Beispieldaten aus keiner Live-Abfrage.
robots.txt ist eine kleine Datei am Stamm Ihrer Website, die den Suchmaschinen-Crawlern mitteilt, welche Pfade sie möglicherweise anfordern und welche nicht. Verstehen Sie es falsch und Sie können Google versehentlich von Ihrer gesamten Website blockieren - oder Administratorpfade crawlbar lassen, die Sie lieber ruhig halten möchten.
Dieses Tool holt robots.txt ab und zeigt die darin enthaltenen Regeln an, sodass Sie bestätigen können, dass wichtige Seiten crawlbar sind, sensible Pfade nicht erlaubt sind und Ihre Sitemap verknüpft ist.
Um eine Seite aus den Ergebnissen herauszuhalten, verwenden Sie stattdessen ein Noindex-Meta-Tag - eine nicht erlaubte Seite kann immer noch über Links indiziert werden.
Normalerweise verbietet es /wp-admin/, erlaubt aber /wp-admin/admin-ajax.php und Links zur Sitemap. Es sollte CSS oder JS nicht blockieren.
Immer am Domain-Root - zum Beispiel https://example.com/robots.txt. WordPress generiert eine virtuelle Datei, wenn keine physische Datei existiert.
Performance, Sicherheit und die nötigen WordPress-Werkzeuge, vollständig verwaltet, damit Ihre Prüfungen erfolgreich bleiben.