أحضر robots.txt لموقع ما وشاهد ما يسمح للزواحف بالوصول إليه.
أداة تجريبية – النتائج بيانات نموذجية وليست استعلامًا مباشرًا.
robots.txt هو ملف صغير في جذر موقعك يخبر برامج الزحف لمحرك البحث عن المسارات التي قد يطلبونها وقد لا يطلبونها. قم بخطأ ويمكنك حظر Google بطريق الخطأ من موقعك بالكامل - أو اترك مسارات المشرف قابلة للزحف والتي تفضل الحفاظ عليها هادئة.
تجلب هذه الأداة robots.txt وتعرض القواعد التي تحتوي عليها ، حتى تتمكن من تأكيد الصفحات المهمة القابلة للزحف ، وعدم السماح بالمسارات الحساسة ، وربط ملف Sitemap الخاص بك.
يتوقف الزحف ، وليس الفهرسة. للحفاظ على الصفحة من النتائج ، استخدم علامة ميتا noindex بدلاً من ذلك - لا يزال من الممكن فهرسة صفحة غير مسموح بها من الروابط.
عادة ما لا يسمح /wp-admin / ولكنه يسمح /wp-admin/admin-ajax.php ، وروابط إلى خريطة الموقع. يجب ألا يحظر CSS أو JS.
دائما في جذر المجال - على سبيل المثال https://example.com/robots.txt. WordPress يولد واحد الظاهري إذا لم يكن هناك ملف مادي موجود.
الأداء والأمان وأدوات ووردبريس التي تحتاجها بإدارة كاملة، لتظل نتائج هذه الفحوص سليمة.