Vérificateur robots.txt et sitemap
Lecture robots.txt et sitemap via un proxy CORS déclaré.
Cet outil s’exécute dans le navigateur. Noms et étapes sont localisés ; l’interface interactive est la même dans toutes les langues.
How to Use
- Collez l’origine du site (https).
- Acceptez l’avertissement du proxy CORS.
- Consultez Allow/Disallow et le nombre d’URL du sitemap. Ce n’est ni Googlebot ni Search Console.
Key Features
- Lecture seule
- Règles Allow/Disallow
- Nombre d’URL du sitemap
- Pas un crawl