Verificador de robots.txt e sitemap
Leitura de robots.txt e sitemap via proxy CORS declarado.
Esta ferramenta roda no navegador. Nomes e passos estão localizados; a interface interativa é a mesma em todos os idiomas.
How to Use
- Cole a origem do site (https).
- Aceite o aviso do proxy CORS.
- Veja Allow/Disallow e a contagem de URLs do sitemap. Não é Googlebot nem Search Console.
Key Features
- Somente leitura
- Regras Allow/Disallow
- Contagem de URLs do sitemap
- Não é um crawl