Crie um ficheiro robots.txt válido com regras de allow, disallow, crawl-delay e sitemap.
Controle a forma como os motores de busca rastejam o seu site. Adicione regras por user-agent, inclua o seu sitemap e transfira um ficheiro pronto a publicar.
Tem de ser servido a partir da raiz do seu domínio, por exemplo https://example.com/robots.txt.
Não. Esta ferramenta funciona inteiramente no seu navegador com JavaScript e WebAssembly quando necessário. Os seus ficheiros e textos nunca saem do seu dispositivo.
Melhoramos nossas ferramentas regularmente. Encontrou um problema ou tem uma sugestão? Estamos ouvindo.