Créez un fichier robots.txt valide avec des règles allow, disallow, crawl-delay et sitemap.
Contrôlez la façon dont les moteurs de recherche explorent votre site. Ajoutez des règles par user-agent, incluez votre sitemap et téléchargez un fichier prêt à mettre en ligne.
Il doit être servi à la racine de votre domaine, par exemple https://example.com/robots.txt.
Non. Cet outil fonctionne entièrement dans votre navigateur avec JavaScript et WebAssembly lorsque nécessaire. Vos fichiers et votre texte ne quittent jamais votre appareil.
Nous améliorons régulièrement nos outils. Vous avez trouvé un problème ou une suggestion ? Nous vous écoutons.