Crea un archivo robots.txt válido con reglas de allow, disallow, crawl-delay y sitemap.
Controla cómo rastrean los motores de búsqueda tu sitio. Añade reglas por agente de usuario, incluye tu sitemap y descarga un archivo listo para subir.
Debe servirse desde la raíz de tu dominio, por ejemplo https://example.com/robots.txt.
No. Esta herramienta se ejecuta por completo en tu navegador con JavaScript y WebAssembly cuando es necesario. Tus archivos y tu texto nunca salen de tu dispositivo.
Mejoramos nuestras herramientas con regularidad. ¿Encontraste un problema o tienes una sugerencia? Te escuchamos.