Создайте корректный файл robots.txt с правилами allow, disallow, crawl-delay и sitemap.
Управляйте тем, как поисковые системы сканируют ваш сайт. Добавляйте правила для каждого user-agent, включайте карту сайта и скачивайте готовый к загрузке файл.
Он должен быть доступен из корня вашего домена, например https://example.com/robots.txt.
Нет. Инструмент работает полностью в вашем браузере, при необходимости используя JavaScript и WebAssembly. Ваши файлы и текст никогда не покидают ваше устройство.
Мы регулярно улучшаем наши инструменты. Нашли проблему или есть предложение? Мы слушаем.