创建包含 allow、disallow、crawl-delay 和 sitemap 规则的有效 robots.txt 文件。
控制搜索引擎抓取您网站的方式。为每个 user-agent 添加规则，加入您的站点地图，并下载可直接上传的文件。
它必须从您域名的根目录提供，例如 https://example.com/robots.txt。
不会。该工具完全在您的浏览器中运行，必要时使用 JavaScript 和 WebAssembly。您的文件和文本绝不会离开您的设备。
我们会定期改进工具。发现问题或有建议？我们在倾听。