Entwickler

robots.txt-Generator

Erstellen Sie eine gültige robots.txt-Datei mit Regeln für Allow, Disallow, Crawl-Delay und Sitemap.

Steuern Sie, wie Suchmaschinen Ihre Website crawlen. Fügen Sie Regeln pro User-Agent hinzu, binden Sie Ihre Sitemap ein und laden Sie eine fertige Datei herunter.

Tool wird geladen…

Datenschutz: Ein schnelles, privates ToolPilot-Dienstprogramm. Ihre Daten werden nach Möglichkeit lokal in Ihrem Browser verarbeitet.

So geht's:

1Fügen Sie eine oder mehrere User-Agent-Regelgruppen hinzu.
2Legen Sie Allow- und Disallow-Pfade fest.
3Fügen Sie Ihre Sitemap-URL hinzu und laden Sie robots.txt herunter.

Häufig gestellte Fragen

Wohin gehört die robots.txt?

Sie muss vom Stammverzeichnis Ihrer Domain ausgeliefert werden, zum Beispiel https://example.com/robots.txt.

Werden meine Dateien auf einen Server hochgeladen?

Nein. Dieses Tool läuft vollständig in Ihrem Browser – mit JavaScript und, wo nötig, WebAssembly. Ihre Dateien und Texte verlassen Ihr Gerät nie.

robots.txt-Generator

So geht's:

Häufig gestellte Fragen

Hilf uns, besser zu werden

Ähnliche Tools

URL-Encoder / Decoder

JSON-Formatierer & Validator

Markdown zu HTML

HTML-Minifizierer