Robots.txt-Generator
Konfigurieren Sie Crawler-Regeln visuell und erzeugen Sie eine gültige robots.txt-Datei.
Ähnliche Tools
So funktioniert es
- 1Wählen Sie eine Vorlage oder erstellen Sie Regelgruppen je User-Agent.
- 2Geben Sie Allow- und Disallow-Pfade zeilen- oder kommagetrennt ein und prüfen Sie den längsten Treffer.
- 3Fügen Sie eine absolute Sitemap-URL hinzu, prüfen Sie Warnungen und kopieren oder laden Sie robots.txt herunter.
Über dieses Tool
User-Agent wählt eine Crawler-Gruppe. Disallow sperrt passende Pfade für Crawling, Allow kann einen spezifischeren Pfad öffnen. Sitemap verweist auf eine absolute Sitemap-URL. Häufige Fehler sind leere User-Agents, doppelte oder widersprüchliche Pfade und die Verwechslung mit Zugriffsschutz. Alles wird lokal im Browser erzeugt und getestet.