Aller au contenu principal

Générateur de robots.txt

Configurez visuellement les règles pour robots d'indexation et générez un fichier robots.txt valide.

Comment ça marche

  1. 1Choisissez un exemple ou créez des groupes pour chaque User-agent.
  2. 2Ajoutez les chemins Allow et Disallow par ligne ou séparés par des virgules, puis testez la correspondance la plus longue.
  3. 3Ajoutez une URL absolue de sitemap, vérifiez les alertes, puis copiez ou téléchargez robots.txt.

À propos de cet outil

User-agent cible un groupe de robots. Disallow demande de ne pas explorer les chemins correspondants ; Allow peut rouvrir un chemin plus précis. Sitemap indique une URL absolue. Un User-agent vide, des règles dupliquées ou contradictoires et l’usage comme sécurité sont des erreurs courantes. Tout reste local dans le navigateur.

Questions Fréquentes