Constructor de Robots.txt
Configura visualmente las reglas para rastreadores y genera un archivo robots.txt válido.
Herramientas relacionadas
Cómo Usarlo
- 1Elige un ejemplo o crea grupos para cada User-agent.
- 2Añade rutas Allow y Disallow por línea o separadas por comas y prueba la coincidencia más larga.
- 3Añade una URL absoluta del sitemap, revisa avisos y copia o descarga robots.txt.
Sobre esta herramienta
User-agent selecciona un grupo de rastreadores. Disallow solicita no rastrear rutas coincidentes y Allow puede abrir una ruta más específica. Sitemap apunta a una URL absoluta. Son errores comunes dejar vacío User-agent, duplicar o contradecir rutas y usar robots.txt como seguridad. Todo se genera y prueba localmente.