Cómo Funciona
La herramienta construye la sintaxis: 'User-agent' define el robot, y 'Disallow' define la ruta prohibida. También permite añadir la ubicación del Sitemap.
What is Generador de Robots.txt?
El archivo robots.txt indica a los motores de búsqueda qué partes de su sitio web pueden visitar y cuáles no. Es la primera línea de defensa para gestionar el presupuesto de rastreo y la privacidad del servidor.
Guía Paso a Paso
- Elegir Agente – Use '*' para todos o especifique bots.
- Bloquear Rutas – Escriba carpetas como /admin/.
- Añadir Sitemap – Enlace su mapa del sitio.
- Generar – Copie el código resultante.
Example
Input: Bloquear /admin/
Result: User-agent: * Disallow: /admin/
Preguntas Frecuentes
¿Qué hace Disallow: /?
Bloquea TODO el sitio web para los rastreadores.
¿Es sensible a mayúsculas?
Sí, /Admin/ y /admin/ son rutas diferentes.
¿Cómo permito todo?
Deje la línea Disallow vacía.
¿Protege archivos privados?
No es seguridad real; los archivos aún son accesibles públicamente si se conoce el enlace.
¿Dónde se sube?
En la carpeta raíz de su dominio (ej. misitio.com/robots.txt).
Conclusión
Un robots.txt mal configurado puede desaparecer su sitio de Google. Use esta herramienta para generar sintaxis segura y recuerde que 'Disallow' no es lo mismo que 'Noindex'.