Fonctionnement
L'outil formate les instructions : 'User-agent' cible le robot, 'Disallow' bloque l'accès à un chemin. Il assemble ces règles dans le bon ordre pour être lues par les moteurs.
What is Générateur de Robots.txt?
Le fichier robots.txt est un protocole d'exclusion standard. Il indique aux robots d'exploration (crawlers) quelles URL ils peuvent accéder. C'est essentiel pour le SEO technique et la gestion de la charge serveur.
Guide Étape par Étape
- Cible – Choisissez '*' ou un bot spécifique.
- Restrictions – Ajoutez les dossiers à bloquer.
- Sitemap – Indiquez l'URL de votre sitemap.
- Création – Copiez le texte généré.
Example
Input: Bloquer /prive/
Result: User-agent: * Disallow: /prive/
FAQ
Que signifie User-agent: * ?
Les règles s'appliquent à tous les robots.
Peut-on bloquer des fichiers ?
Oui, par exemple Disallow: /*.pdf.
Est-ce sécurisé ?
Non, c'est une directive publique, pas un pare-feu.
Casse sensible ?
Oui, les majuscules comptent dans les chemins.
Comment tester ?
Utilisez l'outil de test du robots.txt de Google.
Conclusion
Gérez votre budget de crawl efficacement. Attention : bloquer une page via robots.txt n'empêche pas son indexation si elle a des liens entrants. Pour désindexer, utilisez la balise meta 'noindex'.