Générateur de robots.txt
Générez un fichier robots.txt pour contrôler l'accès des robots d'indexation à des zones spécifiques de votre site web.
- Spécifiez les règles Allow et Disallow
- Ajoutez l'URL du sitemap
- Téléchargez ou copiez le fichier généré
- Traitement local uniquement
Configuration et sortie de robots.txt
L'agent utilisateur auquel s'appliquent les règles. Utilisez * pour tous les robots.
Règles Disallow
Chemins auxquels les robots ne devraient pas accéder. Utilisez un chemin par champ.
Règles Allow
Chemins spécifiques auxquels les robots sont autorisés à accéder.
Sitemap
URL complète de votre fichier sitemap (optionnel).
Cet outil génère des fichiers robots.txt localement dans votre navigateur. Aucune donnée n'est envoyée à un serveur.
Qu'est-ce qu'un fichier robots.txt ?
Un fichier robots.txt indique aux robots d'indexation des moteurs de recherche quelles pages ou fichiers ils peuvent ou ne peuvent pas demander sur votre site.
Directives courantes
- Disallow : Bloque l'accès à des chemins ou fichiers spécifiques
- Allow : Autorise explicitement l'accès à des chemins spécifiques
- Sitemap : Indique l'emplacement de votre fichier sitemap.xml
Limitations importantes
Robots.txt n'est pas un mécanisme de sécurité. Il n'empêche pas l'accès non autorisé au contenu. Les robots malveillants peuvent ignorer robots.txt.
FAQ
Robots.txt garantit-il que les pages ne seront pas indexées ?
Non. Les moteurs de recherche peuvent toujours indexer une page bloquée si d'autres pages y renvoient. Utilisez la balise meta noindex pour empêcher l'indexation.