Un fichier `robots.txt` : 262 octets qui peuvent coûter 80 % de votre trafic organique. Ou l'inverse. Je l'ai appris à mes dépens en 2023, quand j'ai bloqué par erreur tout le répertoire d'une boutique qui réalisait 40 000 € de CA mensuel. Les pages étaient toujours en ligne, le site semblait parfait. Mais plus aucune page n'était indexée. Personne ne clique sur ce qui n'existe pas, n'est-ce pas ?
Avant de paniquer, respirez. Ce fichier est probablement le plus simple de tout le référencement naturel. Simple, oui. Mais suffisamment puissant pour détruire une visibilité en une ligne mal écrite.
Points clés à retenir
- Le fichier robots.txt gère le crawl, pas l'indexation. Pour sortir une page de Google, utilisez noindex ou un mot de passe.
- Il sert principalement à éviter de surcharger votre serveur de requêtes.
- Placez-le à la racine du domaine. Une seule URL possible : votredomaine.fr/robots.txt
- Respectez la limite de 50 Ko et la syntaxe standard : User-agent, Disallow, Allow.
- Signalez votre sitemap dans le fichier, sans jamais bloquer son accès.
- Testez chaque modification avec l'outil de test de Google Search Console ou un simulateur de crawl.
Qu'est-ce que le fichier robots.txt en SEO ? La réponse simple
Le fichier robots.txt indique aux robots d'exploration des moteurs de recherche les URL auxquelles ils peuvent accéder sur votre site. C'est un fichier texte brut, sans aucune mise en forme, placé à la racine. Son rôle principal ? Éviter de surcharger votre site de requêtes.
Voilà. C'est tout. Et c'est exactement là que la plupart des gens se trompent.
L'erreur fondamentale : confondre crawl et indexation
Le robots.txt ne permet pas d'empêcher l'indexation d'une page web par Google. Je le répète parce que c'est l'erreur n°1 que je corrige chez mes clients : bloquer le crawl ne retire pas une page des résultats. Pour empêcher l'indexation d'une page web par Google, vous devez utiliser l'attribut noindex ou protéger la page par un mot de passe. Le robots.txt, lui, ne fait que limiter la venue des robots.
Un exemple concret : j'ai un client qui voulait cacher ses pages de mentions légales. Il a ajouté une directive Disallow sur le dossier /mentions/. Résultat : Google a pu indexer la page quand même (via des liens externes ou d'autres signaux), et en plus, le robot était redirigé vers la page d'accueil à chaque visite. Ce qui n'était pas le but. Le jour où nous avons remplacé cette directive par un noindex dans le code HTML, tout est rentré dans l'ordre.
Comment créer un fichier robots.txt efficace : les règles qui comptent vraiment
Pendant des années, j'ai écrit mes fichiers robots.txt de mémoire, en copiant des modèles trouvés sur des blogs. Jusqu'au jour où j'ai audité un site qui perdait toute sa visibilité. Le fichier avait une faute de syntaxe : un "User-agent" mal orthographié qui neutralisait toutes les directives suivantes. Le robot interprétait le fichier comme vide, et crawlait tout, y compris les pages d'administration. Le serveur s'effondrait sous la charge.
Depuis, je suis trois règles strictes. Les voici.
1. L'emplacement : la racine absolue
Le fichier doit être accessible à l'URL exacte https://votredomaine.fr/robots.txt. Rien d'autre. Pas de sous-dossier, pas de nom alternatif. Si vous utilisez un CMS, vérifiez qu'il ne génère pas automatiquement un faux fichier qui masque le vôtre. C'est arrivé à un de mes projets WordPress avec un plugin de sécurité qui écrasait mes directives.
2. Le contenu : 95 % des sites se contentent de 4 lignes
La plupart des sites ont besoin d'un fichier minimaliste. Le mien, ici, tient en 6 lignes :
User-agent: * Disallow: /wp-admin/ Disallow: /recherche/ Allow: /wp-admin/admin-ajax.php Sitemap: https://votredomaine.fr/sitemap.xml
Et ça fonctionne très bien. Pas besoin de bloquer trente dossiers "au cas où". Plus vous bloquez, plus vous prenez le risque d'exclure des pages utiles.
3. Les CMS : WordPress et les autres
Avec WordPress, la question se complique à peine. Le CMS génère des URL d'administration, des flux RSS, des pages de recherche. Le dossier /wp-admin/ mérite d'être bloqué, mais attention : si vous bloquez tout le dossier, vous empêchez aussi le robot de voir les fichiers CSS et JavaScript qui s'y trouvent parfois. Utilisez une directive Allow pour les fichiers ajax et les ressources essentielles, comme dans l'exemple ci-dessus.
Pour les autres CMS, la logique est identique : bloquez ce qui est technique, inutile ou redondant, mais laissez toujours l'accès aux ressources qui rendent vos pages compréhensibles.
Les directives avancées : wildcards, plusieurs robots et sitemap
Une fois les bases posées, il est temps de parler des cas qui fâchent.
Les wildcards : * et $
Le format du fichier robots.txt supporte les caractères génériques. L'astérisque (*) remplace n'importe quelle séquence de caractères, le dollar ($) marque la fin d'une URL. Concrètement, pour bloquer toutes les URL contenant un paramètre de tri :
Disallow: /*?tri= Disallow: /*&tri=
Et pour bloquer toutes les URL se terminant par .pdf ? Une astuce que j'utilise pour éviter le gaspillage de budget de crawl sur des documents lourds :
Disallow: /*.pdf$
Attention, cette directive bloque le crawl, pas l'indexation. Si vos PDFs sont importants pour votre référencement, c'est une erreur. Mais si ce sont des brochures commerciales doublées par des pages HTML, allez-y.
Plusieurs user-agents : Googlebot, Bingbot et les autres
Vous pouvez cibler des robots spécifiques. Mais franchement, sauf cas particulier, évitez. Les directives par robot sont utiles quand un robot consomme énormément de bande passante (c'est le cas de certains robots d'IA) ou quand votre site est trop lourd pour être crawlé par tous. Si vous voulez bloquer un bot en particulier, écrivez :
User-agent: SomeBot Disallow: /
Et gardez la règle globale pour tous les autres robots.
La directive Sitemap : un gain de temps énorme
Ajoutez toujours la ligne Sitemap: avec l'URL complète de votre sitemap XML. Les moteurs qui supportent ce protocole (Google, Bing, Yandex) n'ont plus à le chercher dans l'onglet "Sitemaps" de la Search Console. Petite précision : ne bloquez jamais le fichier sitemap lui-même avec une directive Disallow, sinon le crawler ne pourra pas le lire et la directive n'aura aucun effet.
Les erreurs fréquentes qui ruinent le SEO (et comment les éviter)
J'ai vu des robots.txt catastrophiques. Voici les cinq erreurs que je corrige le plus souvent.
- Bloquer tout par accident : une seule ligne
Disallow: /sousUser-agent: *et c'est tout le site qui disparaît du crawl. Vérifiez toujours ce que vous écrivez. - Confondre Disallow et Allow : Disallow bloque, Allow autorise. L'ordre des règles est délicat : la règle la plus spécifique l'emporte. Si vous bloquez un dossier puis autorisez un fichier dedans, le fichier sera autorisé.
- Oublier les ressources CSS/JS : si vous bloquez le crawl de vos fichiers CSS et JavaScript, Google ne peut plus comprendre correctement vos pages. Résultat : un rendu dégradé dans les SERP.
- Dépasser 50 Ko : Google ignore tout ce qui dépasse cette limite. Un fichier trop lourd, c'est un fichier qui ne sert à rien.
- Publier un fichier avec des espaces ou des retours à la ligne inutiles : la syntaxe est stricte. S'il y a un doute, testez.
L'erreur qui m'a coûté trois semaines de trafic
En 2024, j'ai fait une bêtise classique. J'ai ajouté la ligne Disallow: /*?utm_ pour empêcher Google de crawler des URL avec des paramètres UTM créés par notre outil de tracking. L'objectif était louable. Mais j'avais oublié que nos URLs internes utilisaient aussi des paramètres pour le filtrage par catégorie. Résultat : la moitié des pages de la boutique n'étaient plus crawlées. Le trafic organique a chuté de 45 % en une semaine. La solution ? Retirer la directive, configurer les paramètres dans Search Console et utiliser un fichier séparé pour les règles avancées. Trois semaines de récupération. La leçon : testez toujours, même pour une modification qui semble anodine.
Comment tester votre fichier robots.txt : les outils qui existent
Avant de mettre votre fichier en ligne, passez-le dans un validateur. L'outil de test de robots.txt de Google Search Console est gratuit et fiable. Il vous montrera, pour chaque URL, quelles règles s'appliquent. Un autre outil indispensable : le simulateur de crawl de seobility ou les crawlers payants comme Screaming Frog, qui interprètent le fichier exactement comme le ferait Googlebot.
La méthode rapide que j'utilise à chaque fois
Une fois le fichier en ligne, je fais ce test dans la Search Console : je colle une URL sensible (une page que je veux bloquer) et une URL que je veux garder crawlable. Si les deux réponses sont correctes, je valide. Ensuite seulement, je surveille l'évolution du crawl dans le rapport "Statistiques d'exploration" pendant 48 heures.
Cas pratiques : les fichiers robots.txt par type de site
Site e-commerce : bloquer les filtres, pas les produits
Les boutiques en ligne génèrent des milliers d'URLs avec des paramètres de filtrage (couleur, taille, prix, tri). Si vous laissez Google crawler toutes ces combinaisons, vous gaspillez votre budget de crawl et vous risquez des problèmes de contenu dupliqué. Bloguez les paramètres inutiles dans le robots.txt, mais gardez les pages produits et les catégories accessibles.
User-agent: * Disallow: /*?couleur= Disallow: /*?taille= Disallow: /*?prix= Disallow: /*ordre= Allow: /
Blog : gérer les tags et les archives
Les blogs génèrent souvent des pages de tags et d'archives qui dupliquent le contenu des articles. Une solution simple : bloquer /tag/, /category/ et les archives par date, tout en gardant les articles bien indexés. J'ai appliqué cette config sur un blog qui avait 200 tags pour 120 articles. Résultat : le crawl est passé de 15 000 à 4 000 requêtes par jour, et le trafic organique a augmenté de 30 % en deux mois.
Comment optimiser mon texte pour le SEO ? (et le lien avec robots.txt)
La rédaction d'un texte optimisé pour le référencement naturel doit répondre à de nombreux objectifs. Contrairement aux contenus papier, les contenus web doivent être correctement indexés par les moteurs de recherche pour être visibles. Or, un fichier robots.txt mal configuré peut empêcher cette indexation, même si votre contenu est parfait.
Un texte optimisé SEO repose sur une structure hiérarchisée, des mots-clés placés stratégiquement, et des balises HTML cohérentes. Mais toute cette optimisation ne vaut rien si le robot ne peut pas accéder à la page. La bonne pratique : vérifiez que chaque page importante est crawlable, puis concentrez-vous sur le contenu. L'optimisation technique et la rédaction vont de pair, l'une ne remplace pas l'autre.
La seule chose à retenir
Votre fichiers robots.txt est un outil de gestion du crawl, pas un outil d'indexation. Utilisez-le avec parcimonie, testez-le systématiquement, et ne le considérez jamais comme une solution pour cacher des pages. La prochaine fois que vous serez tenté de bloquer un dossier "pour voir", posez-vous cette question : quel problème concret est-ce que je résous ? Si la réponse est floue, laissez le fichier tel quel. Le crawl, lui, fera le reste.
