Robots.txt est un fichier texte situé à la racine de votre site web qui indique aux moteurs de recherche quelles parties ils peuvent explorer. Un fichier robots.txt correctement configuré évite que Google ne perde du temps sur des pages peu importantes comme l’environnement d’administration ou les résultats de recherche, et garantit que votre véritable contenu reçoit la priorité. Ci-dessous, vous découvrirez comment créer, tester et ajuster ce fichier vous-même.
Ce que fait robots.txt et ce qu’il ne fait pas
Robots.txt fournit des directives aux robots d’exploration concernant les dossiers et pages qu’ils peuvent visiter. Il est surtout utile pour orienter le budget d’exploration vers le contenu important et pour tenir les moteurs de recherche à l’écart des dossiers d’administration, des pages de filtres ou des résultats de recherche internes. Ce que le fichier ne fait pas : masquer réellement le contenu. Une page que vous bloquez avec Disallow peut parfois quand même apparaître dans les résultats de recherche si un lien externe y pointe, mais sans description. Pour les pages qui ne doivent absolument pas être indexées, utilisez une balise meta noindex au lieu de (ou en plus de) robots.txt.
Créer robots.txt dans WordPress
Avant de commencer, vérifiez d’abord que WordPress lui-même ne bloque pas l’indexation. Ensuite, créez le fichier manuellement pour un contrôle total.
Vérifiez le paramètre de visibilité
Allez dans Réglages → Lecture dans le tableau de bord WordPress et assurez-vous que l’option « Empêcher les moteurs de recherche d’indexer ce site » est désactivée.
Ouvrez le gestionnaire de fichiers
Connectez-vous à votre compte d’hébergement et ouvrez le gestionnaire de fichiers ou une connexion SFTP. Naviguez vers le dossier public_html, le dossier racine de votre site web.
Créez robots.txt
Créez un nouveau fichier texte avec le nom exact robots.txt, sans extension supplémentaire, et placez-le dans le dossier racine.
Ajoutez les règles et enregistrez
Collez la configuration souhaitée (voir exemples ci-dessous) dans le fichier et enregistrez-le.
Vérifiez le résultat
Ouvrez votresite.fr/robots.txt dans le navigateur pour vérifier que le fichier s’affiche correctement.
Exemples pratiques
Une configuration de base simple et sûre pour la plupart des sites WordPress :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /trackback/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://votresite.fr/sitemap.xml
Explication des règles les plus importantes :
Disallow: /wp-admin/ bloque le panneau d’administration, mais Allow: /wp-admin/admin-ajax.php maintient accessible un fichier dont beaucoup de plugins et de thèmes ont besoin pour fonctionner correctement. Disallow: /?s= évite que les résultats de recherche internes soient indexés comme des doublons. Allow: /wp-content/uploads/ garantit que les images restent trouvables dans Google Images. La règle Sitemap indique aux robots d’exploration où trouver votre sitemap XML afin qu’ils découvrent plus rapidement le nouveau contenu. Évitez de bloquer /wp-content/plugins/ ou des dossiers de thèmes entiers, car certains fichiers CSS et JS qu’ils contiennent sont nécessaires pour que Google affiche correctement les pages.
Tester et vérifier
Après chaque modification, vérifiez que le fichier fonctionne comme prévu. Ouvrez directement l’URL de votre robots.txt dans le navigateur et relisez son contenu. Utilisez également Google Search Console pour voir si les pages importantes sont effectivement explorées et s’il n’y a pas de blocages involontaires. Vérifiez régulièrement, surtout après l’installation de nouveaux plugins, la modification des permaliens ou l’ajustement de votre sitemap, que les règles sont toujours correctes. Pour toute question concernant les paramètres serveur ou Plesk, consultez à tout moment la base de connaissances de Tandata.
Questions fréquentes
Puis-je masquer complètement du contenu à Google avec robots.txt ?
Non, robots.txt bloque les robots d’exploration mais ne masque pas complètement le contenu. Pour des informations réellement sensibles, utilisez une authentification HTTP ou une balise meta noindex.
WordPress dispose-t-il déjà d’un robots.txt par défaut ?
S’il n’y a pas de fichier propre présent, WordPress génère automatiquement une version simple. Un fichier créé manuellement vous offre toutefois un contrôle total.
Dois-je souvent mettre à jour robots.txt ?
Pas en continu, mais vérifiez-le après des modifications importantes de votre site, comme de nouveaux plugins, un autre sitemap ou des changements de structure.
Robots.txt bloque-t-il aussi mon e-mail ou d’autres services ?
Non, robots.txt n’influence que les robots d’exploration web de votre site. Les paramètres pour l’e-mail professionnel sont totalement indépendants de cela.
Robots.txt fonctionne-t-il de la même manière avec un nouveau domaine ?
Oui, le principe reste le même. Lors de l’enregistrement de noms de domaine ou lors d’un déménagement via le passage à Tandata, vous créez simplement un nouveau robots.txt à la racine.
Conclusion
Un fichier robots.txt correctement configuré aide les moteurs de recherche à explorer efficacement et protège les parties non publiques de votre site WordPress contre une indexation inutile. Commencez par une configuration de base simple et sûre, vérifiez le résultat dans le navigateur et Search Console, et adaptez les règles au fur et à mesure que votre site évolue.