Toutes les sous-pages et tous les r\u00e9pertoires de votre site web ne m\u00e9ritent pas forc\u00e9ment d’\u00eatre explor\u00e9s par les moteurs de recherche. Gr\u00e2ce au fichier robots.txt, vous pouvez d\u00e9terminer quelles sous-pages de WordPress doivent \u00eatre index\u00e9es par les robots d’exploration et lesquelles doivent \u00eatre ignor\u00e9es. Cette optimisation permet d’am\u00e9liorer le r\u00e9f\u00e9rencement de votre site web. D\u00e9couvrez comment Ajouter et optimiser le fichier robots.txt et comment fonctionne ce fichier.<\/p>\n
Les robots d’exploration (crawlers) parcourent en permanence le Web \u00e0 la recherche de pages \u00e0 indexer pour les moteurs de recherche. Toutefois, certains contenus de votre site n’ont pas besoin d’\u00eatre index\u00e9s. En guidant ces robots avec un fichier robots.txt, vous pouvez exclure les sections inutiles de votre site et concentrer l’exploration sur les pages strat\u00e9giques.<\/p>\n
Chaque domaine dispose d’un budget de crawl limit\u00e9, ce qui rend crucial l’optimisation du parcours des robots pour favoriser les pages importantes et restreindre l’acc\u00e8s aux pages secondaires ou sans valeur ajout\u00e9e.<\/p>\n
Le fichier robots.txt permet de d\u00e9finir quelles pages doivent \u00eatre index\u00e9es et lesquelles doivent \u00eatre ignor\u00e9es. Par exemple, si votre site doit appara\u00eetre dans les r\u00e9sultats de recherche, votre page de mentions l\u00e9gales ou votre section de commentaires n’ont pas besoin d’\u00eatre explor\u00e9es. De plus, l’indexation de contenus dupliqu\u00e9s, tels que les archives, peut nuire \u00e0 votre classement SEO. Gr\u00e2ce au fichier robots.txt, vous contr\u00f4lez les pages index\u00e9es et emp\u00eachez les crawlers d’acc\u00e9der aux contenus inutiles.<\/p>\n
Par d\u00e9faut, WordPress g\u00e9n\u00e8re automatiquement un fichier robots.txt minimaliste :<\/p>\n
User-agent: *\r\nDisallow: \/wp-admin\/\r\nDisallow: \/wp-includes\/<\/code><\/pre>\nIci, \u00ab\u00a0User-agent: *\u00a0\u00bb signifie que tous les moteurs de recherche sont autoris\u00e9s \u00e0 explorer votre site. L’instruction \u00ab\u00a0Disallow\u00a0\u00bb emp\u00eache les robots d’acc\u00e9der aux r\u00e9pertoires sensibles comme l’administration et les fichiers internes de WordPress. Bien que ces restrictions de base soient utiles, elles doivent \u00eatre personnalis\u00e9es pour une meilleure optimisation.<\/p>\n
Que doit contenir un fichier robots.txt pour WordPress ?<\/h4>\n
Les moteurs de recherche comme Google doivent avoir acc\u00e8s \u00e0 votre site, mais vous pouvez emp\u00eacher l’exploration par des services douteux. Avec robots.txt, vous pouvez exclure les th\u00e8mes, les pages juridiques, et les plugins, non seulement pour des raisons de r\u00e9f\u00e9rencement mais aussi pour renforcer la s\u00e9curit\u00e9 de votre site.<\/p>\n
Les trois commandes principales sont :<\/p>\n
\n- User-agent<\/strong> : sp\u00e9cifie quels robots sont concern\u00e9s.<\/li>\n
- Disallow<\/strong> : emp\u00eache l\u2019acc\u00e8s \u00e0 certaines pages ou r\u00e9pertoires.<\/li>\n
- Allow<\/strong> : permet d\u2019autoriser une sous-page \u00e0 l\u2019int\u00e9rieur d\u2019un dossier bloqu\u00e9.<\/li>\n<\/ul>\n
Configurer le fichier robots.txt manuellement dans WordPress<\/h4>\n
Pour personnaliser le fichier robots.txt, suivez ces \u00e9tapes :<\/p>\n
\n- Cr\u00e9ez un fichier vide nomm\u00e9 \u00ab\u00a0robots.txt\u00a0\u00bb dans un \u00e9diteur de texte.<\/li>\n
- T\u00e9l\u00e9chargez-le \u00e0 la racine de votre domaine via FTP.<\/li>\n
- Modifiez-le \u00e0 l\u2019aide d\u2019un \u00e9diteur SFTP ou remplacez-le par une version mise \u00e0 jour.<\/li>\n<\/ol>\n
Exemple pour bloquer un dossier sp\u00e9cifique :<\/p>\n
User-agent: *\r\nDisallow: \/dossier\/<\/code><\/pre>\nExemple pour emp\u00eacher un bot particulier d\u2019acc\u00e9der \u00e0 votre site :<\/p>\n
User-agent: BotMalveillant\r\nDisallow: \/<\/code><\/pre>\nPlugins pour cr\u00e9er un fichier robots.txt dans WordPress<\/h4>\n
Vous pouvez aussi g\u00e9rer le fichier robots.txt via un plugin SEO tel que Yoast SEO<\/strong> :<\/p>\n