Les blogueurs les plus chevronnés savent certainement ce qu'est le fichier robots.txt et pourquoi vous avez besoin de ce fichier. Mais peu d'auteurs se précipitent immédiatement pour créer un fichier robots.txt après avoir installé un blog sur WordPress.
Robots.txt est un fichier texte qui est téléchargé dans le répertoire racine de votre site et contient des instructions pour les robots. Le but principal de son utilisation est d'interdire l'indexation de pages et de sections individuelles sur le site. Cependant, en utilisant robots.txt, vous pouvez également spécifier le miroir de domaine correct, prescrire le chemin d'accès au plan du site, etc.
La plupart des moteurs de recherche modernes ont appris à bien naviguer dans le CMS populaire et n'essaient généralement pas d'indexer le contenu qui n'est pas destiné à cela. Par exemple, Google n'indexera pas la zone d'administration de votre blog WordPress même si vous ne le spécifiez pas directement dans robots.txt. Cependant, dans certains cas, l'utilisation d'interdictions directes peut toujours être utile. Et nous parlons principalement de l'interdiction du contenu en double.
Certains webmasters vont jusqu'à interdire l'indexation des pages de catégories et de balises, car leur contenu duplique partiellement le contenu de la page principale. Mais la plupart se limitent à interdire les pages de rétrolien et de flux, qui dupliquent complètement le contenu de l'article et ne sont pas du tout destinées aux moteurs de recherche. Une telle précaution rendra non seulement les résultats du site "plus propres", mais vous évitera également d'éventuels filtres de recherche, notamment après l'introduction du nouvel algorithme de Google Panda.
Voici les directives recommandées pour un fichier robots.txt (cela fonctionnera pour presque tous les blogs WordPress):
User-Agent: * Interdire: /wp-login.php Interdire: /wp-register.php Interdire: /xmlrpc.php Interdire: / wp-admin Interdire: / wp-includes Interdire: / wp-content / plugins Interdire: / wp-content / cache Interdire: / wp-content / thèmes Interdire: / trackback / Interdire: / feed / Interdire: * / trackback / Interdire: * / feed /
Veuillez noter que dans robots.txt, les dossiers administratifs wp-admin et wp-includes sont complètement fermés pour l'indexation. Le dossier wp-content n'est que partiellement fermé, car il contient le répertoire uploads, qui contient toutes les images de votre blog qui doivent être indexées.
Tout ce que vous avez à faire est de copier les directives du code ci-dessus (notez que chaque directive doit être écrite sur une nouvelle ligne), de les enregistrer dans un fichier texte appelé robots.txt et de les télécharger dans le répertoire racine de votre site.
Vous pouvez toujours vérifier si robots.txt fonctionne correctement via les interfaces Google Webmaster Tools et Yandex Webmaster.
