Optimiser le robots.txt de WordPress

Les bonnes pratiques pour paramétrer son robots.txt pour WordPress

Nettoyage mes fichiers lors de la refonte récente , j’ai réalisé que plusieurs années ont en quelque sorte passé depuis la dernière fois que j’ai même regardé le fichier robots.txt du site. Je suppose que c’est une bonne chose , mais avec tous les changements de la structure et du contenu du site , il était de nouveau temps pour un délicieux gambades par robots.txt .

Robots.txt en 30 secondes

Principalement, les directives des robots interdisent aux spider des parties spécifiées de votre site. Ils peuvent aussi explicitement «permettre» l’accès aux fichiers et répertoires spécifiques. Donc, fondamentalement, ils sont utilisés pour laisser Google, Bing et autres moteurs de recherche, pour leurs indiquer ou ils peuvent aller pour visiter votre site. Vous pouvez également faire des trucs astucieux comme cibler les user-agents spécifiques et déclarer votre ou vos sitemaps. Pour un simple fichier texte, robots.txt exerce un pouvoir considérable.

Robots.txt et WordPress

Exécution de WordPress, vous voulez que les moteurs analyses et indexes vos articles et vos pages, mais pas vos fichiers et répertoires de WP. Vous voulez également vous assurer que les feeds et les trackbacks ne soient pas inclus dans les résultats de recherche. C’est aussi une bonne pratique de déclarer un plan du site (sitemap). Voici un bon point de départ pour votre prochain robots.txt pour WordPress :

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: http://[votre site]/sitemap.xml

C’est une version plug-n-play que vous pouvez personnaliser pour s’adapter à la structure du site spécifique ainsi que votre propre stratégie de référencement. Pour utiliser ce code pour votre site WordPress alimenté, il suffit de copier / coller dans un fichier vide nommé “robots.txt situé dans votre répertoire racine web accessible, par exemple:

http://referia.fr/robots.txt

Si vous jetez un oeil au contenu du fichier robots.txt du site, vous remarquerez quelques directives supplémentaires qui sont utilisés pour interdire l’accès à certains bots.

Tag
Pierre-alexandre Thomas

Passionné par le développement web et la programmation, je suis développeur web dans une agence de communication. Depuis quelques années, je me suis spécialisé dans l'expertise des CMS WordPress et PrestaShop Je développe aussi des sites sur Drupal, Joomla et Typo3. Je me passionne également pour les framework Javascript (Vue.js, Angular et React), aux problématiques d'UX/UI, ainsi qu'au "refactoring"