Publié le 26 décembre 2017

Vous avez très certainement à un moment ou un autre entendu parler de loin ou de près du fichier robots.txt.

A quoi sert ce fichier robots.txt ?

Ce fichier permet d’indiquer aux moteurs de recherche les fichiers et parties d’un site à ne pas indexer. Cependant, vous noterez que ce fichier ne permet pas de protéger un fichier par un mot de passe.

Quelle est la taille maximale de ce fichier ?

En ce qui concerne le robots.txt, le fichier est limité à une taille de 500 Ko. Si vous le souhaitez, vous pouvez dépasser cette limite. Cependant, vous devez garder à l’esprit que tout ce qui dépasse cette limite sera tout bonnement ignoré par Google.

Devez-vous créer un fichier robots.txt pour chaque sous-domaine ?

Pour chacun des sous-domaines, vous devrez créer un fichier robots.txt

Votre robots.txt peut-il être vide ?

Même si cela peut vous surprendre, un fichier robots.txt peut être vide.

Quels contenus devez-vous bloquer ?

Les contenus à bloquer sont ceux qui ont peu ou pas d’intérêts pour le référencement de votre site. Parmi les éléments, vous pouvez décider de bloquer des PDF, les modes d’affichages ou des rubriques du site qui ne doivent pas être indexées.

Quel outil pour créer ce type de fichier ?

Un éditeur de texte comme le bloc note ou notepad est un outil très largement suffisant pour éditer un robots.txt. Lors de l’enregistrement de votre fichier, n’omettez pas le S à la fin de robots.

Quelques outils utiles …

Comme pour de nombreux fichiers, il existe des générateurs de robots.txt. Je peux vous citer par exemple :

Afin de tester votre fichier, Google Search Console vous propose un outil : https://www.google.com/webmasters/tools/robots-testing-tool?hl=fr

1
Poster un Commentaire

avatar
1 Comment threads
0 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
1 Comment authors
Salima Recent comment authors

* * Cette case à cocher est obligatoire

*

J'accepte

  Subscribe  
nouveaux anciens meilleurs votes
Recevoir des notifications pour :
Salima
Invité

Pour un débutant, cette article est très important. Pas de bla bla. Il répond directement aux bonnes questions.
J’ai aussi beaucoup aimé l’article « Les statistiques de vos réseaux sociaux dans une seule interface ».
Ce site mérite d’être visité constamment : information claires et précises !