Bien faire son fichier robots.txt pour votre site web

de **new** » Mar 17 Aoû 2010 13:59

Deja c’est quoi un fichier robots ?

Le fichier robots.txt est un fichier au format texte, placé à la racine d’un site web
Interrogé par les robots des moteurs de recherche, il leur donne les instructions, ainsi chacun d’entre eux saura ce qu’il peut faire ou non sur votre site Internet.

Il est donc très important de guider les robots pour qu’ils visitent vos pages sur lequel vous les autorisez à avoir accès, et à contrario qu’ils n’aillent pas voir les pages que vous souhaitez rendre invisible aux moteurs de recherche.

Exemple :
Pour autoriser les robots des moteurs de recherche à indexer votre site :
Insérer ces 2 lignes dans votre fichier robots.txt :
User-agent: *
Disallow:
User-agent: * signifie que vous donnez l’accès à tous les robots des moteurs de recherche.
Disallow: indique les pages, repertoire à bloquer. Ici rien n’est à bloquer comme rien n’est spécifié.

Pour interdire totalement ou partiellement l’accès à votre site web :
Interdire à tous les robots de visiter votre site :

Insérer ces 2 lignes :
User-agent: *
Disallow: /
Interdire aux robots de visiter une page :
User-agent: *
Disallow: toto.html
Interdire aux robots de visiter le contenu d’un répertoire :
User-agent: *
Disallow: /perso
Pour interdire à certains et autoriser à d’autres :
User-agent: *
Disallow: /
User-agent: googlebot
Disallow:

Dans ce cas le robot de Google à tous les droits de visite sur votre site et les autres ne peuvent rien voir.
Localisation du fichier sitemap.xml :
Pour faire connaître la localisation de votre fichier sitemap vous pouvez rajouter cette ligne dans votre fichier robots.txt :
Sitemap: http://www.votresite.com/sitemap.xml

A vos claviers !

**Pub**

de **issanissa83** » Lun 23 Aoû 2010 19:46

Bonjour,
J'ai justement un problème avec un robots.txt
Je m'explique:
J'ai créé un site avec TOWeb (lauyan.com).
Je n'ai jamais créé de robots et sur une capture d'écran faite par un ami (en congé depuis hélas pour moi)
j'ai vu qu'il existait un robots.txt sorti d'où je ne sait où qui bloque l'accès de mon site à google.

je voudrais supprimer ce robot pour mettre le votre en suivant vos indications.

Mais supprimer ça je nesais pas faire, d'ailleurs je ne sais même pas comment aller à la racine de mon site pour le supprimer.
Sur le FTP ne figure aucun robot, alors comment faire???
Merci de votre aide.

de **AlloMonSite** » Mar 24 Aoû 2010 14:20

Bonjour,

Votre fichier robot est pourtant bien présent pour preuve http://www.le-var-en-provence.com/robots.txt
Il n’y a pas d’autre solution que d’y accéder avec un logiciel FTP, pour le supprimer à la racine de votre site.

Si vous avez du mal à localiser les fichiers, nous pouvons vous donner une astuce, rapatrier l’ensemble de votre site Internet dans un dossier sur votre bureau par exemple.
Puis faites une recherche « robots.txt » à l’ensemble du dossier, vous allez pouvoir les localiser puis d’accéder ou ftp de nouveaux pour les supprimer/modifier.

Cordialement l’équipe d’allomonsite.com

de **issanissa83** » Mar 24 Aoû 2010 14:44

Merci et comment fait on pour rapatrier depuis le ftp?
ça je sais qu'il existe, quand je liste Filezilla il n'y a pas de robot.

de **issanissa83** » Mar 24 Aoû 2010 15:01

Je viens de télécharger sur mon bureau tout ce qu'il y avait dans filezilla et pas de robot,
j'y retrouve tout, sitemap, cr32, frame etc... pas le robot.

de **issanissa83** » Mar 24 Aoû 2010 22:18

Je pense que le pb est résolu et provenait bien de google (test robots.txt)
Après avoir demandé la suppression de l'url http://www.le-var-en-provence.com/robots.txt, c'est bien mon robot qui apparaît.
Merci de vous êtes donné la peine de me lire.

de **jacque** » Lun 22 Nov 2010 16:10

Bonjour,

Je viens de lire avec intérêt vos posts, donc si j’ai bien compris dans le fichier robots.txt il faudrait avoir les lignes suivantes :
User-agent: *
Allow: /
Sitemap: http://www.nomsdedomaines.com/sitemap.xml

Toutefois j’ai une question, si nous avons plusieurs fichiers sitemap.xml, pouvons-nous les rajouter à la ligne ?

Merci pour votre réponse.

de **AlloMonSite** » Lun 22 Nov 2010 16:30

Bonjour,

Tout à fait, vous pouvez déclarer plusieurs fichiers sitemap.xml dans votre fichier robots.txt.

Cordialement l’équipe AlloMonSite.com

de **Tony** » Mar 10 Mai 2011 16:49

Merci pour toutes vos explications exactement ce que je recherchais.

bonne continuation je rajoute votre forum dans mes favoris