FAQ WebmarketingConsultez toutes les FAQ

Nombre d'auteurs : 5, nombre de questions : 34, dernière mise à jour : 30 mars 2017 

 
OuvrirSommaireTechnique

Le fichier robots.txt est la première ressource d'un site qu'analysent les robots des moteurs de recherche. Il permet d'adapter le comportement du robot lors du parcours du site en lui interdisant d'indexer certains répertoires.

Par exemple, lors de la visite du site http://www.developpez.com/, le robot va analyser en premier lieu le fichier http://www.developpez.com/robots.txt qui va déterminer la suite des opérations. Le nom du fichier doit être en minuscules. Si ce fichier n'existe pas, le robot poursuit sa visite normalement en indexant toutes les pages.

Dans l'exemple qui suit :

 
Sélectionnez
User-agent: badBot Disallow: / User-agent: * Disallow: /private/
					Disallow: /images/myVerySecretImg.jpg

on interdit au robot badBot l'accès à tout le site. Et on interdit à tous les autres l'accès au répertoire /private/ (situé à la racine /) ainsi qu'au fichier /images/myVerySecretImg.jpg.

Cette parade permet de protéger un répertoire de script (/cgi-bin/) et des données confidentielles (/private/) contre le référencement. Ainsi, les pages interdites n'apparaîtrons pas dans les moteurs de recherche, même si des sites offrent des liens hypertextes vers ces pages.

Attention : rien n'interdit une personne malveillante de fabriquer son propre robot et de ne pas respecter le fichier robots.txt. De plus, le fichier robots.txt ne s'apparente pas à un fichier .htaccess, il ne protège pas vos pages contre les accès des internautes.

Créé le 9 mai 2004  par Hugo Étiévant

Lien : Robots.txt syntax checker

Écrire un lien hypertexte, ça s'apprend.

Plusieurs éléments importants sont à prendre en considération :
  • L'adresse proprement dite : évitez les liens relatifs, privilégiez les liens absolus afin qu'ils restent valides même si la page est déplacée ou copiée sur le disque d'un internaute ;
  • Le texte du lien doit être explicite et doit dénoter le sens du sujet de la page ou du média destination (les "cliquez ici" sont à bannir) ;
  • Le titre du lien doit être explicite peut se substituer à son texte, ce qui permet (dans une certaine mesure) de mettre des liens "cliquez ici" ;
  • La taille du titre et du texte : il est préférable d'utiliser des mots clefs reflétant le thème principal de la page ciblée. Réduisez la taille de vos textes et titres de liens au strict minimum ;
  • Le comportement du lien : l'option target de la balise a href permet d'ouvrir la page dans une autre fenêtre du navigateur et d'ainsi de ne pas perdre le visiteur si le lien pointe vers un autre site.

Exemple d'un lien vers la page d'accueil du site. La valeur _top de l'attribut target permet de forcer un affichage en pleine fenêtre en dehors de tout cadre, au cas où la page aurait été pointée depuis un sous cadre d'un autre site.

 
Sélectionnez
Visitez notre page d'accueil : <a
					href="http://www.developpez.com/" target="_top" title="Accueil de
					Developpez">Developpez.com</a>

Exemple d'un lien explicite :

 
Sélectionnez
Contribuez à notre <a
					href="http://www.developpez.com/sondage.html" title="Contribuez à notre sondage
					des meilleurs éditeurs PHP">sondage des meilleurs éditeurs
					PHP</a>.

plutôt que ceci :

 
Sélectionnez
Pour contribuer à notre sondage des meilleurs éditeurs éditeurs
					PHP, cliquez <a href="http://www.developpez.com/sondage.html"
					title="Contribuez à notre sondage des meilleurs éditeurs
					PHP">ici</a>.
Créé le 9 mai 2004  par Hugo Étiévant, Guillaume Rossolini

Lien : Cours HTML : les liens hypertextes

  

Les sources présentées sur cette page sont libres de droits et vous pouvez les utiliser à votre convenance. Par contre, la page de présentation constitue une œuvre intellectuelle protégée par les droits d'auteur. Copyright © 2004 Developpez.com Developpez LLC. Tous droits réservés Developpez LLC. Aucune reproduction, même partielle, ne peut être faite de ce site et de l'ensemble de son contenu : textes, documents et images sans l'autorisation expresse de Developpez LLC. Sinon vous encourez selon la loi jusqu'à trois ans de prison et jusqu'à 300 000 € de dommages et intérêts.