Le fichier robots.txt est la première ressource d'un site qu'analysent les robots des moteurs de recherche. Il permet d'adapter le comportement du robot lors du parcours du site en lui interdisant d'indexer certains répertoires.

Par exemple, lors de la visite du site http://www.developpez.com/, le robot va analyser en premier lieu le fichier http://www.developpez.com/robots.txt qui va déterminer la suite des opérations. Le nom du fichier doit être en minuscules. Si ce fichier n'existe pas, le robot poursuit sa visite normalement en indexant toutes les pages.

Dans l'exemple qui suit :

User-agent: badBot Disallow: / User-agent: * Disallow: /private/
					Disallow: /images/myVerySecretImg.jpg

on interdit au robot badBot l'accès à tout le site. Et on interdit à tous les autres l'accès au répertoire /private/ (situé à la racine /) ainsi qu'au fichier /images/myVerySecretImg.jpg.

Cette parade permet de protéger un répertoire de script (/cgi-bin/) et des données confidentielles (/private/) contre le référencementLe dictionnaire des développeurs - référencement. Ainsi, les pages interdites n'apparaîtrons pas dans les moteurs de recherche, même si des sites offrent des liens hypertextes vers ces pages.

Attention : rien n'interdit une personne malveillante de fabriquer son propre robot et de ne pas respecter le fichier robots.txt. De plus, le fichier robots.txt ne s'apparente pas à un fichier .htaccess, il ne protège pas vos pages contre les accès des internautes.

Écrire un lien hypertexte, ça s'apprend.

• L'adresse proprement dite : évitez les liens relatifs, privilégiez les liens absolus afin qu'ils restent valides même si la page est déplacée ou copiée sur le disque d'un internaute ;
• Le texte du lien doit être explicite et doit dénoter le sens du sujet de la page ou du média destination (les "cliquez ici" sont à bannir) ;
• Le titre du lien doit être explicite peut se substituer à son texte, ce qui permet (dans une certaine mesure) de mettre des liens "cliquez ici" ;
• La taille du titre et du texte : il est préférable d'utiliser des mots clefs reflétant le thème principal de la page ciblée. Réduisez la taille de vos textes et titres de liens au strict minimum ;
• Le comportement du lien : l'option target de la balise a href permet d'ouvrir la page dans une autre fenêtre du navigateur et d'ainsi de ne pas perdre le visiteur si le lien pointe vers un autre site.

Exemple d'un lien vers la page d'accueil du site. La valeur _top de l'attribut target permet de forcer un affichage en pleine fenêtre en dehors de tout cadre, au cas où la page aurait été pointée depuis un sous cadre d'un autre site.

Visitez notre page d'accueil : <a
					href="http://www.developpez.com/" target="_top" title="Accueil de
					Developpez">Developpez.com</a>

Exemple d'un lien explicite :

Contribuez à notre <a
					href="http://www.developpez.com/sondage.html" title="Contribuez à notre sondage
					des meilleurs éditeurs PHP">sondage des meilleurs éditeurs
					PHP</a>.

plutôt que ceci :

Pour contribuer à notre sondage des meilleurs éditeurs éditeurs
					PHP, cliquez <a href="http://www.developpez.com/sondage.html"
					title="Contribuez à notre sondage des meilleurs éditeurs
					PHP">ici</a>.