robots.txt

Une définition du Jargon Français.

nom propre^→ masculin^→.  [recherche documentaire]. Fichier placé dans un répertoire d'un site web et destiné aux moteur de recherche.

Il contient des indications quant aux URL qu'il faut explorer ou laisser de côté.