Les quatre fichiers vers lesquels personne ne fait de lien

Des fichiers pour les machines

Chaque site web porte quelques fichiers texte à des adresses fixes vers lesquels aucune page ne fait de lien. Un visiteur ne les voit jamais. Les moteurs de recherche, les scanners de sécurité, les gestionnaires de mots de passe et désormais les agents d'IA les récupèrent à chaque visite et agissent selon ce qu'ils y trouvent.

Il y en a quatre qui valent la peine : robots.txt, sitemap.xml, security.txt et llms.txt. Trois sont des conventions établies de longue date. Un est une proposition. Les quatre prennent environ une heure, et les quatre sont gratuits.

Nous avons repris cette liste sur notre propre site cette semaine, en rédigeant les recommandations que nous donnons aux clients, et nous avons trouvé deux des quatre absents et un troisième plus mince qu'il n'aurait dû. Cet article est donc aussi le compte rendu de nos propres manques, corrigés d'abord. L'audit gratuit vérifie désormais les quatre sur n'importe quel site que vous lui indiquez.

robots.txt : ce que les robots peuvent lire

robots.txt vit à la racine du site, à votresite.org/robots.txt. Il indique aux robots d'indexation quelles parties du site ils peuvent lire et lesquelles laisser tranquilles, et il nomme le sitemap. Google, Bing et tout robot bien élevé le récupèrent avant toute autre chose.

C'est une demande, pas un verrou. Un robot qui choisit de l'ignorer le peut. D'où la seule règle qui compte pour ce fichier : ne listez jamais un chemin que vous ne voudriez pas qu'un inconnu trouve. Une ligne Disallow: /documents-du-conseil/ ne cache pas les documents du conseil. Elle publie leur adresse à quiconque lit le fichier, et des gens le lisent. Tout ce qui est sensible appartient derrière une authentification, et son chemin n'a rien à faire dans ce fichier.

La deuxième erreur la plus courante est le blocage de préproduction. Un site en construction reçoit une règle Disallow: / pour que les moteurs l'ignorent, et la règle survit au lancement. Le site est en ligne, l'organisation attend du trafic, et l'on a dit à Google de rester dehors. Nous le voyons sur des sites en ligne depuis un an.

Un bon robots.txt, pour la plupart des organisations, est court. Autorisez tout, gardez les robots hors de la page de résultats de recherche, du panier, de la connexion et de toute zone privée, et nommez le sitemap.

User-agent: *
Allow: /
Disallow: /portal/
Disallow: /admin/
Disallow: /search/

Sitemap: https://yoursite.org/sitemap.xml

Sous WordPress, il n'y a généralement pas de fichier physique. WordPress répond lui-même à l'adresse avec un contenu par défaut, et les extensions SEO permettent de le modifier depuis le tableau de bord. Un fichier texte déposé à la racine du site remplace les deux.

sitemap.xml : la liste des pages

Le sitemap est la liste des pages que vous voulez voir indexées, avec la date de dernière modification de chacune. Les moteurs peuvent trouver des pages en suivant les liens, mais le sitemap est la façon dont ils découvrent une nouvelle page en quelques heures plutôt qu'en quelques semaines, et c'est la première chose que demandent Google Search Console et Bing Webmaster Tools.

WordPress en génère un automatiquement depuis la version 5.5, à /wp-sitemap.xml. La plupart des extensions SEO le remplacent par un meilleur à /sitemap.xml. Dans les deux cas, l'adresse va dans robots.txt, et le sitemap va dans les deux outils pour webmasters. Si vous ne l'avez jamais soumis, c'est une tâche de dix minutes à effet durable.

security.txt : à qui le dire

Quand un chercheur en sécurité trouve un problème sur un site web, il veut le dire à quelqu'un qui peut le corriger. La plupart des sites d'organisations ne lui laissent que le formulaire de contact général ou une adresse e-mail à deviner, et les signalements qui passent par le formulaire de contact sont traités par la personne qui traite le formulaire de contact.

security.txt résout cela. C'est une norme de l'internet, la RFC 9116, et il vit à /.well-known/security.txt. Il nomme un contact pour les signalements de sécurité et porte une date d'expiration, pour qu'un contact périmé ne reste pas sur le web indéfiniment. Les relecteurs sécurité et les scanners automatiques qu'utilisent les services achats des administrations et des grandes entreprises vérifient sa présence comme signe que quelqu'un garde la boutique.

Le fichier entier tient en quelques lignes.

Contact: mailto:hello@yoursite.org
Contact: https://yoursite.org/contact/
Expires: 2027-09-01T00:00:00.000Z
Preferred-Languages: en
Canonical: https://yoursite.org/.well-known/security.txt
Policy: https://yoursite.org/security/

Deux détails font trébucher. Le champ de date s'appelle Expires et ne peut pas dépasser un an ; un fichier dont le champ est mal nommé ou dont la date est passée est traité comme absent par tout ce qui le lit. Nous en avons trouvé un cette semaine sur le site, par ailleurs bien tenu, d'une organisation de plaidoyer, généré par une extension qui avait mal nommé le champ. Et le fichier est plus utile avec une courte page à côté, la ligne Policy ci-dessus, qui dit comment vous traitez les signalements et qu'un chercheur de bonne foi n'a rien à craindre de vous. La nôtre est à LFW.com/security/ et tient en neuf courts paragraphes.

Le dossier .well-known lui-même est un emplacement réservé aux fichiers de ce genre, défini pour que les outils sachent où chercher. Les gestionnaires de mots de passe y lisent un fichier de changement de mot de passe, et le système de certificats s'en sert pour prouver que vous contrôlez le domaine. Rien sur le site n'y renvoie. Seul le logiciel le lit, et c'est le but.

llms.txt : une suggestion, étiquetée honnêtement

llms.txt est le nouveau, et celui dont il faut se méfier. C'est une proposition, pas une norme. L'idée est une courte page en texte brut à /llms.txt qui dit à un assistant d'IA ce qu'est l'organisation et où sont les pages importantes, sous une forme que l'assistant peut lire sans analyser tout le site.

Voici ce qui est vrai à son sujet. Les robots demandent l'adresse, que le fichier existe ou non ; le nôtre a été demandé plus d'une douzaine de fois dans les semaines qui ont précédé sa publication. Il ne coûte rien à écrire ni à servir. Et personne n'a démontré qu'il change le classement dans les moteurs ou ce qu'un assistant d'IA dit de vous. Quiconque vous affirme le contraire devine.

La position honnête est donc que c'est une courtoisie envers les machines. Cela ne peut pas nuire, à une condition : n'y mettez jamais rien que vous ne mettriez pas sur la page d'accueil. Il est public, comme tous les fichiers de cet article.

Le nôtre liste ce que fait LFW, qui nous servons et une douzaine de pages de référence. Il a pris vingt minutes, et chaque lien est vérifié à chaque mise en ligne.

Ce que l'audit gratuit vérifie désormais

Depuis cette semaine, l'audit gratuit récupère les quatre fichiers sur n'importe quel site que vous lui indiquez et rapporte ce qu'il trouve, avec une gravité fixée honnêtement. Un robots.txt ou un sitemap absent est mineur. Un robots.txt qui bloque tout le site est grave, parce que le site est invisible pour les moteurs tant qu'il reste. Un robots.txt qui nomme des chemins d'apparence privée est signalé comme constat de sécurité, parce que c'en est un. Un security.txt absent ou expiré est mineur. Un llms.txt absent est une suggestion, et le constat le dit dans son titre.

Une précaution de plus, parce que l'audit la dira aussi. Aucun de ces fichiers n'est un contrôle de sécurité. Ce sont des signes d'un site dont quelqu'un s'occupe, ce qu'un relecteur sécurité, un moteur de recherche et un acheteur public cherchent tous à établir. Cela vaut une heure.