Les quatre fichiers vers lesquels personne ne fait de lien

Des fichiers pour les machines

Chaque site web porte quelques fichiers texte à des adresses fixes vers lesquels aucune page ne fait de lien. Un visiteur ne les voit jamais. Les moteurs de recherche, les scanners de sécurité, les gestionnaires de mots de passe et désormais les agents d'IA les récupèrent à chaque visite et agissent selon ce qu'ils y trouvent.

Il y en a quatre qui valent la peine : robots.txt, sitemap.xml, security.txt et llms.txt. Trois sont des conventions établies de longue date. Un est une proposition. Les quatre prennent environ une heure, et les quatre sont gratuits.

Nous avons repris cette liste sur notre propre site cette semaine. Deux des quatre manquaient et un troisième était plus mince qu'il n'aurait dû, alors nous avons d'abord corrigé nos propres manques. L'audit gratuit vérifie désormais les quatre sur n'importe quel site que vous lui indiquez.

robots.txt : ce que les robots peuvent lire

robots.txt vit à la racine du site, à votresite.org/robots.txt. Il indique aux robots d'indexation quelles parties du site ils peuvent lire et lesquelles laisser tranquilles, et il nomme le sitemap. Google, Bing et tout robot bien élevé le récupèrent avant toute autre chose.

Les robots ne sont pas obligés de le respecter, et certains ne le font pas. D'où la seule règle qui compte pour ce fichier : ne listez jamais un chemin que vous ne voudriez pas qu'un inconnu trouve. Une ligne Disallow: /documents-du-conseil/ ne cache pas les documents du conseil. Elle publie leur adresse à quiconque ouvre le fichier, et des gens l'ouvrent. Tout ce qui est sensible doit se trouver derrière une authentification, et son chemin n'a rien à faire dans ce fichier.

La deuxième erreur la plus courante est le blocage de préproduction. Un site en construction reçoit une règle Disallow: / pour que les moteurs l'ignorent, et personne ne la retire au lancement. Le site est en ligne, l'organisation attend du trafic, et l'on a dit à Google de rester dehors. Nous le voyons sur des sites en ligne depuis un an.

Pour la plupart des organisations, un bon robots.txt est court. Autorisez tout, gardez les robots hors de la page de résultats de recherche, du panier, de la connexion et de toute zone privée, et nommez le sitemap.

User-agent: *
Allow: /
Disallow: /portal/
Disallow: /admin/
Disallow: /search/

Sitemap: https://yoursite.org/sitemap.xml

Sous WordPress, il n'y a généralement pas de fichier physique. WordPress répond lui-même à l'adresse avec un contenu par défaut, et les extensions SEO permettent de le modifier depuis le tableau de bord. Un fichier texte déposé à la racine du site remplace les deux.

sitemap.xml : la liste des pages

Le sitemap est la liste des pages que vous voulez voir indexées, avec la date de dernière modification de chacune. Les moteurs peuvent trouver des pages en suivant les liens, mais le sitemap est la façon dont ils découvrent une nouvelle page en quelques heures plutôt qu'en quelques semaines, et c'est la première chose que demandent Google Search Console et Bing Webmaster Tools.

WordPress en génère un automatiquement depuis la version 5.5, à /wp-sitemap.xml. La plupart des extensions SEO le remplacent par un meilleur à /sitemap.xml. Dans les deux cas, mettez son adresse dans robots.txt et soumettez le sitemap aux deux outils pour webmasters. Si vous ne l'avez jamais soumis, c'est une tâche de dix minutes dont l'effet dure.

security.txt : à qui le dire

Quand un chercheur en sécurité trouve un problème sur votre site, il veut le dire à quelqu'un qui peut le corriger. La plupart des sites d'organisations ne lui laissent que le formulaire de contact général ou une adresse e-mail à deviner. Un signalement envoyé par le formulaire de contact est lu par la personne qui s'occupe ce jour-là du formulaire de contact.

security.txt règle ce problème. C'est une norme de l'internet, la RFC 9116, et il se trouve à /.well-known/security.txt. Il nomme un contact pour les signalements de sécurité et porte une date d'expiration, pour qu'un contact périmé ne reste pas sur le web indéfiniment. Les relecteurs sécurité, et les scanners automatiques qu'utilisent les services achats des administrations et des grandes entreprises, vérifient sa présence comme signe que quelqu'un s'occupe du site.

Le fichier entier tient en quelques lignes.

Contact: mailto:hello@yoursite.org
Contact: https://yoursite.org/contact/
Expires: 2027-09-01T00:00:00.000Z
Preferred-Languages: en
Canonical: https://yoursite.org/.well-known/security.txt
Policy: https://yoursite.org/security/

Un détail fait trébucher. Le champ de date s'appelle Expires et ne peut pas dépasser un an. Tout ce qui lit le fichier traite un nom de champ erroné ou une date passée comme si le fichier n'existait pas. Nous en avons trouvé un cette semaine sur le site, par ailleurs bien tenu, d'une organisation de plaidoyer : une extension avait généré le fichier avec un champ mal nommé.

Le fichier est aussi plus utile avec une courte page à côté, la ligne Policy ci-dessus, qui explique comment vous traitez les signalements et qu'un chercheur de bonne foi n'a rien à craindre de vous. La nôtre est à LFW.com/security/ et tient en neuf courts paragraphes.

Le dossier .well-known est un emplacement réservé aux fichiers de ce genre, pour que les outils sachent où chercher. Les gestionnaires de mots de passe y lisent un fichier de changement de mot de passe, et le système de certificats s'en sert pour confirmer que vous contrôlez le domaine. Rien sur votre site n'y renvoie, parce que seul le logiciel a besoin de le lire.

llms.txt : une proposition récente

llms.txt est le plus récent des quatre, et celui qui demande de la prudence. C'est une proposition, pas une norme. L'idée est une courte page en texte brut à /llms.txt qui dit à un assistant d'IA ce que fait votre organisation et où sont les pages importantes, sous une forme que l'assistant peut lire sans parcourir tout le site.

Les robots demandent /llms.txt, que le fichier existe ou non. Le nôtre a été demandé plus d'une douzaine de fois dans les semaines qui ont précédé sa publication. Il ne coûte rien à écrire ni à servir. Et personne n'a démontré qu'il change le classement dans les moteurs ou ce qu'un assistant d'IA dit de vous : quiconque vous le promet devine.

Traitez-le comme une courtoisie envers les machines. Il ne peut pas nuire, tant que vous n'y mettez rien que vous ne mettriez pas sur votre page d'accueil. Il est public, comme tous les fichiers de cet article.

Le nôtre liste ce que fait LFW, qui nous servons et une douzaine de pages de référence. Sa rédaction a pris vingt minutes, et nous vérifions chacun de ses liens à chaque mise en ligne.

Ce que l'audit gratuit vérifie désormais

Depuis cette semaine, l'audit gratuit récupère les quatre fichiers sur n'importe quel site que vous lui indiquez et classe chaque problème selon son importance. Un robots.txt ou un sitemap absent est mineur. Un robots.txt qui bloque tout le site est grave, parce que les moteurs ne voient pas le site tant que ce n'est pas corrigé. Un robots.txt qui nomme des chemins d'apparence privée est signalé comme constat de sécurité, parce que c'en est un. Un security.txt absent ou expiré est mineur. Un llms.txt absent n'est qu'une suggestion, et le titre du constat le dit.

Une mise en garde, que l'audit répète : aucun de ces fichiers n'est un contrôle de sécurité. Ils montrent que quelqu'un s'occupe du site, ce que veulent savoir un relecteur sécurité, un moteur de recherche et un acheteur public. Cela vaut une heure de votre temps.