I quattro file a cui nessuno mette un link

File per le macchine

Ogni sito web ha alcuni file di testo a indirizzi fissi a cui nessuna pagina mette un link. Un visitatore non li vede mai. I motori di ricerca, gli scanner di sicurezza, i gestori di password e ora gli agenti di IA li scaricano a ogni visita e agiscono in base a ciò che vi trovano.

Ce ne sono quattro che valgono la pena: robots.txt, sitemap.xml, security.txt e llms.txt. Tre sono convenzioni consolidate da tempo. Uno è una proposta. Tutti e quattro richiedono circa un’ora, e tutti e quattro sono gratuiti.

Questa settimana abbiamo ripreso questo elenco sul nostro sito. Due dei quattro mancavano e un terzo era più scarno del dovuto, quindi abbiamo prima corretto le nostre lacune. Ora l’audit gratuito controlla tutti e quattro su qualsiasi sito gli indichi.

robots.txt: che cosa possono leggere i robot

robots.txt si trova nella radice del sito, in suosito.org/robots.txt. Dice ai robot di indicizzazione quali parti del sito possono leggere e quali lasciare stare, e indica la sitemap. Google, Bing e ogni robot educato lo scaricano prima di qualsiasi altra cosa.

I robot non sono obbligati a rispettarlo, e alcuni non lo fanno. Da qui l’unica regola che conta per questo file: non elenchi mai un percorso che non vorrebbe far trovare a uno sconosciuto. Una riga Disallow: /documenti-del-consiglio/ non nasconde i documenti del consiglio. Ne pubblica l’indirizzo a chiunque apra il file, e c’è chi lo apre. Tutto ciò che è delicato deve stare dietro un’autenticazione, e il suo percorso non ha nulla a che fare con questo file.

Il secondo errore più comune è il blocco dello staging. Un sito in costruzione riceve una regola Disallow: / perché i motori lo ignorino, e nessuno la toglie al lancio. Il sito è online, l’organizzazione si aspetta traffico, e a Google è stato detto di restare fuori. Lo vediamo su siti online da un anno.

Per la maggior parte delle organizzazioni, un buon robots.txt è breve. Consenta tutto, tenga i robot fuori dalla pagina dei risultati di ricerca, dal carrello, dall’accesso e da ogni area privata, e indichi la sitemap.

User-agent: *
Allow: /
Disallow: /portal/
Disallow: /admin/
Disallow: /search/

Sitemap: https://yoursite.org/sitemap.xml

Su WordPress di solito non c’è un file fisico. WordPress risponde da sé all’indirizzo con un contenuto predefinito, e i plugin SEO permettono di modificarlo dalla bacheca. Un file di testo messo nella radice del sito sostituisce entrambi.

sitemap.xml: l’elenco delle pagine

La sitemap è l’elenco delle pagine che vuole far indicizzare, con la data dell’ultima modifica di ciascuna. I motori possono trovare le pagine seguendo i link, ma la sitemap è il modo in cui scoprono una nuova pagina in poche ore invece che in poche settimane, ed è la prima cosa che chiedono Google Search Console e Bing Webmaster Tools.

WordPress ne genera una automaticamente dalla versione 5.5, in /wp-sitemap.xml. La maggior parte dei plugin SEO la sostituisce con una migliore in /sitemap.xml. In entrambi i casi, metta il suo indirizzo in robots.txt e invii la sitemap ai due strumenti per webmaster. Se non l’ha mai inviata, è un lavoro di dieci minuti con un effetto che dura.

security.txt: a chi dirlo

Quando un ricercatore di sicurezza trova un problema sul suo sito, vuole dirlo a qualcuno che possa correggerlo. La maggior parte dei siti delle organizzazioni gli lascia solo il modulo di contatto generico o un indirizzo email da indovinare. Una segnalazione inviata dal modulo di contatto viene letta da chi quel giorno si occupa del modulo di contatto.

security.txt risolve questo problema. È uno standard di Internet, la RFC 9116, e si trova in /.well-known/security.txt. Indica un contatto per le segnalazioni di sicurezza e riporta una data di scadenza, così un contatto non più valido non resta sul web per sempre. Chi fa revisioni di sicurezza, e gli scanner automatici che usano gli uffici acquisti delle amministrazioni e delle grandi aziende, ne verificano la presenza come segno che qualcuno si occupa del sito.

L’intero file sta in poche righe.

Contact: mailto:hello@yoursite.org
Contact: https://yoursite.org/contact/
Expires: 2027-09-01T00:00:00.000Z
Preferred-Languages: en
Canonical: https://yoursite.org/.well-known/security.txt
Policy: https://yoursite.org/security/

Un dettaglio fa inciampare. Il campo della data si chiama Expires e non può superare un anno. Qualsiasi cosa legga il file tratta un nome di campo sbagliato o una data passata come se il file non esistesse. Ne abbiamo trovato uno questa settimana sul sito, per il resto ben curato, di un’organizzazione di advocacy: un plugin aveva generato il file con un campo dal nome sbagliato.

Il file è anche più utile con una breve pagina accanto, la riga Policy qui sopra, che spiega come gestite le segnalazioni e che un ricercatore in buona fede non ha nulla da temere da voi. La nostra è su LFW.com/security/ e sta in nove brevi paragrafi.

La cartella .well-known è un posto riservato ai file di questo tipo, così gli strumenti sanno dove cercare. I gestori di password vi leggono un file per il cambio della password, e il sistema dei certificati la usa per confermare che lei controlla il dominio. Nulla sul suo sito vi rimanda, perché ha bisogno di leggerla solo il software.

llms.txt: una proposta recente

llms.txt è il più recente dei quattro, e quello che richiede cautela. È una proposta, non uno standard. L’idea è una breve pagina di testo semplice in /llms.txt che dica a un assistente di IA che cosa fa la sua organizzazione e dove sono le pagine importanti, in una forma che l’assistente può leggere senza scorrere tutto il sito.

I robot chiedono /llms.txt, che il file esista o no. Il nostro è stato richiesto più di una dozzina di volte nelle settimane prima della sua pubblicazione. Non costa nulla scriverlo né servirlo. E nessuno ha dimostrato che cambi il posizionamento nei motori di ricerca o ciò che un assistente di IA dice di lei: chiunque glielo prometta sta tirando a indovinare.

Lo tratti come una cortesia verso le macchine. Non può nuocere, finché non ci mette nulla che non metterebbe sulla sua home page. È pubblico, come tutti i file di questo articolo.

Il nostro elenca che cosa fa LFW, per chi lavoriamo e una dozzina di pagine di riferimento. Scriverlo ha richiesto venti minuti, e controlliamo ciascuno dei suoi link a ogni rilascio.

Che cosa controlla ora l’audit gratuito

Da questa settimana, l’audit gratuito scarica i quattro file da qualsiasi sito gli indichi e classifica ogni problema secondo la sua importanza. Un robots.txt o una sitemap assenti sono un problema minore. Un robots.txt che blocca tutto il sito è grave, perché i motori non vedono il sito finché non viene corretto. Un robots.txt che indica percorsi dall’aspetto privato viene segnalato come rilievo di sicurezza, perché lo è. Un security.txt assente o scaduto è minore. Un llms.txt assente è solo un suggerimento, e il titolo del rilievo lo dice.

Un’avvertenza, che l’audit ripete: nessuno di questi file è un controllo di sicurezza. Mostrano che qualcuno si occupa del sito, che è ciò che vogliono sapere chi fa una revisione di sicurezza, un motore di ricerca e un acquirente pubblico. Vale un’ora del suo tempo.