Die vier Dateien, auf die niemand verlinkt

Dateien für Maschinen

Jede Website hat ein paar reine Textdateien an festen Adressen, auf die keine Seite verlinkt. Besucher sehen sie nie. Suchmaschinen, Sicherheitsscanner, Passwortmanager und inzwischen auch KI-Agenten rufen sie bei jedem Besuch ab und handeln nach dem, was sie dort finden.

Vier davon lohnen sich: robots.txt, sitemap.xml, security.txt und llms.txt. Drei sind seit Langem etablierte Konventionen, eine ist ein Vorschlag. Alle vier zusammen kosten etwa eine Stunde, und sie kosten nichts.

Wir sind diese Liste diese Woche auf unserer eigenen Website durchgegangen. Zwei der vier fehlten, und eine dritte war dünner, als sie sein sollte, also haben wir zuerst unsere eigenen Lücken geschlossen. Das kostenlose Audit prüft jetzt alle vier auf jeder Website, die Sie ihm nennen.

robots.txt: was Crawler lesen dürfen

Die robots.txt liegt im Stammverzeichnis Ihrer Website, unter ihrewebsite.org/robots.txt. Sie sagt Crawlern, welche Teile der Website sie lesen dürfen und welche sie in Ruhe lassen sollen, und sie verweist auf Ihre Sitemap. Google, Bing und jeder anständige Crawler rufen sie vor allem anderen ab.

Crawler müssen sich nicht daran halten, und manche tun es nicht. Daraus folgt die eine Regel, die für diese Datei zählt: Führen Sie nie einen Pfad auf, den ein Fremder nicht finden soll. Eine Zeile Disallow: /vorstandsunterlagen/ versteckt Ihre Vorstandsunterlagen nicht. Sie veröffentlicht deren Adresse für jeden, der die Datei öffnet, und Menschen öffnen sie. Alles Vertrauliche gehört hinter eine Anmeldung, und sein Pfad gehört überhaupt nicht in diese Datei.

Der zweithäufigste Fehler ist die Sperre aus der Staging-Phase. Eine Website im Aufbau bekommt eine Regel Disallow: /, damit Suchmaschinen sie ignorieren, und beim Start entfernt niemand die Regel. Die Website ist online, die Organisation wartet auf Besucher, und Google wurde gesagt, draußen zu bleiben. Wir sehen das bei Websites, die seit einem Jahr online sind.

Für die meisten Organisationen ist eine gute robots.txt kurz. Erlauben Sie alles, halten Sie Crawler von der Suchergebnisseite, dem Warenkorb, der Anmeldung und jedem privaten Bereich fern, und nennen Sie die Sitemap.

User-agent: *
Allow: /
Disallow: /portal/
Disallow: /admin/
Disallow: /search/

Sitemap: https://yoursite.org/sitemap.xml

Bei WordPress gibt es meist keine physische Datei. WordPress beantwortet die Adresse selbst mit einer Standardfassung, und SEO-Plugins lassen Sie sie im Dashboard bearbeiten. Eine reine Textdatei, die in das Stammverzeichnis hochgeladen wird, hat Vorrang vor beidem.

sitemap.xml: die Seitenliste

Die Sitemap listet die Seiten auf, die indexiert werden sollen, mit dem Datum der letzten Änderung jeder Seite. Suchmaschinen finden Seiten auch, indem sie Links folgen, aber über die Sitemap erfahren sie von einer neuen Seite in Stunden statt in Wochen. Sie ist auch das Erste, wonach die Google Search Console und die Bing Webmaster Tools fragen.

WordPress erzeugt seit Version 5.5 automatisch eine, unter /wp-sitemap.xml. Die meisten SEO-Plugins ersetzen sie durch eine bessere unter /sitemap.xml. In jedem Fall gehört ihre Adresse in die robots.txt, und die Sitemap sollte bei beiden Webmaster-Tools eingereicht werden. Wenn Sie sie noch nie eingereicht haben, ist das eine Aufgabe von zehn Minuten, die sich dauerhaft auszahlt.

security.txt: wem man es sagt

Wenn jemand aus der Sicherheitsforschung ein Problem auf Ihrer Website findet, will er es jemandem mitteilen, der es beheben kann. Die meisten Websites von Organisationen bieten dafür nur das allgemeine Kontaktformular oder eine geratene E-Mail-Adresse. Eine Meldung über das Kontaktformular liest, wer gerade das Kontaktformular beantwortet.

Die security.txt löst das. Sie ist ein Internetstandard, RFC 9116, und liegt unter /.well-known/security.txt. Sie nennt einen Kontakt für Sicherheitsmeldungen und trägt ein Ablaufdatum, damit ein veralteter Kontakt nicht für immer im Netz bleibt. Sicherheitsprüfer und die automatischen Scanner, die Beschaffungsteams von Behörden und Unternehmen einsetzen, prüfen, ob sie vorhanden ist, als Zeichen dafür, dass sich jemand um die Website kümmert.

Die ganze Datei besteht aus ein paar Zeilen.

Contact: mailto:hello@yoursite.org
Contact: https://yoursite.org/contact/
Expires: 2027-09-01T00:00:00.000Z
Preferred-Languages: en
Canonical: https://yoursite.org/.well-known/security.txt
Policy: https://yoursite.org/security/

Ein Detail bringt Leute ins Stolpern. Das Datumsfeld heißt Expires, und es darf höchstens ein Jahr in der Zukunft liegen. Alles, was die Datei liest, behandelt einen falschen Feldnamen oder ein vergangenes Datum so, als fehle die Datei. Wir haben diese Woche einen solchen Fall auf der gut betreuten Website einer Interessenvertretung gefunden, wo ein Plugin die Datei mit falsch benanntem Feld erzeugt hatte.

Die Datei ist außerdem nützlicher mit einer kurzen Seite daneben, der Policy-Zeile oben, die sagt, wie Sie mit Meldungen umgehen und dass jemand, der in gutem Glauben forscht, von Ihnen nichts zu befürchten hat. Unsere liegt unter LFW.com/security/ und umfasst neun kurze Absätze.

Der Ordner .well-known ist ein reservierter Ort für Dateien dieser Art, damit Werkzeuge wissen, wo sie suchen müssen. Passwortmanager lesen dort eine Datei zum Ändern des Passworts, und das Zertifikatssystem nutzt ihn, um zu bestätigen, dass Sie die Domain kontrollieren. Nichts auf Ihrer Website verlinkt dorthin, weil nur Software ihn lesen muss.

llms.txt: ein neuer Vorschlag

Die llms.txt ist die neueste der vier und die, bei der Vorsicht geboten ist. Sie ist ein Vorschlag, kein Standard. Die Idee ist eine kurze reine Textseite unter /llms.txt, die einem KI-Assistenten sagt, was Ihre Organisation tut und wo die wichtigen Seiten sind, in einer Form, die der Assistent lesen kann, ohne die ganze Website durchzuarbeiten.

Crawler fragen /llms.txt ab, ob die Datei existiert oder nicht. Unsere wurde in den Wochen vor ihrer Veröffentlichung mehr als ein Dutzend Mal angefragt. Sie zu schreiben und auszuliefern kostet nichts. Und niemand hat gezeigt, dass sie Suchrankings verändert oder das, was ein KI-Assistent über Sie sagt; wer das verspricht, rät.

Betrachten Sie sie als Höflichkeit gegenüber Maschinen. Sie kann nicht schaden, solange Sie nie etwas hineinschreiben, das Sie nicht auch auf Ihre Startseite stellen würden. Sie ist öffentlich, wie jede Datei in diesem Artikel.

Unsere führt auf, was LFW tut, für wen wir arbeiten und ein Dutzend Referenzseiten. Sie zu schreiben hat zwanzig Minuten gedauert, und wir prüfen jeden Link darin bei jedem Deployment.

Was das kostenlose Audit jetzt prüft

Seit dieser Woche ruft das kostenlose Audit alle vier Dateien auf jeder Website ab, die Sie ihm nennen, und bewertet jedes Problem danach, wie viel es ausmacht. Eine fehlende robots.txt oder Sitemap ist geringfügig. Eine robots.txt, die die ganze Website sperrt, ist schwerwiegend, weil Suchmaschinen die Website nicht sehen, bis das behoben ist. Eine robots.txt, die privat aussehende Pfade nennt, wird als Sicherheitsbefund markiert, weil sie einer ist. Eine fehlende oder abgelaufene security.txt ist geringfügig. Eine fehlende llms.txt ist nur ein Vorschlag, und der Titel des Befunds sagt das auch.

Ein Vorbehalt, den das Audit wiederholt: Keine dieser Dateien ist eine Sicherheitsmaßnahme. Sie zeigen, dass sich jemand um die Website kümmert, und genau das wollen Sicherheitsprüfer, Suchmaschinen und Beschaffungsverantwortliche wissen. Das ist eine Stunde Ihrer Zeit wert.