Os quatro arquivos para os quais ninguém faz link

Arquivos para máquinas

Todo site tem alguns arquivos de texto simples em endereços fixos para os quais nenhuma página faz link. Os visitantes nunca os veem. Buscadores, scanners de segurança, gerenciadores de senhas e, agora, agentes de IA os buscam a cada visita e agem com base no que encontram.

Quatro valem a pena: robots.txt, sitemap.xml, security.txt e llms.txt. Três são convenções antigas, e um é uma proposta. Os quatro juntos levam cerca de uma hora, e não custam nada.

Percorremos esta lista no nosso próprio site nesta semana. Dois dos quatro estavam faltando e um terceiro estava mais magro do que deveria, então corrigimos primeiro as nossas próprias lacunas. A auditoria gratuita agora verifica os quatro em qualquer site que você indicar.

robots.txt: o que os rastreadores podem ler

O robots.txt fica na raiz do seu site, em seusite.org/robots.txt. Ele diz aos rastreadores quais partes do site eles podem ler e quais devem deixar de lado, e aponta para o seu sitemap. Google, Bing e todo rastreador bem-comportado o buscam antes de qualquer outra coisa.

Os rastreadores não são obrigados a obedecê-lo, e alguns não obedecem. Daí vem a única regra que importa para este arquivo: nunca liste um caminho que você não gostaria que um estranho encontrasse. Uma linha que diz Disallow: /board-documents/ não esconde os documentos do seu conselho. Ela publica o endereço deles para qualquer pessoa que abrir o arquivo, e as pessoas abrem. Tudo o que é sensível deve ficar atrás de um login, e o caminho até lá nem deve aparecer neste arquivo.

O segundo erro mais comum é o bloqueio do ambiente de homologação. Um site em construção recebe uma regra Disallow: / para que os buscadores o ignorem, e ninguém remove a regra no lançamento. O site está no ar, a organização espera visitas, e o Google foi instruído a ficar de fora. Vemos isso em sites que estão no ar há um ano.

Para a maioria das organizações, um bom robots.txt é curto. Permita tudo, mantenha os rastreadores fora da página de resultados de busca, do carrinho, do login e de qualquer área privada, e indique o sitemap.

User-agent: *
Allow: /
Disallow: /portal/
Disallow: /admin/
Disallow: /search/

Sitemap: https://yoursite.org/sitemap.xml

No WordPress, normalmente não há um arquivo físico. O próprio WordPress responde nesse endereço com um conteúdo padrão, e os plugins de SEO permitem editá-lo pelo painel. Um arquivo de texto simples enviado para a raiz do site substitui os dois.

sitemap.xml: a lista de páginas

O sitemap lista as páginas que você quer que sejam indexadas, com a data da última alteração de cada uma. Os buscadores conseguem encontrar páginas seguindo links, mas é pelo sitemap que eles ficam sabendo de uma página nova em horas, e não em semanas. É também a primeira coisa que o Google Search Console e o Bing Webmaster Tools pedem.

O WordPress gera um automaticamente desde a versão 5.5, em /wp-sitemap.xml. A maioria dos plugins de SEO o substitui por um melhor, em /sitemap.xml. Em qualquer caso, coloque o endereço dele no robots.txt e envie o sitemap às duas ferramentas para webmasters. Se você nunca o enviou, é uma tarefa de dez minutos que continua dando retorno.

security.txt: a quem avisar

Quando um pesquisador de segurança encontra um problema no seu site, ele quer avisar alguém que possa corrigi-lo. A maioria dos sites de organizações oferece apenas o formulário de contato geral ou um palpite de endereço de e-mail. Um relato enviado pelo formulário de contato é lido por quem estiver respondendo o formulário de contato.

O security.txt resolve isso. É um padrão da internet, o RFC 9116, e fica em /.well-known/security.txt. Ele indica um contato para relatos de segurança e traz uma data de validade, para que um contato desatualizado não fique na web para sempre. Os avaliadores de segurança, e os scanners automáticos que as equipes de compras de governos e de grandes empresas usam, verificam a presença dele como sinal de que alguém cuida do site.

O arquivo inteiro tem poucas linhas.

Contact: mailto:hello@yoursite.org
Contact: https://yoursite.org/contact/
Expires: 2027-09-01T00:00:00.000Z
Preferred-Languages: en
Canonical: https://yoursite.org/.well-known/security.txt
Policy: https://yoursite.org/security/

Um detalhe confunde as pessoas. O campo de data se chama Expires, e não pode estar a mais de um ano no futuro. Qualquer programa que leia o arquivo trata um nome de campo errado ou uma data passada como se o arquivo não existisse. Encontramos um caso nesta semana num site bem cuidado de defesa de causas, em que um plugin tinha gerado o arquivo com o nome do campo errado.

O arquivo também fica mais útil com uma página curta ao lado, a da linha Policy acima, que diga como você trata os relatos e que um pesquisador agindo de boa-fé não tem nada a temer. A nossa fica em LFW.com/security/ e tem nove parágrafos curtos.

A pasta .well-known é um local reservado para arquivos como este, para que as ferramentas saibam onde procurar. Os gerenciadores de senhas leem ali um arquivo de troca de senha, e o sistema de certificados a usa para confirmar que você controla o domínio. Nada no seu site faz link para lá, porque só os programas precisam lê-la.

llms.txt: uma proposta nova

O llms.txt é o mais novo dos quatro, e o que pede cuidado. É uma proposta, não um padrão. A ideia é uma página curta de texto simples em /llms.txt que diz a um assistente de IA o que a sua organização faz e onde estão as páginas importantes, num formato que o assistente consegue ler sem percorrer o site inteiro.

Os rastreadores pedem /llms.txt, exista o arquivo ou não. O nosso foi pedido mais de uma dúzia de vezes nas semanas antes de o publicarmos. Não custa nada escrevê-lo nem servi-lo. E ninguém demonstrou que ele muda as posições nas buscas ou o que um assistente de IA diz sobre você, então quem promete isso está chutando.

Trate-o como uma cortesia às máquinas. Ele não faz mal, desde que você nunca coloque nele nada que não colocaria na sua página inicial. Ele é público, como todos os arquivos deste artigo.

O nosso lista o que a LFW faz, para quem trabalhamos e uma dúzia de páginas de referência. Levou vinte minutos para escrever, e verificamos todos os links dele a cada publicação.

O que a auditoria gratuita verifica agora

Desde esta semana, a auditoria gratuita busca os quatro arquivos em qualquer site que você indicar e classifica cada problema pela importância. Um robots.txt ou um sitemap faltando é algo menor. Um robots.txt que bloqueia o site inteiro é grave, porque os buscadores não conseguem ver o site até que seja corrigido. Um robots.txt que cita caminhos com cara de privados é apontado como um problema de segurança, porque é um. Um security.txt faltando ou vencido é algo menor. Um llms.txt faltando é só uma sugestão, e o título do apontamento diz isso.

Uma ressalva, que a auditoria repete: nenhum desses arquivos é um controle de segurança. Eles mostram que alguém cuida do site, que é o que um avaliador de segurança, um buscador e um responsável por compras querem saber. Isso vale uma hora do seu tempo.