Glossário · Crawlers e acesso
O que é robots.txt?
robots.txt é o arquivo na raiz de um site que diz aos crawlers quais partes eles podem ou não rastrear. O formato é padronizado pela RFC 9309 e funciona como um pedido aos robôs, não como um bloqueio de acesso.
Também chamado de: Robots Exclusion Protocol, REP.
- Publicado em
- Leitura
- 1 min
O protocolo foi criado por Martijn Koster em 1994 e virou padrão da IETF em 2022, na RFC 9309. O arquivo é organizado em grupos: cada grupo indica um ou mais user-agents e as regras Allow e Disallow que valem para eles. Quando várias regras se aplicam a um endereço, vence a mais longa; em empate, Allow vence.
A própria RFC lembra que essas regras não são uma forma de autorização de acesso. Robôs bem-comportados as respeitam, mas o arquivo não protege conteúdo privado. Bloqueios feitos por firewall ou CDN também não aparecem no robots.txt.
Com a chegada das IAs, o robots.txt passou a ser usado para separar finalidades: liberar crawlers de busca e decidir, à parte, sobre os de treinamento. O Checador de crawlers de IA mostra o que o robots.txt de um site libera ou bloqueia.
Exemplo
User-agent: *
Allow: /
Disallow: /admin
User-agent: GPTBot
Disallow: /