GEO 365 · Ferramenta
Como criar robots.txt e llms.txt para crawlers de IA?
No robots.txt, cada crawler de IA é liberado ou bloqueado pelo nome (user-agent), e as empresas usam robôs diferentes para busca, treino de modelos e acesso pedido por usuários. Bloquear o treino não tira o site da busca; bloquear os robôs de busca reduz a chance de ser citado. O llms.txt é uma proposta de guia em Markdown para modelos de linguagem, que a Busca do Google ignora.
- Série
- GEO 365
- Publicado em
- Atualizado em
Nesta página
Lista de crawlers de IA
Os nomes abaixo são os usados na linha User-agent do robots.txt, agrupados pela finalidade declarada por cada empresa.
| User-agent | Empresa | Finalidade | Observação |
|---|---|---|---|
Googlebot | Buscadores | Base para Busca, AI Overviews e AI Mode. | |
Bingbot | Microsoft | Buscadores | Base para Bing e Copilot. |
Applebot | Apple | Buscadores | — |
OAI-SearchBot | OpenAI | Busca e respostas de IA | Indexa para a busca do ChatGPT. |
Claude-SearchBot | Anthropic | Busca e respostas de IA | — |
PerplexityBot | Perplexity | Busca e respostas de IA | — |
Amzn-SearchBot | Amazon | Busca e respostas de IA | Respostas e busca da Alexa. |
DuckAssistBot | DuckDuckGo | Busca e respostas de IA | — |
ChatGPT-User | OpenAI | Acesso pedido por usuários | Acesso disparado por um usuário. Pode não seguir o robots.txt. |
Claude-User | Anthropic | Acesso pedido por usuários | — |
Perplexity-User | Perplexity | Acesso pedido por usuários | Acesso disparado por um usuário. Pode não seguir o robots.txt. |
Amzn-User | Amazon | Acesso pedido por usuários | Acesso disparado por um usuário da Alexa. |
GPTBot | OpenAI | Treino de modelos | — |
ClaudeBot | Anthropic | Treino de modelos | — |
meta-externalagent | Meta | Treino de modelos | — |
Amazonbot | Amazon | Treino de modelos | Melhora produtos da Amazon e pode ser usado para treinar modelos. |
CCBot | Common Crawl | Treino de modelos | Base pública usada em treino por vários modelos. |
Bytespider | ByteDance | Treino de modelos | — |
Google-Extended | Tokens de controle de treino | Não é um crawler. Controla uso no Gemini e em treino. Não afeta AI Overviews nem AI Mode, que dependem do Googlebot. | |
Applebot-Extended | Apple | Tokens de controle de treino | Controla uso em treino da Apple. |
Gerador de robots.txt e llms.txt
Ajustar robô por robô
robots.txt gerado
User-agent: *
Allow: /
# Crawlers de IA bloqueados
# Treino de modelos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
# Tokens de controle de treino
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
Conferência: o que este arquivo libera e bloqueia
Calculado com o mesmo leitor do Checador de crawlers de IA, seguindo a RFC 9309, para a página inicial do site.
| Robô | Empresa | Acesso |
|---|---|---|
GPTBot | OpenAI | Bloqueado |
OAI-SearchBot | OpenAI | Liberado |
ChatGPT-User | OpenAI | Liberado |
ClaudeBot | Anthropic | Bloqueado |
Claude-SearchBot | Anthropic | Liberado |
Claude-User | Anthropic | Liberado |
PerplexityBot | Perplexity | Liberado |
Perplexity-User | Perplexity | Liberado |
Google-Extended | Bloqueado | |
Googlebot | Liberado | |
Bingbot | Microsoft | Liberado |
Applebot | Apple | Liberado |
Applebot-Extended | Apple | Bloqueado |
meta-externalagent | Meta | Bloqueado |
Amazonbot | Amazon | Bloqueado |
Amzn-SearchBot | Amazon | Liberado |
Amzn-User | Amazon | Liberado |
DuckAssistBot | DuckDuckGo | Liberado |
CCBot | Common Crawl | Bloqueado |
Bytespider | ByteDance | Bloqueado |
O llms.txt é uma proposta, não um padrão. A Busca do Google ignora esse arquivo; use-o como um guia extra, sem esperar ganho de ranking.
llms.txt gerado
Preencha os campos acima ou veja o exemplo preenchido.
Como publicar os arquivos
- Gere o robots.txt e, se quiser, o llms.txt nas abas acima.
- Se o site já tem robots.txt, use o modo "Só o bloco de IA" e acrescente as regras no fim do arquivo atual.
- Publique os arquivos na raiz do domínio: seusite.com.br/robots.txt e seusite.com.br/llms.txt. Repita em cada subdomínio que tiver.
- Confira o resultado com o Checador de crawlers de IA.
- Espere alguns dias: as empresas releem o robots.txt periodicamente (a OpenAI fala em cerca de 24 horas para a busca do ChatGPT).
Limitações
- O robots.txt é um pedido, não uma trava: robôs bem-comportados o respeitam, mas ele não protege conteúdo privado.
- Robôs de acesso pedido por usuários (como Perplexity-User) podem ignorar o robots.txt, porque a visita é iniciada por uma pessoa.
- Bloqueios feitos por firewall ou CDN não aparecem no robots.txt e podem impedir robôs que você liberou.
- A lista de robôs muda: novos nomes surgem e finalidades são revistas. Revise o arquivo de tempos em tempos.
- O llms.txt é uma proposta, não um padrão. A Busca do Google ignora esse arquivo, e não há garantia de que assistentes o usem.
Perguntas frequentes
Como bloquear o GPTBot no robots.txt?
Acrescente "User-agent: GPTBot" seguido de "Disallow: /". Isso indica à OpenAI que o conteúdo não deve ser usado para treinar modelos. A busca do ChatGPT usa outro robô, o OAI-SearchBot, que continua liberado se você não o bloquear.
Bloquear crawlers de IA tira o site do Google?
Bloquear robôs de IA como GPTBot, ClaudeBot ou Google-Extended não tira o site da Busca do Google. O que tira é bloquear o Googlebot, que também é a base dos AI Overviews e do AI Mode. Por isso o gerador mantém os buscadores tradicionais liberados por padrão.
Qual a diferença entre robôs de busca e de treino?
Robôs de busca (como OAI-SearchBot, Claude-SearchBot e PerplexityBot) indexam páginas para que os assistentes possam encontrá-las e citá-las nas respostas. Robôs de treino (como GPTBot, ClaudeBot e CCBot) coletam conteúdo que pode ser usado para treinar modelos. Cada um pode ser liberado ou bloqueado separadamente.
O que é o Google-Extended?
É um token do robots.txt, sem robô próprio, que indica se o conteúdo rastreado pelo Google pode ser usado para treinar modelos Gemini e para grounding no app Gemini e no Vertex AI. Segundo o Google, ele não afeta a presença nem o ranking na Busca.
O que é llms.txt e para que serve?
É uma proposta de arquivo em Markdown, publicada em 2024, que oferece a modelos de linguagem um resumo do site com links para as páginas mais importantes. Ele não controla acesso como o robots.txt; é um guia de leitura.
O llms.txt ajuda a aparecer no Google ou no ChatGPT?
Na Busca do Google, não: o Google afirma que ignora esse tipo de arquivo, sem ajudar nem prejudicar. Para outros assistentes, não há confirmação pública de uso. Trate o llms.txt como um complemento barato, não como garantia de visibilidade.
Onde colocar o robots.txt e o llms.txt?
Na raiz do domínio: seusite.com.br/robots.txt e seusite.com.br/llms.txt. Cada subdomínio precisa do próprio robots.txt.
Quanto tempo leva para o bloqueio valer?
Depende de cada empresa reler o arquivo. A OpenAI fala em cerca de 24 horas para a busca do ChatGPT, a Meta em até 24 horas e o DuckDuckGo em cerca de 72 horas.
Fontes
A lista de robôs e as finalidades seguem a documentação de cada empresa. O resultado do gerador é conferido automaticamente com o mesmo leitor do Checador de crawlers de IA, que segue a RFC 9309.
- Overview of OpenAI Crawlers (abre em nova aba)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (abre em nova aba)
- Perplexity Crawlers (abre em nova aba)
- Crawlers comuns do Google (Google-Extended) (abre em nova aba)
- About Applebot (abre em nova aba)
- Meta Web Crawlers (abre em nova aba)
- About Amazonbot (abre em nova aba)
- Is DuckAssistBot related to DuckDuckGo? (abre em nova aba)
- CCBot (abre em nova aba)
- RFC 9309: Robots Exclusion Protocol (abre em nova aba)
- The /llms.txt file (abre em nova aba)
- Guia do Google para otimizar para recursos de IA generativa na Busca (abre em nova aba)
Ferramentas e termos relacionados
Checador de crawlers de IA
Veja o que o robots.txt de qualquer site libera ou bloqueia para os crawlers de IA.
Glossário de GEO
Definições de robots.txt, user-agent, GPTBot, OAI-SearchBot, Google-Extended e llms.txt.