Glossário · Crawlers e acesso
O que é User-agent?
User-agent é a identificação que um navegador ou robô envia a cada requisição a um site. No robots.txt, o token de user-agent é o nome usado para dar regras a um crawler específico, como GPTBot ou Googlebot.
Também chamado de: Agente de usuário, Token de user-agent.
- Publicado em
- Leitura
- 1 min
O cabeçalho HTTP User-Agent é definido pela especificação do HTTP e informa qual software faz a requisição. Crawlers usam esse cabeçalho para se identificar.
No robots.txt, cada grupo de regras começa com uma linha User-agent: seguida do nome do crawler, ou de * para todos. Pela RFC 9309, o crawler segue o grupo com o seu nome e, se não houver, o grupo geral.
O user-agent pode ser imitado por qualquer programa. Por isso, o Google também oferece verificação por IP e DNS reverso para confirmar que uma visita veio de fato dos seus crawlers. Há ainda tokens que não correspondem a nenhum robô próprio, como o Google-Extended, usados só para dar instruções no robots.txt.
Exemplo
# Impede o GPTBot de rastrear o site, sem afetar os outros crawlers.
User-agent: GPTBot
Disallow: /