Glossário · Crawlers e acesso
O que é Googlebot?
Googlebot é o nome genérico dos robôs que rastreiam a web para a Pesquisa Google, em versões para celular e computador. Ele também é a base dos AI Overviews e do AI Mode.
Também chamado de: Robô do Google.
- Publicado em
- Leitura
- 1 min
Como o Google indexa principalmente a versão para celular dos sites, a maior parte das visitas vem do Googlebot Smartphone. Bloquear o Googlebot no robots.txt tira o site da Busca, e com isso dos recursos de IA que dependem dela.
O user-agent pode ser imitado; o Google recomenda verificar visitas pelo DNS reverso do IP. O Gerador de robots.txt e llms.txt para IA mantém o Googlebot liberado por padrão.
Exemplo
# Regras específicas para o robô de busca do Google
User-agent: Googlebot
Allow: /