Glossário · Crawlers e acesso
O que é Crawler?
Crawler é um programa que visita páginas da web automaticamente, seguindo links, para coletar conteúdo. Buscadores usam crawlers para montar seus índices, e empresas de IA os usam para busca, para treinar modelos ou para abrir páginas a pedido de usuários.
Também chamado de: Robô, Spider, Rastreador.
- Publicado em
- Leitura
- 1 min
O Google define crawler, também chamado de robô ou spider, como um termo genérico para programas que examinam sites automaticamente. Cada crawler se identifica pelo cabeçalho user-agent da requisição. Os crawlers do Google também podem ser verificados pelo endereço IP e pelo DNS reverso.
No contexto de IA, é útil separar os crawlers por finalidade: os de busca (que permitem aparecer e ser citado nas respostas), os de treinamento de modelos e os que buscam uma página no momento em que um usuário pede. Cada um pode ser liberado ou bloqueado separadamente no robots.txt.
Exemplo
Googlebot rastreia para a Busca do Google; OAI-SearchBot, para a busca do ChatGPT; GPTBot coleta conteúdo que pode ser usado no treinamento dos modelos da OpenAI.