Glossário · Crawlers e acesso
O que é OAI-SearchBot?
OAI-SearchBot é o crawler da OpenAI usado para a busca do ChatGPT. Sites que querem aparecer nos resultados de busca do ChatGPT devem permitir esse robô no robots.txt.
- Publicado em
- Leitura
- 1 min
Segundo a OpenAI, sites que bloqueiam o OAI-SearchBot não aparecem nas respostas da busca do ChatGPT, embora ainda possam aparecer como links de navegação. A empresa informa que pode levar cerca de 24 horas para seus sistemas refletirem uma mudança no robots.txt.
O OAI-SearchBot é independente do GPTBot (treinamento) e do ChatGPT-User, que abre páginas quando um usuário pede. Como as visitas do ChatGPT-User são iniciadas por pessoas, a OpenAI avisa que as regras do robots.txt podem não se aplicar a elas.
Exemplo
User-agent: OAI-SearchBot
Allow: /