Glossário · Crawlers e acesso
O que é GPTBot?
GPTBot é o crawler da OpenAI que coleta conteúdo da web que pode ser usado para treinar os modelos de IA generativa da empresa. Bloqueá-lo no robots.txt indica que o conteúdo do site não deve ser usado em treinamento.
- Publicado em
- Leitura
- 1 min
A OpenAI tem crawlers diferentes para finalidades diferentes, e cada configuração no robots.txt é independente das outras. Bloquear o GPTBot não tira o site da busca do ChatGPT, que depende do OAI-SearchBot.
Bloquear ou liberar o treinamento é uma decisão de negócio de cada site: não há relação comprovada entre liberar o GPTBot e ser citado nas respostas.
Exemplo
Um site pode liberar o OAI-SearchBot (para aparecer na busca do ChatGPT) e bloquear o GPTBot (para não ceder conteúdo ao treinamento).