Glossário · Fundamentos de IA
O que é Token?
Token é a menor unidade de texto que um modelo de linguagem processa. Pode ser uma palavra, parte de uma palavra, um caractere ou um byte; textos são convertidos em tokens antes de chegar ao modelo.
Também chamado de: Tokens.
- Publicado em
- Leitura
- 1 min
Limites de tamanho dos modelos, como a janela de contexto, e o custo de uso costumam ser medidos em tokens. A quantidade de caracteres por token varia conforme o modelo e o idioma.
Exemplo
Uma palavra comum pode ser um único token; uma palavra rara pode ser dividida em vários.