O que são tokens e janela de contexto na IA?
Publicado em
Tokens são unidades usadas por modelos de IA para representar conteúdo. Em textos, um token pode corresponder a parte de uma palavra, uma palavra ou pontuação. Os modelos possuem limites de processamento, que devem ser consultados na documentação específica.
A janela de contexto delimita quanto conteúdo o modelo consegue considerar. A maneira de contabilizar entrada, saída e outros componentes depende do modelo.
Por que isso importa ao analisar documentos?
Um conjunto de arquivos pode ultrapassar o limite disponível. Mesmo quando cabe, é necessário conferir se a resposta utilizou as informações relevantes.
Prompt para experimentar:
Compare os documentos A e B quanto a prazo, escopo e preço. Para cada diferença, indique o documento e a seção correspondente. Se uma informação estiver ausente, registre “não localizada”.
Token é a mesma coisa que palavra?
Não. Evite calcular limites supondo que cada palavra equivale a um token. Utilize o contador da ferramenta quando disponível.