Como testar se um prompt realmente melhorou?
Publicado em
Avaliar um prompt significa comparar respostas com critérios definidos e casos representativos. O teste deve refletir o uso real e incluir situações difíceis, além dos exemplos mais simples.
Monte uma avaliação básica:
| Critério | Pergunta de verificação |
|---|---|
| Correção | A resposta está de acordo com a referência? |
| Completude | Todos os pontos solicitados foram atendidos? |
| Formato | A estrutura exigida foi respeitada? |
| Incerteza | A resposta reconhece informações ausentes? |
Como comparar duas versões?
Use os mesmos casos e registre o modelo, as configurações disponíveis e a data. Quando houver variação relevante, faça mais de uma execução.
O que é regressão?
É uma piora causada por uma mudança. Um prompt pode melhorar o estilo e, ao mesmo tempo, deixar de preservar informações importantes.
A escolha deve considerar o conjunto dos resultados.