Uma eval é um teste unitário para um prompt e um modelo: as mesmas entradas toda vez, um critério claro de aprovação e uma nota que dá para comparar.
Como funciona
Uma eval tem três partes:
- Casos. Entradas tiradas do uso real, com casos extremos. O guia da Anthropic cita exemplos como entradas irrelevantes, entradas longas demais e casos ambíguos “where even humans would find it hard to reach an assessment consensus” (tradução: em que até pessoas teriam dificuldade para chegar a um consenso na avaliação).
- Critérios. Como é uma boa resposta: um valor exato, um campo obrigatório, um tom, um fato que precisa aparecer.
- Avaliador. Algo que pontua cada saída.
| Avaliador | Bom para | Ponto fraco |
|---|---|---|
| Código (correspondência exata, JSON Schema, regex) | Classificação, extração, saída estruturada | Não consegue julgar texto aberto |
| Pessoa | Nuance, tom, tarefas novas | Lento e caro |
| Modelo (LLM-as-judge) | Respostas abertas em escala | Tem os próprios vieses |
A Anthropic recomenda automatizar sempre que possível e diz “Prioritize volume over quality” (tradução: priorize volume em vez de qualidade): mais casos com avaliação automática um pouco mais ruidosa vencem poucos casos avaliados à mão. Ela também sugere avaliar com um modelo diferente do que gerou a saída.
Por que isso importa
- Trocar de modelo ou de provedor. Benchmarks públicos raramente batem com a sua tarefa. Até para modelos de embedding, o benchmark MTEB concluiu que “no particular text embedding method dominates across all tasks” (tradução: nenhum método de embedding de texto domina em todas as tarefas). A sua própria eval é a única comparação confiável. Veja como avaliar um LLM antes de trocar.
- Mudanças no prompt. Uma correção para um caso muitas vezes quebra outro. Rode o conjunto inteiro a cada edição do prompt.
- Trade-offs de custo. Uma eval mostra se um modelo mais barato basta para uma etapa, com números em vez de impressões.
- Segurança. Inclua casos de alucinações, recusas e tentativas de injection, não só os caminhos em que tudo dá certo.
Na BroadNet Inference
A documentação da BroadNet não lista um produto de evals. Rode o seu conjunto de eval a partir do seu código contra o endpoint compatível com a OpenAI, trocando só o ID do modelo para comparar modelos. Modelos de raciocínio contam o raciocínio em max_tokens, então deixe espaço para eles, senão um caso pode falhar com resposta vazia em vez de errada. O post GLM 5.3 vs DeepSeek V4.1 Flash é uma comparação feita na prática.