BroadRouter
Começar

Eval (avaliação de LLM)

Atualizado em

Uma eval (abreviação de evaluation, avaliação) é um teste repetível de um modelo de linguagem ou de um prompt: um conjunto fixo de entradas, uma descrição de como é uma boa saída e um avaliador (código, uma pessoa ou outro modelo) que pontua cada saída, para que versões possam ser comparadas.

Também chamado de: eval, evals, avaliação de LLM, avaliação de modelos, teste de LLM, conjunto de avaliação, LLM evaluation, model evaluation, LLM testing, eval set

Uma eval é um teste unitário para um prompt e um modelo: as mesmas entradas toda vez, um critério claro de aprovação e uma nota que dá para comparar.

Como funciona

Uma eval tem três partes:

  1. Casos. Entradas tiradas do uso real, com casos extremos. O guia da Anthropic cita exemplos como entradas irrelevantes, entradas longas demais e casos ambíguos “where even humans would find it hard to reach an assessment consensus” (tradução: em que até pessoas teriam dificuldade para chegar a um consenso na avaliação).
  2. Critérios. Como é uma boa resposta: um valor exato, um campo obrigatório, um tom, um fato que precisa aparecer.
  3. Avaliador. Algo que pontua cada saída.
Avaliador Bom para Ponto fraco
Código (correspondência exata, JSON Schema, regex) Classificação, extração, saída estruturada Não consegue julgar texto aberto
Pessoa Nuance, tom, tarefas novas Lento e caro
Modelo (LLM-as-judge) Respostas abertas em escala Tem os próprios vieses

A Anthropic recomenda automatizar sempre que possível e diz “Prioritize volume over quality” (tradução: priorize volume em vez de qualidade): mais casos com avaliação automática um pouco mais ruidosa vencem poucos casos avaliados à mão. Ela também sugere avaliar com um modelo diferente do que gerou a saída.

Por que isso importa

  • Trocar de modelo ou de provedor. Benchmarks públicos raramente batem com a sua tarefa. Até para modelos de embedding, o benchmark MTEB concluiu que “no particular text embedding method dominates across all tasks” (tradução: nenhum método de embedding de texto domina em todas as tarefas). A sua própria eval é a única comparação confiável. Veja como avaliar um LLM antes de trocar.
  • Mudanças no prompt. Uma correção para um caso muitas vezes quebra outro. Rode o conjunto inteiro a cada edição do prompt.
  • Trade-offs de custo. Uma eval mostra se um modelo mais barato basta para uma etapa, com números em vez de impressões.
  • Segurança. Inclua casos de alucinações, recusas e tentativas de injection, não só os caminhos em que tudo dá certo.

Na BroadNet Inference

A documentação da BroadNet não lista um produto de evals. Rode o seu conjunto de eval a partir do seu código contra o endpoint compatível com a OpenAI, trocando só o ID do modelo para comparar modelos. Modelos de raciocínio contam o raciocínio em max_tokens, então deixe espaço para eles, senão um caso pode falhar com resposta vazia em vez de errada. O post GLM 5.3 vs DeepSeek V4.1 Flash é uma comparação feita na prática.

Perguntas frequentes

Qual a diferença entre uma eval e um benchmark?

Um benchmark é um conjunto de testes público usado para comparar modelos de forma geral. Uma eval costuma ser um conjunto seu, montado a partir das suas tarefas reais, e mostra como um modelo se sai no seu produto.

Quantos casos de teste uma eval precisa ter?

Não há número fixo. As orientações da Anthropic preferem mais casos com avaliação automática a poucos casos avaliados à mão; comece com algumas dezenas tirados do tráfego real e aumente o conjunto conforme encontrar falhas.

Devo usar temperatura 0 nas evals?

Use as configurações que você vai usar em produção. Se as saídas variam entre execuções, pontue cada caso várias vezes e compare médias em vez de resultados isolados.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity