---
title: "O que é uma eval de LLM? Como testar a saída do modelo"
description: "Uma eval é um conjunto de testes repetível que pontua as saídas de um LLM segundo os seus critérios. Como montar, pontuar e por que rodar antes de trocar de modelo."
url: https://broadrouter.com/pt/glossary/eval/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/eval/) (atualizado em 2026-11-16).

# Eval (avaliação de LLM)

Atualizado em 2026-11-16

Uma eval (abreviação de evaluation, avaliação) é um teste repetível de um modelo de linguagem ou de um prompt: um conjunto fixo de entradas, uma descrição de como é uma boa saída e um avaliador (código, uma pessoa ou outro modelo) que pontua cada saída, para que versões possam ser comparadas.

Também chamado de: eval, evals, avaliação de LLM, avaliação de modelos, teste de LLM, conjunto de avaliação, LLM evaluation, model evaluation, LLM testing, eval set

Uma eval é um teste unitário para um prompt e um modelo: as mesmas entradas toda vez, um critério claro de aprovação e uma nota que dá para comparar.

## Como funciona

Uma eval tem três partes:

1.  **Casos.** Entradas tiradas do uso real, com casos extremos. O guia da Anthropic cita exemplos como entradas irrelevantes, entradas longas demais e casos ambíguos “where even humans would find it hard to reach an assessment consensus” (tradução: em que até pessoas teriam dificuldade para chegar a um consenso na avaliação).
2.  **Critérios.** Como é uma boa resposta: um valor exato, um campo obrigatório, um tom, um fato que precisa aparecer.
3.  **Avaliador.** Algo que pontua cada saída.

| Avaliador | Bom para | Ponto fraco |
| --- | --- | --- |
| Código (correspondência exata, JSON Schema, regex) | Classificação, extração, [saída estruturada](https://broadrouter.com/pt/glossary/structured-output/) | Não consegue julgar texto aberto |
| Pessoa | Nuance, tom, tarefas novas | Lento e caro |
| Modelo ([LLM-as-judge](https://broadrouter.com/pt/glossary/llm-as-judge/)) | Respostas abertas em escala | Tem os próprios vieses |

A Anthropic recomenda automatizar sempre que possível e diz “Prioritize volume over quality” (tradução: priorize volume em vez de qualidade): mais casos com avaliação automática um pouco mais ruidosa vencem poucos casos avaliados à mão. Ela também sugere avaliar com um modelo diferente do que gerou a saída.

## Por que isso importa

-   **Trocar de modelo ou de provedor.** Benchmarks públicos raramente batem com a sua tarefa. Até para modelos de embedding, o benchmark MTEB concluiu que “no particular text embedding method dominates across all tasks” (tradução: nenhum método de embedding de texto domina em todas as tarefas). A sua própria eval é a única comparação confiável. Veja [como avaliar um LLM antes de trocar](https://broadrouter.com/pt/blog/evaluate-llm-before-switching/).
-   **Mudanças no prompt.** Uma correção para um caso muitas vezes quebra outro. Rode o conjunto inteiro a cada edição do prompt.
-   **Trade-offs de custo.** Uma eval mostra se um modelo mais barato basta para uma etapa, com números em vez de impressões.
-   **Segurança.** Inclua casos de [alucinações](https://broadrouter.com/pt/glossary/hallucination/), recusas e tentativas de injection, não só os caminhos em que tudo dá certo.

## Na BroadNet Inference

A documentação da BroadNet não lista um produto de evals. Rode o seu conjunto de eval a partir do seu código contra o endpoint compatível com a OpenAI, trocando só o ID do modelo para comparar modelos. Modelos de raciocínio contam o raciocínio em `max_tokens`, então deixe espaço para eles, senão um caso pode falhar com resposta vazia em vez de errada. O post [GLM 5.3 vs DeepSeek V4.1 Flash](https://broadrouter.com/pt/blog/glm-5-3-vs-deepseek-v4-1-flash/) é uma comparação feita na prática.

## Perguntas frequentes

### Qual a diferença entre uma eval e um benchmark?

Um benchmark é um conjunto de testes público usado para comparar modelos de forma geral. Uma eval costuma ser um conjunto seu, montado a partir das suas tarefas reais, e mostra como um modelo se sai no seu produto.

### Quantos casos de teste uma eval precisa ter?

Não há número fixo. As orientações da Anthropic preferem mais casos com avaliação automática a poucos casos avaliados à mão; comece com algumas dezenas tirados do tráfego real e aumente o conjunto conforme encontrar falhas.

### Devo usar temperatura 0 nas evals?

Use as configurações que você vai usar em produção. Se as saídas variam entre execuções, pontue cada caso várias vezes e compare médias em vez de resultados isolados.

## Veja também

-   [LLM-as-a-judge (LLM como juiz)](https://broadrouter.com/pt/glossary/llm-as-judge/) (termo)
-   [Alucinação (hallucination)](https://broadrouter.com/pt/glossary/hallucination/) (termo)
-   [Saída estruturada (structured output)](https://broadrouter.com/pt/glossary/structured-output/) (termo)
-   [Temperatura (temperature)](https://broadrouter.com/pt/glossary/temperature/) (termo)
-   [Guardrails (barreiras de proteção para LLM)](https://broadrouter.com/pt/glossary/guardrails/) (termo)
-   [Benchmark de LLM](https://broadrouter.com/pt/glossary/llm-benchmark/) (termo)
-   [Como usar o SDK Python da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-python-sdk/) (guia)
-   [Como avaliar um LLM antes de trocar de provedor](https://broadrouter.com/pt/blog/evaluate-llm-before-switching/) (artigo)
-   [Migrar para uma API compatível com a OpenAI: checklist de migração](https://broadrouter.com/pt/blog/openai-compatible-api-migration-checklist/) (artigo)
-   [GLM 5.3 vs DeepSeek V4.1 Flash: qual usar e quando](https://broadrouter.com/pt/blog/glm-5-3-vs-deepseek-v4-1-flash/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-eval&utm_content=page-cta) ·

**Fontes**

-   [Anthropic, definir critérios de sucesso e criar avaliações (desenvolver testes) (verificado em 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (verificado em 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff et al., MTEB: Massive Text Embedding Benchmark (arXiv) (verificado em 2026-11-16)](https://arxiv.org/abs/2210.07316)
