BroadRouter
Comenzar

Evaluación de LLM (eval)

Actualizado

Una eval (abreviatura de evaluation, evaluación) es una prueba repetible de un modelo de lenguaje o de un prompt: un conjunto fijo de entradas, una descripción de cómo es una buena salida y un calificador (código, una persona u otro modelo) que puntúa cada salida para poder comparar versiones.

También llamado: eval, evals, evaluación de LLM, evaluación de modelos, pruebas de LLM, conjunto de evaluación, LLM evaluation, model evaluation, LLM testing, eval set

Una eval es una prueba unitaria para un prompt y un modelo: las mismas entradas cada vez, un criterio de aprobación claro y una puntuación que se puede comparar.

Cómo funciona

Una eval tiene tres partes:

  1. Casos. Entradas tomadas del uso real, con casos límite. La guía de Anthropic enumera ejemplos como entradas irrelevantes, entradas demasiado largas y casos ambiguos “where even humans would find it hard to reach an assessment consensus” (traducción: en los que incluso a las personas les costaría llegar a un consenso en la evaluación).
  2. Criterios. Cómo es una buena respuesta: un valor exacto, un campo obligatorio, un tono, un dato que debe aparecer.
  3. Calificador. Algo que puntúa cada salida.
Calificador Adecuado para Punto débil
Código (coincidencia exacta, JSON Schema, regex) Clasificación, extracción, salida estructurada No puede juzgar texto abierto
Persona Matices, tono, tareas nuevas Lento y costoso
Modelo (LLM como juez) Respuestas abiertas a escala Tiene sus propios sesgos

Anthropic recomienda automatizar siempre que sea posible y afirma “Prioritize volume over quality” (traducción: priorice el volumen sobre la calidad): más casos con una calificación automática algo más ruidosa superan a unos pocos calificados a mano. También sugiere calificar con un modelo distinto del que produjo la salida.

Por qué importa

  • Cambiar de modelo o de proveedor. Los benchmarks públicos rara vez coinciden con su tarea. Incluso con modelos de embeddings, el benchmark MTEB encontró que “no particular text embedding method dominates across all tasks” (traducción: ningún método de embeddings de texto domina en todas las tareas). Su propia eval es la única comparación fiable. Consulte cómo evaluar un LLM antes de cambiar.
  • Cambios en el prompt. Arreglar un caso suele romper otro. Vuelva a ejecutar el conjunto completo con cada edición del prompt.
  • Compromisos de costo. Una eval muestra si un modelo más barato basta para un paso concreto, con números en lugar de impresiones.
  • Seguridad. Añada casos de alucinaciones, rechazos e intentos de inyección, no solo de los caminos felices.

En BroadNet Inference

La documentación de BroadNet no incluye un producto de evals. Ejecute su conjunto de evaluación desde su propio código contra el endpoint compatible con OpenAI, cambiando solo el ID del modelo para comparar modelos. Los modelos de razonamiento cuentan el razonamiento dentro de max_tokens, así que deles margen o un caso puede fallar con una respuesta vacía en lugar de una incorrecta. El artículo GLM 5.3 frente a DeepSeek V4.1 Flash es una comparación práctica.

Preguntas frecuentes

¿Qué diferencia hay entre una eval y un benchmark?

Un benchmark es un conjunto de prueba público que se usa para comparar modelos en general. Una eval suele ser su propio conjunto, creado a partir de sus tareas reales, y le dice cómo rinde un modelo en su producto.

¿Cuántos casos de prueba necesita una eval?

No hay un número fijo. Las pautas de Anthropic prefieren más casos con calificación automática a unos pocos calificados a mano; empiece con decenas tomados del tráfico real y amplíelos a medida que encuentre fallos.

¿Debo poner temperature en 0 para las evals?

Use la configuración que usará en producción. Si las salidas varían entre ejecuciones, puntúe cada caso varias veces y compare promedios en lugar de resultados aislados.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity