Una eval es una prueba unitaria para un prompt y un modelo: las mismas entradas cada vez, un criterio de aprobación claro y una puntuación que se puede comparar.
Cómo funciona
Una eval tiene tres partes:
- Casos. Entradas tomadas del uso real, con casos límite. La guía de Anthropic enumera ejemplos como entradas irrelevantes, entradas demasiado largas y casos ambiguos “where even humans would find it hard to reach an assessment consensus” (traducción: en los que incluso a las personas les costaría llegar a un consenso en la evaluación).
- Criterios. Cómo es una buena respuesta: un valor exacto, un campo obligatorio, un tono, un dato que debe aparecer.
- Calificador. Algo que puntúa cada salida.
| Calificador | Adecuado para | Punto débil |
|---|---|---|
| Código (coincidencia exacta, JSON Schema, regex) | Clasificación, extracción, salida estructurada | No puede juzgar texto abierto |
| Persona | Matices, tono, tareas nuevas | Lento y costoso |
| Modelo (LLM como juez) | Respuestas abiertas a escala | Tiene sus propios sesgos |
Anthropic recomienda automatizar siempre que sea posible y afirma “Prioritize volume over quality” (traducción: priorice el volumen sobre la calidad): más casos con una calificación automática algo más ruidosa superan a unos pocos calificados a mano. También sugiere calificar con un modelo distinto del que produjo la salida.
Por qué importa
- Cambiar de modelo o de proveedor. Los benchmarks públicos rara vez coinciden con su tarea. Incluso con modelos de embeddings, el benchmark MTEB encontró que “no particular text embedding method dominates across all tasks” (traducción: ningún método de embeddings de texto domina en todas las tareas). Su propia eval es la única comparación fiable. Consulte cómo evaluar un LLM antes de cambiar.
- Cambios en el prompt. Arreglar un caso suele romper otro. Vuelva a ejecutar el conjunto completo con cada edición del prompt.
- Compromisos de costo. Una eval muestra si un modelo más barato basta para un paso concreto, con números en lugar de impresiones.
- Seguridad. Añada casos de alucinaciones, rechazos e intentos de inyección, no solo de los caminos felices.
En BroadNet Inference
La documentación de BroadNet no incluye un producto de evals. Ejecute su conjunto de evaluación desde su propio código contra el endpoint compatible con OpenAI, cambiando solo el ID del modelo para comparar modelos. Los modelos de razonamiento cuentan el razonamiento dentro de max_tokens, así que deles margen o un caso puede fallar con una respuesta vacía en lugar de una incorrecta. El artículo GLM 5.3 frente a DeepSeek V4.1 Flash es una comparación práctica.