Para evaluar un LLM antes de cambiar, ejecute ambos modelos con 50 a 200 prompts reales cuyo resultado correcto conozca. Puntúe primero con verificaciones de código y con un LLM juez sin sesgos solo donde el código no pueda decidir, registre costo y latencia, y fije de antemano la regla de aprobación.
El cambio de código en sí es pequeño: con una API compatible con OpenAI se reduce a una base URL y un ID de modelo. La lista de verificación de migración cubre esa parte, y la lista de verificación de proveedores cubre precio, límites y privacidad. Lo difícil es saber si el modelo nuevo es igual de bueno para sus tareas. Las tablas de clasificación públicas no responden a eso; Artificial Analysis y sus alternativas sirven para armar una lista corta. Lo que sí responde es un pequeño conjunto de evaluación creado con su propio tráfico, en uno o dos días de trabajo.
¿Cómo crear un conjunto de evaluación a partir de tráfico real?
- Extraiga de 300 a 1,000 solicitudes recientes de sus registros de uso, tras anonimizarlas.
- Agrúpelas por tipo de tarea: extracción, clasificación, resumen, respuesta de chat, edición de código, llamada a herramienta.
- Tome una muestra de 10 a 40 por tipo, más en los tipos de alto volumen o alto riesgo. Incluya prompts largos, entradas que no estén en inglés y los casos de los que se quejaron los usuarios.
- Escriba el resultado esperado de cada uno: un valor exacto, un esquema, una prueba que debe pasar o una rúbrica breve (“menciona el plazo de reembolso; ninguna política inventada”).
- Etiquete los casos críticos. Un total de factura erróneo o una instrucción filtrada no es lo mismo que un tono un poco peor.
- Congélelo en el control de versiones. Añada casos cuando encuentre fallos nuevos y nunca los elimine para que un modelo quede mejor.
¿Qué verificaciones deben ser código y cuáles un juez?
Use la verificación fiable más barata para cada caso:
| Tarea | Verificación | ¿Necesita juez? |
|---|---|---|
| Extracción a JSON | Se analiza, valida contra el esquema, los campos son iguales a lo esperado | No |
| Clasificación | La etiqueta es igual a la esperada | No |
| Edición de código | Las pruebas pasan | No |
| Llamada a herramienta | Función correcta, los argumentos validan | No |
| Resumen | Contiene los hechos requeridos; ningún hecho ausente de la fuente | A veces |
| Respuesta de chat, tono, utilidad | Rúbrica | Sí |
Las verificaciones deterministas son gratuitas, repetibles e imposibles de halagar, así que lleve a verificaciones de código tantos casos como pueda.
¿Qué falla con un LLM como juez?
Un LLM como juez es un modelo que califica las respuestas de otros modelos según una rúbrica. El estudio de MT-Bench (Zheng et al.) halló que los jueces potentes coincidían con las preferencias humanas más del 80 % de las veces, aproximadamente tanto como los humanos coinciden entre sí. El mismo artículo identificó los sesgos que hay que tener en cuenta al diseñar:
| Sesgo | Qué ocurre | Mitigación |
|---|---|---|
| Posición | Prefiere la primera (o la segunda) respuesta mostrada | Juzgue cada par dos veces con el orden invertido; cuente una victoria solo si ambas coinciden |
| Verbosidad | Prefiere respuestas más largas | Rúbrica que premie la corrección y la brevedad; limite la longitud en el prompt |
| Autopreferencia | Prefiere respuestas con su propio estilo | Juez de una familia de modelos distinta a la de ambos candidatos |
| Razonamiento débil | Pasa por alto errores de matemáticas o de código | Use verificaciones de código para esos casos |
Dos reglas más de la práctica. Fije el juez: misma versión del modelo, mismo prompt, temperatura 0, durante toda la comparación. Y calíbrelo: etiquete usted mismo de 30 a 50 pares, ejecute el juez sobre ellos y confíe en él solo si coincide con usted la mayoría de las veces. La guía de evaluadores de Arize da el mismo consejo (“Collect 20–100 examples”; Traducción: reúna de 20 a 100 ejemplos) con etiquetas humanas, y recomienda etiquetas categóricas como aprobado/suspenso en lugar de escalas numéricas amplias.
¿Cómo hacer una comparación lado a lado?
Ejecute ambos candidatos en cada caso, oculte al juez qué modelo es cuál, invierta el orden y registre costo y tiempo:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
La regla de inversión significa que un modelo gana solo cuando el juez lo prefiere en ambas posiciones; cualquier desacuerdo cuenta como empate. La proporción de desacuerdos es útil en sí misma: una tasa alta indica que el juez o la rúbrica son demasiado vagos. Fíjese en max_tokens=4000: en los modelos de razonamiento, el pensamiento cuenta para el límite, y un tope bajo produce respuestas vacías que parecen fallos. Consulte por qué los modelos de razonamiento devuelven respuestas vacías.
¿Qué diferencia es real?
Las puntuaciones de una evaluación son muestras. Para una tasa de aprobación p sobre n casos, el error estándar es √(p × (1 − p) ÷ n), y un margen al 95 % es aproximadamente el doble.
| Casos | Tasa de aprobación | Margen al 95 % |
|---|---|---|
| 50 | 80 % | unos ±11 puntos |
| 100 | 80 % | unos ±8 puntos |
| 200 | 80 % | unos ±6 puntos |
| 400 | 80 % | unos ±4 puntos |
Así que un modelo que obtiene un 82 % frente a un 79 % en 100 casos no ha demostrado ser mejor. Fíjese en cambio en las diferencias por caso: ¿qué casos pasaron de aprobado a suspenso? Eso le dice más que los totales, y en los casos críticos un solo cambio puede decidir la migración.
¿Cuál debe ser la regla de decisión?
Escríbala antes de ejecutar la evaluación, para que el resultado no pueda torcerla. Una plantilla práctica:
- Ninguna regresión en ningún caso etiquetado como crítico.
- Una tasa de aprobación global no inferior a la del modelo actual en más que el margen de error.
- Latencia p95 dentro de su presupuesto; consulte TTFT frente a throughput para saber cómo medirla.
- Costo por caso exitoso más bajo, o más alto solo en una cantidad que se haya acordado que la calidad justifica. Calcule la diferencia mensual con la calculadora de costos de API de LLM.
- Un periodo en sombra: envíe una parte del tráfico real al modelo nuevo, registre ambos y compare antes de hacer el cambio definitivo.
El mismo conjunto de evaluación es el punto de partida si está pensando en un modelo personalizado: antes del fine-tuning explica cuándo bastan los prompts y la recuperación.
Dónde encaja BroadNet Inference
BroadNet Inference sirve varias familias de modelos detrás de un único endpoint compatible con OpenAI, entre ellas DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B, así que los candidatos y un juez de otra familia pueden ejecutarse con el mismo cliente y la misma clave. Cada respuesta incluye el uso de tokens para comparar costos, y las cuentas nuevas empiezan con $5 de crédito; sin recarga, ese crédito solo sirve para Gemma 4 VL 26B, así que prevea una pequeña recarga para comparar los modelos más grandes. No incluye un entorno de evaluación ni herramientas de juez alojadas; usted ejecuta el código de arriba. Para cargas de trabajo en árabe, elegir un LLM para árabe enumera qué probar. Los precios lado a lado están en la página de comparación.
