---
title: "¿Qué es LLM-as-a-judge? Evaluaciones calificadas por un LLM"
description: "LLM-as-a-judge usa un modelo de lenguaje para calificar las salidas de otro según una rúbrica. Cómo funciona, sus sesgos conocidos y cómo hacer fiables sus notas."
url: https://broadrouter.com/es/glossary/llm-as-judge/
lang: es
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/llm-as-judge/) (actualizado el 2026-11-14).

# LLM como juez (LLM-as-a-judge)

Actualizado 2026-11-14

LLM como juez (LLM-as-a-judge) es un método de evaluación en el que un modelo de lenguaje califica las salidas de otros modelos, ya sea puntuando una respuesta según una rúbrica o eligiendo la mejor de dos. Se aproxima al juicio humano a un costo mucho menor, pero tiene sesgos conocidos, como favorecer la primera respuesta o la más larga.

También llamado: LLM como juez, LLM juez, evaluación con LLM, juez de IA, calificador LLM, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge sustituye al evaluador humano por una llamada a un modelo: le da la pregunta, la respuesta y una rúbrica, y lee la puntuación que devuelve.

## Cómo funciona

Zheng et al. (2023) estudiaron el método a fondo y crearon MT-Bench (preguntas de varios turnos) y Chatbot Arena (votos colectivos en enfrentamientos directos) para ponerlo a prueba. Su resultado principal: GPT-4 como juez coincidió con las preferencias tanto de expertos como del público “at over 80%” (traducción: en más del 80 %), el mismo nivel de acuerdo que entre humanos.

Hay dos configuraciones habituales:

-   **Calificación de una sola respuesta.** El juez puntúa una salida en una escala, por ejemplo de 1 a 5, según criterios escritos. La guía de graders de OpenAI lo llama un grader `score_model` que devuelve “a numeric score based on the prompt within the given range.” (traducción: una puntuación numérica basada en el prompt dentro del rango indicado).
-   **Comparación por pares.** El juez ve dos respuestas a la misma pregunta y elige la mejor, o declara un empate.

Un prompt de juez suele incluir la pregunta original, la respuesta, una respuesta de referencia si la tiene y una rúbrica. Pida una breve justificación antes de la puntuación y restrinja la puntuación con [salida estructurada](https://broadrouter.com/es/glossary/structured-output/) para que su código pueda procesarla.

## Por qué importa

La calificación humana no escala a miles de casos de [evaluación](https://broadrouter.com/es/glossary/eval/) por cada cambio de prompt. Un juez sí, pero trae sesgos que Zheng et al. midieron:

| Sesgo | Qué ocurre | Mitigación |
| --- | --- | --- |
| Posición | Prefiere la primera (o la segunda) respuesta | Intercambiar el orden y exigir acuerdo |
| Verbosidad | Prefiere respuestas más largas | Rúbrica que premie la brevedad; límites de longitud |
| Autopromoción | Prefiere el estilo de su propio modelo | Usar otro modelo como juez |

Los jueces también fallan al comprobar matemáticas y hechos que no pueden verificar. Para eso, dé al juez una respuesta de referencia o use comprobaciones basadas en código. Un juez que no detecta [alucinaciones](https://broadrouter.com/es/glossary/hallucination/) da una falsa sensación de confianza.

## En BroadNet Inference

BroadNet no ofrece un servicio de calificación alojado; usted escribe la llamada al juez contra el endpoint de chat completions. Las llamadas al juez se cobran como cualquier solicitud, así que un juez que lee respuestas largas añade [tokens de entrada y salida](https://broadrouter.com/es/glossary/input-and-output-tokens/) por caso. Estime el costo de una ejecución con la [calculadora de costos de APIs de LLM](https://broadrouter.com/tools/llm-api-cost-calculator/). Si el juez es un modelo de razonamiento, deje margen en `max_tokens`, porque el razonamiento cuenta para ese límite. Para el proceso completo, consulte [evaluar un LLM antes de cambiar](https://broadrouter.com/es/blog/evaluate-llm-before-switching/).

## Preguntas frecuentes

### ¿Qué tan preciso es LLM-as-a-judge?

Zheng et al. encontraron que GPT-4 como juez coincidía con las preferencias humanas más del 80 % de las veces, aproximadamente la misma tasa con la que coinciden los humanos entre sí. Compruebe el acuerdo en su propia tarea antes de confiar en él.

### ¿El juez debe ser el mismo modelo que se evalúa?

Preferiblemente no. Zheng et al. reportan un sesgo de autopromoción, y la guía de Anthropic considera buena práctica usar un modelo calificador distinto.

### ¿Cómo reduzco el sesgo de posición en comparaciones por pares?

Ejecute cada comparación dos veces intercambiando el orden de las respuestas, y cuente una victoria solo si el juez elige la misma respuesta las dos veces.

## Vea también

-   [Evaluación de LLM (eval)](https://broadrouter.com/es/glossary/eval/) (término)
-   [Alucinación (hallucination)](https://broadrouter.com/es/glossary/hallucination/) (término)
-   [Salida estructurada (structured output)](https://broadrouter.com/es/glossary/structured-output/) (término)
-   [Temperatura (temperature)](https://broadrouter.com/es/glossary/temperature/) (término)
-   [Tokens de entrada y de salida (input and output tokens)](https://broadrouter.com/es/glossary/input-and-output-tokens/) (término)
-   [Usar el SDK de OpenAI para Python con BroadNet Inference](https://broadrouter.com/es/guides/openai-python-sdk/) (guía)
-   [Cómo evaluar un LLM antes de cambiar de proveedor](https://broadrouter.com/es/blog/evaluate-llm-before-switching/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-llm-as-judge&utm_content=page-cta) ·

**Fuentes**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, crear evaluaciones empíricas sólidas (calificación basada en LLM)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, guía de graders (grader score\_model)](https://developers.openai.com/api/docs/guides/graders)
