BroadRouter

LLM-as-a-judge (LLM como juiz)

Atualizado em

LLM-as-a-judge é um método de avaliação em que um modelo de linguagem avalia saídas de outros modelos, dando nota a uma única resposta com base em uma rubrica ou escolhendo a melhor de duas. Aproxima o julgamento humano a um custo bem menor, mas tem vieses conhecidos, como favorecer a primeira resposta ou a mais longa.

Também chamado de: LLM como juiz, LLM juiz, modelo juiz, avaliação com LLM, avaliação automática com LLM, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

O LLM-as-a-judge troca um avaliador humano por uma chamada a um modelo: você passa a pergunta, a resposta e uma rubrica, e recebe uma nota.

Como funciona

O método foi estudado a fundo por Zheng et al. (2023), que criaram o MT-Bench (perguntas com vários turnos) e o Chatbot Arena (votos em confrontos diretos coletados por crowdsourcing) para testá-lo. O principal resultado: o GPT-4 como juiz concordou tanto com as preferências de especialistas quanto com as do público “at over 80%” (tradução: em mais de 80% dos casos), o mesmo nível da concordância entre humanos.

Há duas configurações comuns:

  • Avaliação de resposta única. O juiz dá nota a uma saída em uma escala, por exemplo de 1 a 5, com base em critérios escritos. O guia de graders da OpenAI chama isso de grader score_model, que retorna “a numeric score based on the prompt within the given range.” (tradução: uma nota numérica baseada no prompt, dentro da faixa indicada).
  • Comparação aos pares. O juiz vê duas respostas para a mesma pergunta e escolhe a melhor, ou declara empate.

Um prompt de juiz normalmente inclui a pergunta original, a resposta, uma resposta de referência se você tiver e uma rubrica. Peça uma justificativa curta antes da nota e restrinja a nota com saída estruturada para o seu código conseguir ler.

Por que importa

A avaliação humana não escala para milhares de casos de eval a cada mudança de prompt. Um juiz escala, mas traz vieses que Zheng et al. mediram:

Viés O que acontece Mitigação
Posição Prefere a primeira (ou a segunda) resposta Trocar a ordem e exigir concordância
Verbosidade Prefere respostas mais longas Rubrica que premia a concisão; limites de tamanho
Autofavorecimento Prefere o estilo do próprio modelo Usar um modelo diferente como juiz

Juízes também são fracos para checar contas e fatos que não conseguem verificar. Nesses casos, dê ao juiz uma resposta de referência ou use verificações por código. Um juiz que deixa passar alucinações dá uma falsa confiança.

Na BroadNet Inference

A BroadNet não oferece um serviço de avaliação hospedado; você mesmo escreve a chamada do juiz no endpoint de chat completions. As chamadas do juiz são cobradas como qualquer requisição, então um juiz que lê respostas longas adiciona tokens de entrada e de saída por caso. Estime uma rodada com a calculadora de custo de API de LLM. Se o juiz for um modelo de raciocínio, deixe folga em max_tokens, porque o raciocínio conta nesse limite. Para o processo completo, veja avaliar um LLM antes de trocar.

Perguntas frequentes

Qual é a precisão de um LLM como juiz?

Zheng et al. verificaram que o GPT-4 como juiz concordava com as preferências humanas em mais de 80% das vezes, mais ou menos a mesma taxa de concordância entre humanos. Verifique a concordância na sua própria tarefa antes de confiar.

O juiz deve ser o mesmo modelo que está sendo testado?

De preferência, não. Zheng et al. relatam um viés de autofavorecimento, e as orientações da Anthropic consideram boa prática usar um modelo diferente para avaliar.

Como reduzir o viés de posição em comparações aos pares?

Rode cada comparação duas vezes com as respostas trocadas de lugar, e conte uma vitória só se o juiz escolher a mesma resposta nas duas vezes.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity