BroadRouter

Hakem olarak LLM (LLM-as-a-judge)

Güncellendi

LLM-as-a-judge (hakem olarak LLM), bir dil modelinin diğer model çıktılarını notlandırdığı bir değerlendirme yöntemidir: ya tek bir yanıtı bir rubriğe göre puanlar ya da iki yanıttan daha iyisini seçer. İnsan yargısına çok daha düşük maliyetle yaklaşır, ancak ilk veya daha uzun yanıtı kayırmak gibi bilinen yanlılıkları vardır.

Diğer adları: hakem LLM, LLM hakem, model ile puanlama, yapay zeka hakemi, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge, insan değerlendiricinin yerine bir model çağrısı koyar: ona soruyu, yanıtı ve bir rubriği verin, karşılığında bir skor okuyun.

Nasıl çalışır

Yöntem, test etmek için MT-Bench’i (çok turlu sorular) ve Chatbot Arena’yı (kitle kaynaklı birebir oylamalar) kuran Zheng vd. (2023) tarafından derinlemesine incelendi. Ana bulguları: hakem olarak GPT-4 hem uzman hem de kitle tercihleriyle “at over 80%” (çeviri: %80’in üzerinde) uyuştu; bu, insanlar arası uyumla aynı düzeydir.

İki yaygın kurulum vardır:

  • Tek yanıt puanlama. Hakem tek bir çıktıyı yazılı kriterlere göre bir ölçekte, örneğin 1’den 5’e kadar puanlar. OpenAI’ın graders rehberi buna “a numeric score based on the prompt within the given range.” (çeviri: isteme dayalı, verilen aralıkta sayısal bir skor) döndüren bir score_model grader der.
  • İkili karşılaştırma. Hakem aynı soruya verilmiş iki yanıtı görür ve daha iyisini seçer ya da beraberlik verir.

Bir hakem istemi genellikle orijinal soruyu, yanıtı, varsa bir referans yanıtı ve bir rubriği içerir. Skordan önce kısa bir gerekçe isteyin ve kodunuzun ayrıştırabilmesi için skoru yapılandırılmış çıktı ile sınırlayın.

Neden önemli

İnsan değerlendirmesi, her istem değişikliğinde binlerce eval vakasına ölçeklenmez. Hakem ölçeklenir, ancak Zheng vd.‘nin ölçtüğü yanlılıkları da beraberinde getirir:

Yanlılık Ne olur Azaltma
Konum İlk (veya ikinci) yanıtı tercih eder Sırayı değiştirin ve uyum şartı koyun
Uzunluk Daha uzun yanıtları tercih eder Kısalığı ödüllendiren rubrik; uzunluk sınırları
Kendini kayırma Kendi modelinin üslubunu tercih eder Hakem olarak farklı bir model kullanın

Hakemler, doğrulayamadıkları matematik ve olguları kontrol etmede de zayıftır. Bunlar için hakeme bir referans yanıt verin veya kod tabanlı kontroller kullanın. Halüsinasyonları kaçıran bir hakem sahte bir güven verir.

BroadNet Inference’ta

BroadNet barındırılan bir puanlama hizmeti sunmaz; hakem çağrısını chat completions uç noktasına karşı kendiniz yazarsınız. Hakem çağrıları her istek gibi faturalandırılır; uzun yanıtları okuyan bir hakem vaka başına girdi ve çıktı token’ları ekler. Bir çalıştırmayı LLM API maliyet hesaplayıcı ile tahmin edin. Hakem bir akıl yürütme modeliyse max_tokens içinde pay bırakın, çünkü akıl yürütme de bu sınıra sayılır. Genel süreç için geçiş yapmadan önce bir LLM’yi değerlendirme yazısına bakın.

Sık sorulan sorular

LLM-as-a-judge ne kadar doğru?

Zheng vd., hakem olarak GPT-4'ün insan tercihleriyle %80'in üzerinde uyuştuğunu buldu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynıdır. Güvenmeden önce kendi görevinizde uyumu kontrol edin.

Hakem, test edilen modelle aynı model mi olmalı?

Tercihen hayır. Zheng vd. bir kendini kayırma (self-enhancement) yanlılığı bildiriyor; Anthropic'in rehberi de farklı bir puanlama modeli kullanmayı en iyi uygulama sayıyor.

İkili karşılaştırmada konum yanlılığını nasıl azaltırım?

Her karşılaştırmayı yanıtların yerini değiştirerek iki kez çalıştırın ve yalnızca hakem iki seferde de aynı yanıtı seçerse bunu galibiyet sayın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor