LLM-as-a-judge, insan değerlendiricinin yerine bir model çağrısı koyar: ona soruyu, yanıtı ve bir rubriği verin, karşılığında bir skor okuyun.
Nasıl çalışır
Yöntem, test etmek için MT-Bench’i (çok turlu sorular) ve Chatbot Arena’yı (kitle kaynaklı birebir oylamalar) kuran Zheng vd. (2023) tarafından derinlemesine incelendi. Ana bulguları: hakem olarak GPT-4 hem uzman hem de kitle tercihleriyle “at over 80%” (çeviri: %80’in üzerinde) uyuştu; bu, insanlar arası uyumla aynı düzeydir.
İki yaygın kurulum vardır:
- Tek yanıt puanlama. Hakem tek bir çıktıyı yazılı kriterlere göre bir ölçekte, örneğin 1’den 5’e kadar puanlar. OpenAI’ın graders rehberi buna “a numeric score based on the prompt within the given range.” (çeviri: isteme dayalı, verilen aralıkta sayısal bir skor) döndüren bir
score_modelgrader der. - İkili karşılaştırma. Hakem aynı soruya verilmiş iki yanıtı görür ve daha iyisini seçer ya da beraberlik verir.
Bir hakem istemi genellikle orijinal soruyu, yanıtı, varsa bir referans yanıtı ve bir rubriği içerir. Skordan önce kısa bir gerekçe isteyin ve kodunuzun ayrıştırabilmesi için skoru yapılandırılmış çıktı ile sınırlayın.
Neden önemli
İnsan değerlendirmesi, her istem değişikliğinde binlerce eval vakasına ölçeklenmez. Hakem ölçeklenir, ancak Zheng vd.‘nin ölçtüğü yanlılıkları da beraberinde getirir:
| Yanlılık | Ne olur | Azaltma |
|---|---|---|
| Konum | İlk (veya ikinci) yanıtı tercih eder | Sırayı değiştirin ve uyum şartı koyun |
| Uzunluk | Daha uzun yanıtları tercih eder | Kısalığı ödüllendiren rubrik; uzunluk sınırları |
| Kendini kayırma | Kendi modelinin üslubunu tercih eder | Hakem olarak farklı bir model kullanın |
Hakemler, doğrulayamadıkları matematik ve olguları kontrol etmede de zayıftır. Bunlar için hakeme bir referans yanıt verin veya kod tabanlı kontroller kullanın. Halüsinasyonları kaçıran bir hakem sahte bir güven verir.
BroadNet Inference’ta
BroadNet barındırılan bir puanlama hizmeti sunmaz; hakem çağrısını chat completions uç noktasına karşı kendiniz yazarsınız. Hakem çağrıları her istek gibi faturalandırılır; uzun yanıtları okuyan bir hakem vaka başına girdi ve çıktı token’ları ekler. Bir çalıştırmayı LLM API maliyet hesaplayıcı ile tahmin edin. Hakem bir akıl yürütme modeliyse max_tokens içinde pay bırakın, çünkü akıl yürütme de bu sınıra sayılır. Genel süreç için geçiş yapmadan önce bir LLM’yi değerlendirme yazısına bakın.