LLM-as-a-judge menggantikan penilai manusia dengan panggilan model: berikan soalan, jawapan dan rubrik, kemudian baca skor yang dipulangkan.
Cara ia berfungsi
Kaedah ini dikaji secara mendalam oleh Zheng et al. (2023), yang membina MT-Bench (soalan berbilang giliran) dan Chatbot Arena (undian bersemuka secara crowdsourcing) untuk mengujinya. Keputusan utama mereka: GPT-4 sebagai hakim bersetuju dengan pilihan pakar dan orang ramai “at over 80%” (Terjemahan BroadRouter: “pada lebih 80%”), tahap yang sama dengan persetujuan antara manusia.
Terdapat dua susunan yang lazim:
- Penilaian jawapan tunggal. Hakim memberi skor kepada satu output pada skala, contohnya 1 hingga 5, berdasarkan kriteria bertulis. Panduan graders OpenAI menyebutnya grader
score_modelyang memulangkan “a numeric score based on the prompt within the given range.” (Terjemahan BroadRouter: “skor berangka berdasarkan prompt dalam julat yang diberikan.”) - Perbandingan berpasangan. Hakim melihat dua jawapan kepada soalan yang sama dan memilih yang lebih baik, atau seri.
Prompt hakim biasanya merangkumi soalan asal, jawapan, jawapan rujukan jika ada, dan rubrik. Minta alasan ringkas sebelum skor, dan hadkan skor dengan output berstruktur supaya kod anda boleh menghuraikannya.
Mengapa ia penting
Penilaian manusia tidak boleh diskalakan kepada ribuan kes eval bagi setiap perubahan prompt. Hakim boleh, tetapi ia membawa bias yang diukur oleh Zheng et al.:
| Bias | Apa yang berlaku | Mitigasi |
|---|---|---|
| Kedudukan | Memihak kepada jawapan pertama (atau kedua) | Tukar susunan dan wajibkan persetujuan |
| Panjang jawapan | Memihak kepada jawapan yang lebih panjang | Rubrik yang memberi ganjaran kepada keringkasan; had panjang |
| Peninggian diri | Memihak kepada gaya modelnya sendiri | Guna model lain sebagai hakim |
Hakim juga lemah dalam menyemak matematik dan fakta yang tidak dapat disahkannya. Untuk itu, berikan hakim jawapan rujukan, atau gunakan semakan berasaskan kod. Hakim yang terlepas halusinasi memberi keyakinan palsu.
Di BroadNet Inference
BroadNet tidak menawarkan perkhidmatan penilaian yang dihoskan; anda menulis panggilan hakim sendiri terhadap endpoint chat completions. Panggilan hakim dibilkan seperti permintaan lain, jadi hakim yang membaca jawapan panjang menambah token input dan output bagi setiap kes. Anggarkan satu larian dengan kalkulator kos API LLM. Jika hakim ialah model penaakulan, beri ruang dalam max_tokens, kerana penaakulan dikira di dalamnya. Untuk proses yang lebih luas, lihat nilai LLM sebelum bertukar.