BroadRouter

LLM-as-a-judge (LLM sebagai juri)

Diperbarui

LLM-as-a-judge adalah metode evaluasi di mana model bahasa menilai output model lain, baik dengan memberi skor satu jawaban berdasarkan rubrik maupun memilih yang lebih baik dari dua jawaban. Metode ini mendekati penilaian manusia dengan biaya jauh lebih rendah, tetapi punya bias yang diketahui, seperti condong ke jawaban pertama atau lebih panjang.

Disebut juga: LLM sebagai juri, LLM judge, juri AI, eval dinilai model, LLM-as-a-judge, LLM as a judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge mengganti penilai manusia dengan panggilan model: beri model pertanyaan, jawaban, dan rubrik, lalu baca skornya.

Cara kerjanya

Metode ini diteliti secara mendalam oleh Zheng dkk. (2023), yang membangun MT-Bench (pertanyaan multi-giliran) dan Chatbot Arena (voting head-to-head dari crowdsourcing) untuk mengujinya. Hasil utama mereka: GPT-4 sebagai juri sepakat dengan preferensi pakar maupun crowd “at over 80%” (terjemahan: di atas 80%), setara dengan tingkat kesepakatan antar-manusia.

Ada dua setup yang umum:

  • Penilaian satu jawaban. Juri memberi skor satu output pada skala tertentu, misalnya 1 sampai 5, berdasarkan kriteria tertulis. Panduan graders OpenAI menyebutnya score_model grader yang mengembalikan “a numeric score based on the prompt within the given range.” (terjemahan: skor numerik berdasarkan prompt dalam rentang yang ditentukan.)
  • Perbandingan berpasangan. Juri melihat dua jawaban untuk pertanyaan yang sama dan memilih yang lebih baik, atau seri.

Prompt juri biasanya berisi pertanyaan asli, jawaban, jawaban referensi jika ada, dan rubrik. Minta alasan singkat sebelum skor, dan batasi skornya dengan output terstruktur agar kode Anda bisa mem-parse-nya.

Kenapa ini penting

Penilaian manusia tidak bisa diskalakan ke ribuan kasus eval setiap kali prompt berubah. Juri bisa, tetapi membawa bias yang diukur oleh Zheng dkk.:

Bias Apa yang terjadi Mitigasi
Posisi Lebih memilih jawaban pertama (atau kedua) Tukar urutan dan wajibkan kesepakatan
Verbositas Lebih memilih jawaban yang lebih panjang Rubrik yang menghargai keringkasan; batas panjang
Self-enhancement Lebih memilih gaya modelnya sendiri Gunakan model lain sebagai juri

Juri juga lemah dalam memeriksa matematika dan fakta yang tidak bisa diverifikasinya. Untuk itu, beri juri jawaban referensi, atau gunakan pemeriksaan berbasis kode. Juri yang melewatkan halusinasi memberi rasa percaya diri yang palsu.

Di BroadNet Inference

BroadNet tidak menyediakan layanan penilaian yang di-host; Anda menulis panggilan juri sendiri ke endpoint chat completions. Panggilan juri ditagih seperti request lain, jadi juri yang membaca jawaban panjang menambah token input dan output per kasus. Perkirakan biaya satu putaran dengan kalkulator biaya API LLM. Jika juri adalah model penalaran, sisakan ruang di max_tokens, karena penalaran ikut dihitung di dalamnya. Untuk proses yang lebih luas, lihat evaluasi LLM sebelum berganti.

Pertanyaan umum

Seberapa akurat LLM-as-a-judge?

Zheng dkk. menemukan GPT-4 sebagai juri sepakat dengan preferensi manusia lebih dari 80% waktu, kira-kira sama dengan tingkat kesepakatan antar-manusia. Periksa tingkat kesepakatannya pada tugas Anda sendiri sebelum memercayainya.

Apakah juri sebaiknya model yang sama dengan model yang diuji?

Sebaiknya tidak. Zheng dkk. melaporkan bias self-enhancement, dan panduan Anthropic menyebut memakai model penilai yang berbeda sebagai praktik terbaik.

Bagaimana mengurangi position bias dalam penilaian berpasangan?

Jalankan setiap perbandingan dua kali dengan urutan jawaban ditukar, dan hitung sebagai kemenangan hanya jika juri memilih jawaban yang sama di kedua putaran.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity