LLM-as-a-judge thay người chấm bằng một lệnh gọi model: đưa cho nó câu hỏi, câu trả lời và rubric, rồi đọc lại điểm số.
Cách hoạt động
Phương pháp này được Zheng và cộng sự (2023) nghiên cứu kỹ; họ xây dựng MT-Bench (câu hỏi nhiều lượt) và Chatbot Arena (bình chọn đối đầu từ cộng đồng) để kiểm tra nó. Kết quả chính: GPT-4 khi làm giám khảo đồng ý với lựa chọn của cả chuyên gia lẫn cộng đồng “at over 80%” (Bản dịch: ở mức trên 80%), ngang mức đồng thuận giữa người với người.
Có hai cách thiết lập phổ biến:
- Chấm một câu trả lời. Giám khảo chấm một đầu ra trên thang điểm, ví dụ 1 đến 5, theo tiêu chí viết sẵn. Hướng dẫn grader của OpenAI gọi đây là grader
score_model, trả về “a numeric score based on the prompt within the given range.” (Bản dịch: một điểm số dựa trên prompt trong khoảng cho trước.) - So sánh từng cặp. Giám khảo xem hai câu trả lời cho cùng một câu hỏi và chọn câu tốt hơn, hoặc hòa.
Prompt cho giám khảo thường gồm câu hỏi gốc, câu trả lời, đáp án tham chiếu nếu có, và rubric. Hãy yêu cầu một lý do ngắn trước điểm số, và ràng buộc điểm bằng structured output để code của bạn parse được.
Vì sao quan trọng
Chấm tay không mở rộng được tới hàng nghìn trường hợp eval cho mỗi lần đổi prompt. Giám khảo làm được, nhưng mang theo các thiên lệch mà Zheng và cộng sự đã đo:
| Thiên lệch | Biểu hiện | Cách giảm |
|---|---|---|
| Vị trí | Ưu tiên câu thứ nhất (hoặc thứ hai) | Đảo thứ tự và yêu cầu kết quả khớp |
| Dài dòng | Ưu tiên câu trả lời dài hơn | Rubric thưởng cho sự ngắn gọn; giới hạn độ dài |
| Tự đề cao | Ưu tiên phong cách của chính model mình | Dùng model khác làm giám khảo |
Giám khảo cũng yếu khi kiểm tra toán và sự kiện mà nó không xác minh được. Với những trường hợp đó, hãy cho giám khảo đáp án tham chiếu, hoặc dùng kiểm tra bằng code. Một giám khảo bỏ sót hallucination sẽ tạo cảm giác tin tưởng sai.
Trên BroadNet Inference
BroadNet không có dịch vụ chấm điểm được host sẵn; bạn tự viết lệnh gọi giám khảo tới endpoint chat completions. Lệnh gọi giám khảo được tính tiền như mọi request, nên một giám khảo đọc câu trả lời dài sẽ cộng thêm token đầu vào và đầu ra cho mỗi trường hợp. Ước tính một lượt chạy bằng công cụ tính chi phí API LLM. Nếu giám khảo là model suy luận, hãy chừa chỗ trong max_tokens, vì phần suy luận được tính vào đó. Về quy trình tổng thể, xem đánh giá LLM trước khi chuyển đổi.