BroadRouter

LLM-as-a-judge (LLM làm giám khảo)

Cập nhật

LLM-as-a-judge là phương pháp đánh giá trong đó một model ngôn ngữ chấm đầu ra của model khác: chấm một câu trả lời theo rubric hoặc chọn câu tốt hơn trong hai câu. Nó gần với đánh giá của con người, rẻ hơn nhiều, nhưng có thiên lệch như ưu tiên câu đầu tiên hoặc câu dài hơn.

Còn gọi là: LLM-as-a-judge là gì, LLM làm giám khảo, LLM chấm điểm, đánh giá bằng model, AI giám khảo, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge thay người chấm bằng một lệnh gọi model: đưa cho nó câu hỏi, câu trả lời và rubric, rồi đọc lại điểm số.

Cách hoạt động

Phương pháp này được Zheng và cộng sự (2023) nghiên cứu kỹ; họ xây dựng MT-Bench (câu hỏi nhiều lượt) và Chatbot Arena (bình chọn đối đầu từ cộng đồng) để kiểm tra nó. Kết quả chính: GPT-4 khi làm giám khảo đồng ý với lựa chọn của cả chuyên gia lẫn cộng đồng “at over 80%” (Bản dịch: ở mức trên 80%), ngang mức đồng thuận giữa người với người.

Có hai cách thiết lập phổ biến:

  • Chấm một câu trả lời. Giám khảo chấm một đầu ra trên thang điểm, ví dụ 1 đến 5, theo tiêu chí viết sẵn. Hướng dẫn grader của OpenAI gọi đây là grader score_model, trả về “a numeric score based on the prompt within the given range.” (Bản dịch: một điểm số dựa trên prompt trong khoảng cho trước.)
  • So sánh từng cặp. Giám khảo xem hai câu trả lời cho cùng một câu hỏi và chọn câu tốt hơn, hoặc hòa.

Prompt cho giám khảo thường gồm câu hỏi gốc, câu trả lời, đáp án tham chiếu nếu có, và rubric. Hãy yêu cầu một lý do ngắn trước điểm số, và ràng buộc điểm bằng structured output để code của bạn parse được.

Vì sao quan trọng

Chấm tay không mở rộng được tới hàng nghìn trường hợp eval cho mỗi lần đổi prompt. Giám khảo làm được, nhưng mang theo các thiên lệch mà Zheng và cộng sự đã đo:

Thiên lệch Biểu hiện Cách giảm
Vị trí Ưu tiên câu thứ nhất (hoặc thứ hai) Đảo thứ tự và yêu cầu kết quả khớp
Dài dòng Ưu tiên câu trả lời dài hơn Rubric thưởng cho sự ngắn gọn; giới hạn độ dài
Tự đề cao Ưu tiên phong cách của chính model mình Dùng model khác làm giám khảo

Giám khảo cũng yếu khi kiểm tra toán và sự kiện mà nó không xác minh được. Với những trường hợp đó, hãy cho giám khảo đáp án tham chiếu, hoặc dùng kiểm tra bằng code. Một giám khảo bỏ sót hallucination sẽ tạo cảm giác tin tưởng sai.

Trên BroadNet Inference

BroadNet không có dịch vụ chấm điểm được host sẵn; bạn tự viết lệnh gọi giám khảo tới endpoint chat completions. Lệnh gọi giám khảo được tính tiền như mọi request, nên một giám khảo đọc câu trả lời dài sẽ cộng thêm token đầu vào và đầu ra cho mỗi trường hợp. Ước tính một lượt chạy bằng công cụ tính chi phí API LLM. Nếu giám khảo là model suy luận, hãy chừa chỗ trong max_tokens, vì phần suy luận được tính vào đó. Về quy trình tổng thể, xem đánh giá LLM trước khi chuyển đổi.

Câu hỏi thường gặp

LLM-as-a-judge chính xác đến mức nào?

Zheng và cộng sự thấy GPT-4 khi làm giám khảo đồng ý với lựa chọn của con người hơn 80% số lần, gần bằng tỉ lệ đồng ý giữa con người với nhau. Hãy kiểm tra mức đồng thuận trên tác vụ của bạn trước khi tin nó.

Giám khảo có nên là cùng model với model được kiểm thử không?

Tốt nhất là không. Zheng và cộng sự báo cáo thiên lệch tự đề cao, và hướng dẫn của Anthropic coi việc dùng một model chấm điểm khác là cách làm tốt nhất.

Làm sao giảm thiên lệch vị trí khi so sánh từng cặp?

Chạy mỗi phép so sánh hai lần với thứ tự câu trả lời đảo ngược, và chỉ tính thắng nếu giám khảo chọn cùng một câu trả lời cả hai lần.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity