Mỗi token model viết ra đều được chọn từ một phân phối xác suất. Logprobs phơi bày phân phối đó, từng token một.
Cách hoạt động
Ở mỗi bước, model chấm điểm mọi token trong bộ từ vựng và đổi điểm thành xác suất. API có thể báo logarit tự nhiên của xác suất của token được chọn. Dùng log vì các con số gốc trở nên rất nhỏ; cộng các log cũng giống như nhân các xác suất.
Trong Chat Completions API của OpenAI, bạn yêu cầu chúng bằng hai trường trong request:
logprobs: truetrả về log xác suất cho từng token đầu ra.top_logprobslà “an integer between 0 and 20” (Bản dịch: một số nguyên từ 0 đến 20) cho biết liệt kê bao nhiêu lựa chọn thay thế khả năng cao ở mỗi vị trí. Nó cầnlogprobs: true.
Mỗi mục trong choices[0].logprobs.content chứa token, logprob của nó, bytes UTF-8 và một danh sách top_logprobs. Đổi bằng exp(logprob):
| logprob | xác suất |
|---|---|
| 0 | 1,00 |
| -0,105 | khoảng 0,90 |
| -0,693 | khoảng 0,50 |
| -2,303 | khoảng 0,10 |
Vì sao quan trọng
OpenAI Cookbook liệt kê các ứng dụng thực tế:
- Độ tin cậy khi phân loại. Yêu cầu một nhãn một từ và đọc logprob của token đó. Chuyển các mục có độ tin cậy thấp cho người xử lý.
- Kiểm tra truy xuất. Hỏi xem context được cung cấp có trả lời được câu hỏi không, và dùng xác suất của “yes” làm điểm. Cookbook liên hệ cách này với việc giảm ảo giác.
- Tự động hoàn thành. Chỉ gợi ý từ tiếp theo khi model tự tin.
- Perplexity. Lấy trung bình logprobs của cả câu trả lời, đổi dấu rồi lấy e mũ kết quả đó. Perplexity càng thấp nghĩa là model thấy văn bản càng dễ đoán.
Logprobs cũng làm việc lấy mẫu hiện rõ. Tăng temperature hoặc top-p cho phép token xác suất thấp lọt qua, và logprobs cho thấy điều đó. Chúng là phần bổ sung rẻ cho một bước LLM-as-judge, vì đi kèm câu trả lời mà không cần thêm request.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không ghi logprobs hay top_logprobs cho model nào. Đừng mặc định một endpoint tương thích OpenAI sẽ trả về chúng. Gửi một request với logprobs: true, kiểm tra xem choices[0].logprobs có dữ liệu không, và lên phương án dự phòng, như một prompt judge, nếu không có. Hướng dẫn Python SDK trình bày cách thiết lập client để thử.
Lỗi thường gặp
- Coi logprob cao là bằng chứng một sự thật là đúng. Nó chỉ có nghĩa model đã đoán trước token đó.
- So sánh logprobs giữa các model khác nhau. Tokenizer và cách hiệu chỉnh khác nhau, nên các con số không cùng thang đo.