BroadRouter
Bắt đầu

Logprobs (log xác suất)

Cập nhật

Logprobs là log xác suất mà một model ngôn ngữ đã gán cho các token nó sinh ra. API trả về logprobs sẽ cho thấy, với mỗi token đầu ra, model đánh giá token đó khả năng cao đến đâu, và tùy chọn thêm các token thay thế khả năng cao nhất ở vị trí đó.

Còn gọi là: log xác suất, logprobs là gì, xác suất token, log xác suất token, log probabilities, token log probabilities, top_logprobs, token probabilities

Mỗi token model viết ra đều được chọn từ một phân phối xác suất. Logprobs phơi bày phân phối đó, từng token một.

Cách hoạt động

Ở mỗi bước, model chấm điểm mọi token trong bộ từ vựng và đổi điểm thành xác suất. API có thể báo logarit tự nhiên của xác suất của token được chọn. Dùng log vì các con số gốc trở nên rất nhỏ; cộng các log cũng giống như nhân các xác suất.

Trong Chat Completions API của OpenAI, bạn yêu cầu chúng bằng hai trường trong request:

  • logprobs: true trả về log xác suất cho từng token đầu ra.
  • top_logprobs là “an integer between 0 and 20” (Bản dịch: một số nguyên từ 0 đến 20) cho biết liệt kê bao nhiêu lựa chọn thay thế khả năng cao ở mỗi vị trí. Nó cần logprobs: true.

Mỗi mục trong choices[0].logprobs.content chứa token, logprob của nó, bytes UTF-8 và một danh sách top_logprobs. Đổi bằng exp(logprob):

logprob xác suất
0 1,00
-0,105 khoảng 0,90
-0,693 khoảng 0,50
-2,303 khoảng 0,10

Vì sao quan trọng

OpenAI Cookbook liệt kê các ứng dụng thực tế:

  • Độ tin cậy khi phân loại. Yêu cầu một nhãn một từ và đọc logprob của token đó. Chuyển các mục có độ tin cậy thấp cho người xử lý.
  • Kiểm tra truy xuất. Hỏi xem context được cung cấp có trả lời được câu hỏi không, và dùng xác suất của “yes” làm điểm. Cookbook liên hệ cách này với việc giảm ảo giác.
  • Tự động hoàn thành. Chỉ gợi ý từ tiếp theo khi model tự tin.
  • Perplexity. Lấy trung bình logprobs của cả câu trả lời, đổi dấu rồi lấy e mũ kết quả đó. Perplexity càng thấp nghĩa là model thấy văn bản càng dễ đoán.

Logprobs cũng làm việc lấy mẫu hiện rõ. Tăng temperature hoặc top-p cho phép token xác suất thấp lọt qua, và logprobs cho thấy điều đó. Chúng là phần bổ sung rẻ cho một bước LLM-as-judge, vì đi kèm câu trả lời mà không cần thêm request.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không ghi logprobs hay top_logprobs cho model nào. Đừng mặc định một endpoint tương thích OpenAI sẽ trả về chúng. Gửi một request với logprobs: true, kiểm tra xem choices[0].logprobs có dữ liệu không, và lên phương án dự phòng, như một prompt judge, nếu không có. Hướng dẫn Python SDK trình bày cách thiết lập client để thử.

Lỗi thường gặp

  • Coi logprob cao là bằng chứng một sự thật là đúng. Nó chỉ có nghĩa model đã đoán trước token đó.
  • So sánh logprobs giữa các model khác nhau. Tokenizer và cách hiệu chỉnh khác nhau, nên các con số không cùng thang đo.

Câu hỏi thường gặp

Làm sao đổi một logprob thành phần trăm?

Lấy e mũ logprob. Logprob -0,105 tương đương khoảng 0,90, tức 90%. Logprob bằng 0 nghĩa là model gán cho token đó xác suất 1.

Logprobs có đo được câu trả lời đúng hay sai không?

Không. Chúng đo mức tự tin của model vào cách diễn đạt, không phải sự thật có đúng không. Model có thể sai một cách đầy tự tin.

BroadNet Inference có trả về logprobs không?

Tài liệu tham chiếu API của BroadNet không ghi logprobs. Hãy gửi một request thử với logprobs đặt là true và kiểm tra response trước khi xây dựng dựa trên nó.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity