BroadRouter
Bắt đầu

Temperature (nhiệt độ)

Cập nhật

Temperature là tham số sampling điều chỉnh mức ngẫu nhiên trong đầu ra của model ngôn ngữ. Model chia điểm của từng token cho temperature trước khi đổi thành xác suất: giá trị thấp làm token khả dĩ nhất chiếm ưu thế, giá trị cao làm phân phối phẳng hơn nên token ít khả dĩ được chọn thường hơn.

Còn gọi là: nhiệt độ, temperature là gì, tham số temperature, nhiệt độ LLM, sampling temperature, LLM temperature, temperature parameter

Temperature là núm vặn giữa “lúc nào cũng cùng một câu trả lời” và “mỗi lần một câu trả lời khác”.

Cách hoạt động

Model chấm một điểm (logit) cho mọi token mà nó có thể viết tiếp theo. Hàm softmax biến các điểm đó thành xác suất. Temperature chia từng điểm trước đó. Hinton và cộng sự viết softmax với tham số T này và lưu ý rằng “using a higher value for T produces a softer probability distribution over classes.” (Bản dịch: dùng giá trị T cao hơn tạo ra phân phối xác suất mềm hơn trên các lớp).

  • T nhỏ hơn 1 làm phân phối nhọn hơn. Token đứng đầu được chọn thường xuyên hơn.
  • T = 1 giữ nguyên xác suất như khi model được huấn luyện.
  • T lớn hơn 1 làm phân phối phẳng hơn. Token hiếm được chọn nhiều hơn.
  • T gần 0 tiến tới greedy decoding: luôn lấy token khả dĩ nhất.

API của OpenAI nhận giá trị “between 0 and 2” (Bản dịch: từ 0 đến 2), mặc định là 1. Tài liệu tham chiếu nói 0,8 làm đầu ra “more random” (Bản dịch: ngẫu nhiên hơn) còn 0,2 làm nó “more focused and deterministic” (Bản dịch: tập trung và ổn định hơn). Tài liệu cũng khuyên “altering this or top_p but not both” (Bản dịch: chỉnh tham số này hoặc top_p, đừng chỉnh cả hai), vì top-p là cách thứ hai để giảm độ ngẫu nhiên.

Các model mở thường đi kèm giá trị mặc định riêng. Hugging Face Transformers đọc temperature từ generation_config.json của model và dùng 1.0 nếu không có. Một stack phục vụ model có thể dùng giá trị nào trong hai.

Vì sao quan trọng

  • Khả năng lặp lại. Trích xuất, định tuyến và đầu ra có cấu trúc cần câu trả lời ổn định. Temperature thấp hơn giảm khác biệt giữa các lần chạy.
  • Chất lượng. Quá cao thì model trôi sang những từ ngữ lạ hoặc chi tiết bịa đặt, góp phần gây ảo giác. Quá thấp thì văn bản dài có thể lặp: Hugging Face ghi nhận greedy decoding “begins to repeat itself” (Bản dịch: bắt đầu tự lặp lại) với chuỗi dài hơn.
  • Đánh giá. Khi so sánh model, hãy cố định temperature. Nếu không, bạn đang đo nhiễu do sampling. Xem logprobs để biết model có bao nhiêu khoảng lựa chọn.

Temperature không đổi giá hay tốc độ. Mỗi token có cùng giá ở mọi mức.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không mô tả temperature, khoảng giá trị cho phép hay giá trị mặc định cho model nào. Các ví dụ request không đặt tham số này. Vì API tương thích OpenAI, các SDK sẽ gửi trường này, nhưng tài liệu không nói từng model có tuân theo hay không. Hãy đặt rõ ràng và chạy cùng một prompt nhiều lần để xem độ dao động. Hướng dẫn OpenAI Python SDK trình bày cách thiết lập client.

Lỗi thường gặp

  • Dùng temperature 0 rồi cho rằng đầu ra sẽ giống hệt nhau mãi mãi. Hãy lưu câu trả lời bạn cần tái lập.
  • Tăng temperature để sửa một câu trả lời sai. Prompt tốt hơn hoặc thêm context mới sửa được độ chính xác; temperature chỉ thay đổi độ đa dạng.

Câu hỏi thường gặp

Nên đặt temperature bao nhiêu?

Giá trị thấp như 0 đến 0,3 cho trích xuất, phân loại và code, khi bạn muốn mỗi lần cùng một câu trả lời. Giá trị cao hơn như 0,7 đến 1 cho brainstorming và cách diễn đạt đa dạng. Hãy thử cả hai trên prompt của chính bạn.

Temperature 0 có làm đầu ra hoàn toàn cố định không?

Không được đảm bảo. Nó đẩy model về phía token đứng đầu mỗi lần, nhưng các nhà cung cấp nhìn chung không hứa đầu ra giống hệt nhau giữa các lần chạy. Hãy lưu lại câu trả lời nào bạn cần tái lập.

Temperature mặc định của BroadNet là bao nhiêu?

Tài liệu BroadNet không nêu temperature mặc định cho model nào. Nếu đầu ra phụ thuộc vào nó, hãy đặt rõ ràng trong từng request.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity