Temperature là núm vặn giữa “lúc nào cũng cùng một câu trả lời” và “mỗi lần một câu trả lời khác”.
Cách hoạt động
Model chấm một điểm (logit) cho mọi token mà nó có thể viết tiếp theo. Hàm softmax biến các điểm đó thành xác suất. Temperature chia từng điểm trước đó. Hinton và cộng sự viết softmax với tham số T này và lưu ý rằng “using a higher value for T produces a softer probability distribution over classes.” (Bản dịch: dùng giá trị T cao hơn tạo ra phân phối xác suất mềm hơn trên các lớp).
- T nhỏ hơn 1 làm phân phối nhọn hơn. Token đứng đầu được chọn thường xuyên hơn.
- T = 1 giữ nguyên xác suất như khi model được huấn luyện.
- T lớn hơn 1 làm phân phối phẳng hơn. Token hiếm được chọn nhiều hơn.
- T gần 0 tiến tới greedy decoding: luôn lấy token khả dĩ nhất.
API của OpenAI nhận giá trị “between 0 and 2” (Bản dịch: từ 0 đến 2), mặc định là 1. Tài liệu tham chiếu nói 0,8 làm đầu ra “more random” (Bản dịch: ngẫu nhiên hơn) còn 0,2 làm nó “more focused and deterministic” (Bản dịch: tập trung và ổn định hơn). Tài liệu cũng khuyên “altering this or top_p but not both” (Bản dịch: chỉnh tham số này hoặc top_p, đừng chỉnh cả hai), vì top-p là cách thứ hai để giảm độ ngẫu nhiên.
Các model mở thường đi kèm giá trị mặc định riêng. Hugging Face Transformers đọc temperature từ generation_config.json của model và dùng 1.0 nếu không có. Một stack phục vụ model có thể dùng giá trị nào trong hai.
Vì sao quan trọng
- Khả năng lặp lại. Trích xuất, định tuyến và đầu ra có cấu trúc cần câu trả lời ổn định. Temperature thấp hơn giảm khác biệt giữa các lần chạy.
- Chất lượng. Quá cao thì model trôi sang những từ ngữ lạ hoặc chi tiết bịa đặt, góp phần gây ảo giác. Quá thấp thì văn bản dài có thể lặp: Hugging Face ghi nhận greedy decoding “begins to repeat itself” (Bản dịch: bắt đầu tự lặp lại) với chuỗi dài hơn.
- Đánh giá. Khi so sánh model, hãy cố định temperature. Nếu không, bạn đang đo nhiễu do sampling. Xem logprobs để biết model có bao nhiêu khoảng lựa chọn.
Temperature không đổi giá hay tốc độ. Mỗi token có cùng giá ở mọi mức.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không mô tả temperature, khoảng giá trị cho phép hay giá trị mặc định cho model nào. Các ví dụ request không đặt tham số này. Vì API tương thích OpenAI, các SDK sẽ gửi trường này, nhưng tài liệu không nói từng model có tuân theo hay không. Hãy đặt rõ ràng và chạy cùng một prompt nhiều lần để xem độ dao động. Hướng dẫn OpenAI Python SDK trình bày cách thiết lập client.
Lỗi thường gặp
- Dùng temperature 0 rồi cho rằng đầu ra sẽ giống hệt nhau mãi mãi. Hãy lưu câu trả lời bạn cần tái lập.
- Tăng temperature để sửa một câu trả lời sai. Prompt tốt hơn hoặc thêm context mới sửa được độ chính xác; temperature chỉ thay đổi độ đa dạng.