Phần lớn model mở được phát hành với trọng số 16-bit. Lượng tử hóa thu nhỏ các con số đó để model vừa với ít GPU hơn.
Cách hoạt động
Hugging Face mô tả lượng tử hóa là “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Bản dịch: biểu diễn trọng số và activation bằng kiểu dữ liệu độ chính xác thấp hơn như số nguyên 8-bit (int8)). Mỗi khối trọng số có một hệ số scale. Trọng số được làm tròn về một tập nhỏ các mức, rồi nhân lại với scale khi chạy.
Bộ nhớ cho trọng số tỷ lệ với số bit mỗi tham số. Lấy Gemma 4 26B A4B của Google, có 25,2B tham số:
| Độ chính xác | Byte mỗi trọng số | Chỉ trọng số |
|---|---|---|
| 16-bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8-bit (FP8 hoặc INT8) | 1 | 25,2 GB |
| 4-bit (INT4) | 0,5 | 12,6 GB |
KV cache và activation cần thêm chỗ ngoài con số đó.
Các phương pháp khác nhau ở chỗ lượng tử hóa cái gì và chọn các mức ra sao:
- LLM.int8() cắt một nửa bộ nhớ inference và giữ một số ít đặc trưng ngoại lai (outlier) ở 16-bit; bài báo cho biết hơn 99,9% giá trị vẫn dùng phép tính 8-bit.
- GPTQ là phương pháp lượng tử hóa trọng số một lần (one-shot), đạt 3 hoặc 4 bit mỗi trọng số với “negligible accuracy degradation” (Bản dịch: suy giảm độ chính xác không đáng kể), và lượng tử hóa một model 175B trong khoảng bốn giờ GPU.
- Chỉ trọng số so với trọng số và activation. Định dạng chỉ lượng tử hóa trọng số giúp tiết kiệm bộ nhớ. Lượng tử hóa cả activation còn có thể tăng tốc phép nhân ma trận trên phần cứng hỗ trợ.
Vì sao quan trọng
Với người gọi API, lượng tử hóa không hiện ra trong request nhưng lộ ra ở ba chỗ. Giá: model nhỏ hơn cần ít GPU hơn, giảm chi phí phục vụ. Tốc độ: việc sinh thường bị giới hạn bởi băng thông bộ nhớ, nên ít byte mỗi trọng số hơn có thể đồng nghĩa với nhiều token mỗi giây hơn. Chất lượng: ít bit hơn nghĩa là sai số làm tròn lớn hơn, và một model có thể giữ điểm trung bình trong khi lại tụt ở đúng những tác vụ bạn dựa vào.
Nếu bạn so sánh hai nhà cung cấp phục vụ “cùng” một model mở và nhận kết quả khác nhau, độ chính xác là một nguyên nhân rất có thể.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không nêu độ chính xác khi phục vụ. Danh mục model của BroadNet ghi bản build Gemma 4 26B A4B đang chạy production, cung cấp dưới tên BroadNet Gemma 4 VL 26B, dùng trọng số AWQ 4-bit với KV cache FP8. Danh mục không nêu độ chính xác API của các model khác. Nếu độ chính xác quan trọng với bạn, hãy chạy cùng một bộ đánh giá trên từng nhà cung cấp; checklist đánh giá model trước khi chuyển đổi hướng dẫn cách làm.