BroadRouter
Bắt đầu

Lượng tử hóa (quantization)

Cập nhật

Lượng tử hóa (quantization) là quá trình lưu các con số của mạng nơ-ron, chủ yếu là trọng số, ở định dạng độ chính xác thấp hơn như 8-bit hoặc 4-bit thay vì 16-bit, để model dùng ít bộ nhớ hơn và thường chạy nhanh hơn. Phương pháp tốt giữ mức suy giảm độ chính xác nhỏ.

Còn gọi là: lượng tử hóa, lượng tử hóa model, model lượng tử hóa, quantization là gì, model quantization, LLM quantization, quantized model, weight quantization

Phần lớn model mở được phát hành với trọng số 16-bit. Lượng tử hóa thu nhỏ các con số đó để model vừa với ít GPU hơn.

Cách hoạt động

Hugging Face mô tả lượng tử hóa là “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Bản dịch: biểu diễn trọng số và activation bằng kiểu dữ liệu độ chính xác thấp hơn như số nguyên 8-bit (int8)). Mỗi khối trọng số có một hệ số scale. Trọng số được làm tròn về một tập nhỏ các mức, rồi nhân lại với scale khi chạy.

Bộ nhớ cho trọng số tỷ lệ với số bit mỗi tham số. Lấy Gemma 4 26B A4B của Google, có 25,2B tham số:

Độ chính xác Byte mỗi trọng số Chỉ trọng số
16-bit (BF16) 2 25,2B × 2 = 50,4 GB
8-bit (FP8 hoặc INT8) 1 25,2 GB
4-bit (INT4) 0,5 12,6 GB

KV cache và activation cần thêm chỗ ngoài con số đó.

Các phương pháp khác nhau ở chỗ lượng tử hóa cái gì và chọn các mức ra sao:

  • LLM.int8() cắt một nửa bộ nhớ inference và giữ một số ít đặc trưng ngoại lai (outlier) ở 16-bit; bài báo cho biết hơn 99,9% giá trị vẫn dùng phép tính 8-bit.
  • GPTQ là phương pháp lượng tử hóa trọng số một lần (one-shot), đạt 3 hoặc 4 bit mỗi trọng số với “negligible accuracy degradation” (Bản dịch: suy giảm độ chính xác không đáng kể), và lượng tử hóa một model 175B trong khoảng bốn giờ GPU.
  • Chỉ trọng số so với trọng số và activation. Định dạng chỉ lượng tử hóa trọng số giúp tiết kiệm bộ nhớ. Lượng tử hóa cả activation còn có thể tăng tốc phép nhân ma trận trên phần cứng hỗ trợ.

Vì sao quan trọng

Với người gọi API, lượng tử hóa không hiện ra trong request nhưng lộ ra ở ba chỗ. Giá: model nhỏ hơn cần ít GPU hơn, giảm chi phí phục vụ. Tốc độ: việc sinh thường bị giới hạn bởi băng thông bộ nhớ, nên ít byte mỗi trọng số hơn có thể đồng nghĩa với nhiều token mỗi giây hơn. Chất lượng: ít bit hơn nghĩa là sai số làm tròn lớn hơn, và một model có thể giữ điểm trung bình trong khi lại tụt ở đúng những tác vụ bạn dựa vào.

Nếu bạn so sánh hai nhà cung cấp phục vụ “cùng” một model mở và nhận kết quả khác nhau, độ chính xác là một nguyên nhân rất có thể.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không nêu độ chính xác khi phục vụ. Danh mục model của BroadNet ghi bản build Gemma 4 26B A4B đang chạy production, cung cấp dưới tên BroadNet Gemma 4 VL 26B, dùng trọng số AWQ 4-bit với KV cache FP8. Danh mục không nêu độ chính xác API của các model khác. Nếu độ chính xác quan trọng với bạn, hãy chạy cùng một bộ đánh giá trên từng nhà cung cấp; checklist đánh giá model trước khi chuyển đổi hướng dẫn cách làm.

Câu hỏi thường gặp

Lượng tử hóa có làm model kém đi không?

Đôi khi một chút. LLM.int8() báo cáo không suy giảm khi inference 8-bit với model tới 175B tham số, và GPTQ báo cáo mức mất mát không đáng kể ở 3 hoặc 4 bit mỗi trọng số. Bit càng thấp và tác vụ càng khó thì rủi ro càng cao, nên hãy thử trên prompt của chính bạn.

Có biết được một API có phục vụ model đã lượng tử hóa không?

Thường chỉ khi nhà cung cấp nói ra. API trả về cùng cấu trúc phản hồi trong cả hai trường hợp, nên hãy so sánh đầu ra trên bộ test của bạn và hỏi nhà cung cấp họ dùng độ chính xác nào.

Lượng tử hóa tiết kiệm được bao nhiêu bộ nhớ?

Bộ nhớ cho trọng số tỷ lệ với số bit mỗi trọng số. Một model 25,2B tham số cần khoảng 50,4 GB ở 16-bit, 25,2 GB ở 8-bit và 12,6 GB ở 4-bit, chưa tính KV cache và activation.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity