Một model 4-bit có kích thước khoảng một phần tư bản gốc 16-bit. AWQ là một trong những cách được dùng nhiều nhất để đạt được điều đó mà không mất nhiều chất lượng.
Cách hoạt động
Lượng tử hóa thông thường làm tròn mọi trọng số về một tập nhỏ giá trị. Nhưng có những trọng số quan trọng hơn, và làm tròn chúng gây hại nhiều nhất. Phát hiện chính của bài báo AWQ là “Protecting only 1% salient weights can greatly reduce quantization error” (Bản dịch: Chỉ cần bảo vệ 1% trọng số nổi bật là có thể giảm mạnh sai số lượng tử hóa), và để tìm những trọng số đó, “we should refer to the activation distribution, not weights.” (Bản dịch: chúng ta nên dựa vào phân phối activation, không phải trọng số.)
Các bước, tóm tắt:
- Chạy một tập hiệu chuẩn nhỏ qua model độ chính xác đầy đủ và ghi lại độ lớn activation theo từng kênh.
- Scale lớn các kênh trọng số quan trọng bằng thứ mà bài báo gọi là “an equivalent transformation” (Bản dịch: một phép biến đổi tương đương), để việc làm tròn ít ảnh hưởng tới chúng trong khi đầu ra của layer vẫn giữ nguyên. Cách này tránh được “hardware-inefficient mix-precision quantization” (Bản dịch: lượng tử hóa độ chính xác hỗn hợp kém hiệu quả về phần cứng).
- Làm tròn mọi trọng số về độ chính xác thấp, thường là số nguyên 4-bit với một hệ số scale cho mỗi nhóm trọng số.
Bài báo nhấn mạnh rằng “AWQ does not rely on any backpropagation or reconstruction” (Bản dịch: AWQ không dựa vào lan truyền ngược hay tái tạo), nên nó “generalizes to different domains and modalities” (Bản dịch: tổng quát hóa được sang các miền và modality khác nhau) mà không overfit tập hiệu chuẩn. Bài báo này đoạt giải Best Paper tại MLSys 2024.
Trong vLLM, một checkpoint AWQ đã lượng tử hóa sẵn được nạp chỉ với một tham số:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
Trang của vLLM mô tả định dạng này giảm trọng số “from BF16/FP16 to INT4” (Bản dịch: từ BF16/FP16 xuống INT4) và cảnh báo rằng “The AutoAWQ library is deprecated” (Bản dịch: Thư viện AutoAWQ đã deprecated); model AWQ mới được tạo bằng llm-compressor của vLLM.
Vì sao quan trọng
- Bộ nhớ và chi phí. Trọng số nhỏ hơn vừa với ít GPU hơn hoặc GPU rẻ hơn, và chừa thêm bộ nhớ cho KV cache, nghĩa là xử lý được nhiều request cùng lúc hơn.
- Tốc độ. Giai đoạn decode đọc mọi trọng số cho mỗi token, nên trọng số nhỏ hơn có thể cho đầu ra nhanh hơn. Bài báo cho biết runtime TinyChat của họ đạt “more than 3x speedup over the Huggingface FP16 implementation” (Bản dịch: tăng tốc hơn 3 lần so với bản triển khai FP16 của Huggingface).
- Cùng trọng số, khác kết quả. Hai nơi phục vụ “cùng một model” có thể dùng cách lượng tử hóa khác nhau. Khi so sánh chất lượng, hãy hỏi nhà cung cấp họ phục vụ định dạng nào.
AWQ chỉ lượng tử hóa trọng số. Nó khác FP8, vốn có thể lượng tử hóa cả activation, và khác GGUF, một định dạng file có các kiểu lượng tử riêng cho llama.cpp.
Trên BroadNet Inference
BroadNet cho biết họ phục vụ Gemma 4 VL 26B với trọng số AWQ 4-bit do chính họ lượng tử hóa, kèm speculative decoding bằng dự đoán nhiều token (k=2) và KV cache fp8. Theo trang model, họ đã thử NVFP4 và loại bỏ nó sau một lần so sánh trực tiếp. BroadNet cũng cho biết cùng trọng số Gemma 4 khi được một nhà cung cấp hosting khác phục vụ có điểm trung bình thấp hơn 0,13 so với cách phục vụ của chính họ (BroadNet không nói theo chỉ số hay thang đo nào); bài viết về đội GPU và cách phục vụ có chi tiết. BroadNet không công bố định dạng lượng tử hóa của các model API khác. Nếu bạn định tự chạy trọng số AWQ, hướng dẫn so sánh chi phí tự host và API trình bày cách tính.