Nếu bạn từng tải một model về chạy trên laptop, rất có thể đó là một file có đuôi .gguf.
Cách hoạt động
Đặc tả của ggml mô tả GGUF là một định dạng nhị phân để lưu model phục vụ inference với GGML và các executor dựa trên GGML, được thiết kế để nạp và lưu nhanh. Nó thay thế các định dạng cũ hơn là GGML, GGMF và GGJT. Các mục tiêu được nêu gồm:
- Một file duy nhất. Model có thể được chia sẻ và nạp mà không cần file phụ.
- Tương thích mmap. Runtime có thể memory-map trọng số thay vì sao chép.
- Mở rộng được. Có thể thêm metadata mới mà không làm hỏng các model cũ.
- Đầy đủ thông tin. Mọi thứ cần để nạp model đều nằm trong file.
Một file GGUF gồm phần header (magic number, phiên bản định dạng, số lượng tensor và metadata), các cặp key-value metadata có kiểu, một bảng tên tensor, shape, kiểu và offset, phần padding tới ranh giới căn chỉnh (mặc định 32 byte), rồi đến dữ liệu tensor.
Tên file theo một quy ước. Ví dụ trong đặc tả Mixtral-8x7B-v0.1-KQ2.gguf tách thành tên gốc, nhãn kích thước (tám expert 7B, xem mixture of experts), phiên bản và kiểu mã hóa.
Phần lớn file GGUF đã được lượng tử hóa. Bảng của Hugging Face liệt kê các kiểu phổ biến:
| Kiểu | Bit mỗi trọng số | Ghi chú |
|---|---|---|
| Q8_0 | 8 | Kiểu cũ làm tròn tới giá trị gần nhất, khối 32 trọng số |
| Q6_K | 6,5625 | Super-block k-quant |
| Q5_K | 5,5 | Super-block k-quant |
| Q4_K | 4,5 | Super-block k-quant |
| IQ4_XS | 4,25 | Dùng importance matrix |
| Q2_K | 2,625 | Super-block k-quant |
Vì sao quan trọng
- Dùng cục bộ và ở biên. Hugging Face liệt kê llama.cpp, LM Studio, GPT4All và Ollama là các công cụ dùng GGUF. Đây là con đường thông thường để chạy một model trọng số mở trên CPU, máy Mac hoặc một GPU phổ thông.
- Tokenizer đi cùng trọng số. Vì metadata nằm trong file, một thiết lập chat template hay tokenizer sai hoặc thiếu khi chuyển đổi có thể làm thay đổi chất lượng đầu ra.
- Chất lượng phụ thuộc vào kiểu quant. File Q2 và file Q8 của cùng một model trên thực tế không phải cùng một model. Hãy so sánh cùng loại với nhau.
- Khác với định dạng phục vụ trên GPU. Các engine server như vLLM có liệt kê GGUF trong số định dạng hỗ trợ, nhưng phục vụ production trên GPU thường dùng các định dạng như AWQ hoặc FP8 hơn.
Trên BroadNet Inference
API của BroadNet phục vụ model qua HTTP; nó không phát file GGUF, và bạn không bao giờ tự nạp trọng số. Danh mục của BroadNet cho biết trong phòng lab họ đã chạy Qwen3.8 27B dạng GGUF Q4_K_M với vision projector và drafter multi-token-prediction trên llama.cpp, song song với một bản build AWQ INT4 trên vLLM cho AMD ROCm. Danh mục không nói định dạng nào phục vụ API công khai. Nếu bạn đang cân nhắc giữa một thiết lập GGUF cục bộ và một API, hướng dẫn chi phí tự host so với API và model trọng số mở so với model đóng trình bày các đánh đổi.