Jika Anda pernah mengunduh model untuk dijalankan di laptop, kemungkinan besar file-nya berakhiran .gguf.
Cara kerjanya
Spesifikasi ggml menggambarkan GGUF sebagai format biner untuk menyimpan model yang akan dijalankan inferensinya dengan GGML dan executor berbasis GGML, dirancang agar cepat dimuat dan disimpan. GGUF menggantikan format lama GGML, GGMF, dan GGJT. Tujuan yang dinyatakannya antara lain:
- Satu file. Model bisa dibagikan dan dimuat tanpa file tambahan.
- Kompatibel dengan mmap. Runtime bisa me-memory-map bobot alih-alih menyalinnya.
- Dapat diperluas. Metadata baru bisa ditambahkan tanpa merusak model lama.
- Informasi lengkap. Semua yang dibutuhkan untuk memuat model ada di dalam file.
File GGUF berisi header (magic number, versi format, jumlah tensor dan metadata), pasangan key-value metadata bertipe, tabel nama, bentuk, tipe, dan offset tensor, padding hingga batas alignment (default 32 byte), lalu data tensor.
Nama file mengikuti konvensi. Contoh di spesifikasi, Mixtral-8x7B-v0.1-KQ2.gguf, terurai menjadi nama dasar, label ukuran (delapan expert berukuran 7B, lihat mixture of experts), versi, dan encoding.
Sebagian besar file GGUF sudah dikuantisasi. Tabel Hugging Face mencantumkan jenis yang umum:
| Jenis | Bit per bobot | Catatan |
|---|---|---|
| Q8_0 | 8 | Round-to-nearest lama, blok 32 bobot |
| Q6_K | 6,5625 | Super-block k-quant |
| Q5_K | 5,5 | Super-block k-quant |
| Q4_K | 4,5 | Super-block k-quant |
| IQ4_XS | 4,25 | Memakai importance matrix |
| Q2_K | 2,625 | Super-block k-quant |
Mengapa penting
- Pemakaian lokal dan edge. Hugging Face mencantumkan llama.cpp, LM Studio, GPT4All, dan Ollama sebagai tool yang memakai GGUF. Ini jalur yang lazim untuk menjalankan model open-weight di CPU, Mac, atau satu GPU konsumen.
- Tokenizer ikut bersama bobot. Karena metadata ada di dalam file, pengaturan chat template atau tokenizer yang salah atau hilang saat konversi bisa mengubah kualitas output.
- Kualitas bergantung pada jenis kuantisasi. File Q2 dan file Q8 dari model yang sama dalam praktiknya bukan model yang sama. Bandingkan yang setara.
- Berbeda dari format serving GPU. Engine server seperti vLLM mencantumkan GGUF di antara format yang didukung, tetapi serving GPU di produksi lebih sering memakai format seperti AWQ atau FP8.
Di BroadNet Inference
API BroadNet melayani model lewat HTTP; BroadNet tidak membagikan file GGUF, dan Anda tidak pernah memuat bobot sendiri. Katalog BroadNet melaporkan bahwa di lab-nya BroadNet pernah menjalankan Qwen3.8 27B sebagai GGUF Q4_K_M dengan vision projector dan drafter multi-token prediction di llama.cpp, berdampingan dengan build AWQ INT4 di vLLM untuk AMD ROCm. Katalog itu tidak menyebutkan format mana yang melayani API publik. Jika Anda sedang menimbang setup GGUF lokal dibanding API, panduan biaya self-hosting vs API dan model open-weight vs model tertutup membahas pertimbangannya.