Dizüstü bilgisayarda çalıştırmak için bir model indirdiyseniz, büyük olasılıkla .gguf uzantılı bir dosyaydı.
Nasıl çalışır
ggml spesifikasyonu GGUF’u, modelleri GGML ve GGML tabanlı yürütücülerle çıkarım için saklayan, hızlı yükleme ve kaydetme için tasarlanmış ikili bir biçim olarak tanımlar. Eski GGML, GGMF ve GGJT biçimlerinin yerini aldı. Belirtilen hedefleri arasında şunlar var:
- Tek dosya. Bir model ek dosya olmadan paylaşılabilir ve yüklenebilir.
- mmap uyumlu. Çalışma ortamı ağırlıkları kopyalamak yerine belleğe eşleyebilir.
- Genişletilebilir. Eski modelleri bozmadan yeni meta veriler eklenebilir.
- Eksiksiz bilgi. Modeli yüklemek için gereken her şey dosyanın içindedir.
Bir GGUF dosyası bir başlık (sihirli sayı, biçim sürümü, tensör ve meta veri sayıları), türlendirilmiş anahtar-değer meta veri çiftleri, tensör adları, şekilleri, türleri ve ofsetlerinden oluşan bir tablo, bir hizalama sınırına kadar dolgu (varsayılan 32 bayt) ve ardından tensör verilerinden oluşur.
Dosya adları bir kurala uyar. Spesifikasyondaki Mixtral-8x7B-v0.1-KQ2.gguf örneği temel ad, boyut etiketi (7B’lik sekiz uzman, bkz. mixture of experts), sürüm ve kodlama olarak ayrışır.
GGUF dosyalarının çoğu kuantize edilmiştir. Hugging Face’in tablosu yaygın türleri listeler:
| Tür | Ağırlık başına bit | Notlar |
|---|---|---|
| Q8_0 | 8 | Eski usul en yakına yuvarlama, 32 ağırlıklık bloklar |
| Q6_K | 6,5625 | k-quant süper blokları |
| Q5_K | 5,5 | k-quant süper blokları |
| Q4_K | 4,5 | k-quant süper blokları |
| IQ4_XS | 4,25 | Bir önem matrisi (importance matrix) kullanır |
| Q2_K | 2,625 | k-quant süper blokları |
Neden önemli
- Yerel ve uç kullanım. Hugging Face, GGUF kullanan araçlar olarak llama.cpp, LM Studio, GPT4All ve Ollama’yı listeler. Bir açık ağırlıklı modeli CPU’da, bir Mac’te veya tek bir tüketici GPU’sunda çalıştırmanın olağan yoludur.
- Tokenizer ağırlıklarla birlikte gelir. Meta veriler dosyanın içinde olduğundan, bir dönüştürmedeki yanlış veya eksik bir sohbet şablonu ya da tokenizer ayarı çıktı kalitesini değiştirebilir.
- Kalite kuantizasyon türüne bağlıdır. Aynı modelin Q2 dosyası ile Q8 dosyası pratikte aynı model değildir. Benzerle benzeri karşılaştırın.
- GPU sunum biçimlerinden farklıdır. vLLM gibi sunucu motorları GGUF’u desteklenen biçimler arasında listeler, ancak üretimde GPU ile sunumda daha çok AWQ veya FP8 gibi biçimler kullanılır.
BroadNet Inference’ta
BroadNet’in API’si modelleri HTTP üzerinden sunar; GGUF dosyası dağıtmaz ve ağırlıkları hiçbir zaman kendiniz yüklemezsiniz. BroadNet’in kataloğu, laboratuvarında Qwen3.8 27B modelini llama.cpp üzerinde bir görsel projektör ve çoklu token tahmini (multi-token prediction) taslakçısıyla GGUF Q4_K_M olarak, bunun yanında AMD ROCm için vLLM üzerinde bir AWQ INT4 derlemesiyle çalıştırdığını bildirir. Herkese açık API’yi hangi biçimin sunduğunu söylemez. Yerel bir GGUF kurulumunu bir API ile tartıyorsanız, kendi barındırma ile API maliyeti rehberi ve açık ağırlıklı ve kapalı modeller yazısı dengeleri ele alır.