BroadRouter

GGUF

Güncellendi

GGUF, dil modellerini llama.cpp gibi GGML tabanlı çalışma ortamlarında çıkarım için saklayan ikili bir dosya biçimidir. Tek bir GGUF dosyası, çoğu zaman kuantize edilmiş ağırlıkları ve modeli yüklemek için gereken tokenizer ve mimari ayrıntıları gibi meta verileri barındırır; hızlı yükleme için belleğe eşlenebilir.

Diğer adları: GGUF, GGUF dosyası, GGUF formatı, GGUF biçimi, llama.cpp formatı, GGUF file, GGUF format, llama.cpp format

Dizüstü bilgisayarda çalıştırmak için bir model indirdiyseniz, büyük olasılıkla .gguf uzantılı bir dosyaydı.

Nasıl çalışır

ggml spesifikasyonu GGUF’u, modelleri GGML ve GGML tabanlı yürütücülerle çıkarım için saklayan, hızlı yükleme ve kaydetme için tasarlanmış ikili bir biçim olarak tanımlar. Eski GGML, GGMF ve GGJT biçimlerinin yerini aldı. Belirtilen hedefleri arasında şunlar var:

  • Tek dosya. Bir model ek dosya olmadan paylaşılabilir ve yüklenebilir.
  • mmap uyumlu. Çalışma ortamı ağırlıkları kopyalamak yerine belleğe eşleyebilir.
  • Genişletilebilir. Eski modelleri bozmadan yeni meta veriler eklenebilir.
  • Eksiksiz bilgi. Modeli yüklemek için gereken her şey dosyanın içindedir.

Bir GGUF dosyası bir başlık (sihirli sayı, biçim sürümü, tensör ve meta veri sayıları), türlendirilmiş anahtar-değer meta veri çiftleri, tensör adları, şekilleri, türleri ve ofsetlerinden oluşan bir tablo, bir hizalama sınırına kadar dolgu (varsayılan 32 bayt) ve ardından tensör verilerinden oluşur.

Dosya adları bir kurala uyar. Spesifikasyondaki Mixtral-8x7B-v0.1-KQ2.gguf örneği temel ad, boyut etiketi (7B’lik sekiz uzman, bkz. mixture of experts), sürüm ve kodlama olarak ayrışır.

GGUF dosyalarının çoğu kuantize edilmiştir. Hugging Face’in tablosu yaygın türleri listeler:

Tür Ağırlık başına bit Notlar
Q8_0 8 Eski usul en yakına yuvarlama, 32 ağırlıklık bloklar
Q6_K 6,5625 k-quant süper blokları
Q5_K 5,5 k-quant süper blokları
Q4_K 4,5 k-quant süper blokları
IQ4_XS 4,25 Bir önem matrisi (importance matrix) kullanır
Q2_K 2,625 k-quant süper blokları

Neden önemli

  • Yerel ve uç kullanım. Hugging Face, GGUF kullanan araçlar olarak llama.cpp, LM Studio, GPT4All ve Ollama’yı listeler. Bir açık ağırlıklı modeli CPU’da, bir Mac’te veya tek bir tüketici GPU’sunda çalıştırmanın olağan yoludur.
  • Tokenizer ağırlıklarla birlikte gelir. Meta veriler dosyanın içinde olduğundan, bir dönüştürmedeki yanlış veya eksik bir sohbet şablonu ya da tokenizer ayarı çıktı kalitesini değiştirebilir.
  • Kalite kuantizasyon türüne bağlıdır. Aynı modelin Q2 dosyası ile Q8 dosyası pratikte aynı model değildir. Benzerle benzeri karşılaştırın.
  • GPU sunum biçimlerinden farklıdır. vLLM gibi sunucu motorları GGUF’u desteklenen biçimler arasında listeler, ancak üretimde GPU ile sunumda daha çok AWQ veya FP8 gibi biçimler kullanılır.

BroadNet Inference’ta

BroadNet’in API’si modelleri HTTP üzerinden sunar; GGUF dosyası dağıtmaz ve ağırlıkları hiçbir zaman kendiniz yüklemezsiniz. BroadNet’in kataloğu, laboratuvarında Qwen3.8 27B modelini llama.cpp üzerinde bir görsel projektör ve çoklu token tahmini (multi-token prediction) taslakçısıyla GGUF Q4_K_M olarak, bunun yanında AMD ROCm için vLLM üzerinde bir AWQ INT4 derlemesiyle çalıştırdığını bildirir. Herkese açık API’yi hangi biçimin sunduğunu söylemez. Yerel bir GGUF kurulumunu bir API ile tartıyorsanız, kendi barındırma ile API maliyeti rehberi ve açık ağırlıklı ve kapalı modeller yazısı dengeleri ele alır.

Sık sorulan sorular

Q4_K gibi bir ad ne anlama gelir?

Kuantizasyon türüdür. Hugging Face'in tablosu Q4_K'yi, 32 ağırlıklık 8 bloktan oluşan süper bloklarda 4 bit kuantizasyon, ağırlık başına yaklaşık 4,5 bit olarak tanımlar. Daha az bit daha az bellek kullanır ve genellikle daha fazla kaliteye mal olur.

Bir GGUF modelini OpenAI API biçimiyle çağırabilir miyim?

Dosyanın kendisini değil. Dosyayı llama.cpp sunucusu, Ollama veya LM Studio gibi bir çalışma ortamına yüklersiniz, onu da o çalışma ortamı sunar. Sunduğu API için çalışma ortamının belgelerine bakın.

GGUF, safetensors ile aynı şey mi?

Hayır. Hugging Face safetensors'ı yalnızca tensör içeren bir biçim olarak tanımlar; GGUF ise hem tensörleri hem de standartlaştırılmış bir meta veri kümesini tek dosyada kodlar.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor