Açık modellerin çoğu 16 bit ağırlıklarla gelir. Kuantizasyon bu sayıları küçülterek modelin daha az GPU’ya sığmasını sağlar.
Nasıl çalışır
Hugging Face kuantizasyonu “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (çeviri: ağırlıkları ve aktivasyonları 8 bit tamsayılar (int8) gibi daha düşük hassasiyetli veri türleriyle temsil etmek) olarak tanımlar. Her ağırlık bloğu bir ölçek katsayısı alır. Ağırlıklar küçük bir düzey kümesine yuvarlanır ve çalışma anında ölçekle yeniden çarpılır.
Ağırlıklar için gereken bellek, parametre başına bit sayısıyla orantılıdır. 25,2B parametreli Google Gemma 4 26B A4B’yi ele alalım:
| Hassasiyet | Ağırlık başına bayt | Yalnızca ağırlıklar |
|---|---|---|
| 16 bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8 bit (FP8 veya INT8) | 1 | 25,2 GB |
| 4 bit (INT4) | 0,5 | 12,6 GB |
KV önbelleği ve aktivasyonlar bunun üstüne ek yer ister.
Yöntemler neyi kuantize ettikleri ve düzeyleri nasıl seçtikleri bakımından farklılaşır:
- LLM.int8() çıkarım belleğini yarıya indirir ve birkaç aykırı özelliği 16 bitte tutar; makaleye göre değerlerin %99,9’undan fazlası yine 8 bit hesaplama kullanır.
- GPTQ, ağırlık başına 3 veya 4 bite “negligible accuracy degradation” (çeviri: ihmal edilebilir doğruluk kaybı) ile ulaşan tek seferlik bir ağırlık yöntemidir ve 175B’lik bir modeli yaklaşık dört GPU saatinde kuantize eder.
- Yalnızca ağırlık ve ağırlık-artı-aktivasyon. Yalnızca ağırlık biçimleri bellek kazandırır. Aktivasyonları da kuantize etmek, bunu destekleyen donanımda matris hesaplarını da hızlandırabilir.
Neden önemli
Bir API’yi çağıran biri için kuantizasyon istekte görünmez ama üç yerde ortaya çıkar. Fiyat: daha küçük modeller daha az GPU gerektirir ve bu sunum maliyetini düşürür. Hız: üretim çoğu zaman bellek bant genişliğiyle sınırlıdır; bu yüzden ağırlık başına daha az bayt, daha fazla saniye başına token anlamına gelebilir. Kalite: daha az bit daha fazla yuvarlama hatası demektir; bir model ortalama puanını korurken güvendiğiniz belirli görevlerde gerileyebilir.
“Aynı” açık modeli sunan iki sağlayıcıyı karşılaştırıp farklı sonuçlar alıyorsanız, olası nedenlerden biri hassasiyettir.
BroadNet Inference’ta
BroadNet’in API referansı sunum hassasiyetini belirtmez. Model kataloğu, BroadNet Gemma 4 VL 26B olarak sunulan üretimdeki Gemma 4 26B A4B derlemesini, FP8 KV önbelleğiyle AWQ 4 bit ağırlıklar olarak listeler. Diğer modellerin API hassasiyetini belirtmez. Hassasiyet sizin için önemliyse aynı değerlendirme setini her sağlayıcıda çalıştırın; model değiştirmeden önce değerlendirme kontrol listesi bunun nasıl yapılacağını anlatır.