INT4, kuantizasyonun agresifleştiği noktadır: her ağırlık yalnızca 16 olası değer alabilir.
Nasıl çalışır
TensorRT-LLM’in hassasiyet rehberi yaygın biçimi, W4A16’yı anlatır: ağırlıklar 4 bite kuantize edilir ve matris çarpımının içinde “on-the-fly” (çeviri: anında) geri açılır; aktivasyonlar ise FP16 veya BF16’da kalır. TensorRT-LLM grup başına ölçek katsayılarını destekler: her küçük ağırlık grubu kendi ölçeğini alır, böylece 16 düzey doğru aralığı kapsar. vLLM’in INT4 örneği, her 128 ağırlığa bir grup düşen bir W4A16-G128 checkpoint’i kaydeder.
16 düzeye düz yuvarlama çok fazla bilgi kaybettirir; bu yüzden popüler yöntemler bu işi daha akıllıca yapar:
- GPTQ, çıktı hatasını sınırlayan yuvarlamaları seçmek için yaklaşık ikinci dereceden bilgi kullanır. Makale, ağırlık başına 3 veya 4 bitte ihmal edilebilir kayıp bildirir; bu, 175B’lik bir modeli tek GPU’da çalıştırmaya yeter.
- AWQ, “not all weights in an LLM are equally important” (çeviri: bir LLM’deki tüm ağırlıklar eşit derecede önemli değildir) gözleminden yola çıkar. Aktivasyon istatistiklerinden bulunan önemli kanalların yaklaşık %1’ini korumak hatayı büyük ölçüde azaltır. TinyChat çalışma ortamı, cihazlarda 4 bitlik modeller için 3 kattan fazla hızlanma bildirir.
Neden önemli
Bellek tasarrufu büyüktür. Ağırlık başına 0,5 baytla bir modelin ağırlıkları 16 bitlik boyutlarının dörtte birini kaplar. 25,2B parametreli bir model için: BF16’da 25,2B × 2 bayt = 50,4 GB, INT4’te ise 25,2B × 0,5 bayt = 12,6 GB, artı ölçek katsayıları için biraz. Üretim hızı çoğu zaman ağırlıkların bellekten ne kadar hızlı aktığıyla sınırlıdır; bu yüzden 4 bitlik ağırlıklar gecikmeyi de azaltabilir. vLLM belgelerine göre INT4 W4A16, gecikmeyi “in workloads with low queries per second” (çeviri: saniye başına sorgu sayısı düşük iş yüklerinde) düşük tutmak için en kullanışlıdır. Yüksek yükte ağırlıkları geri açmanın maliyeti daha çok önem kazanır ve kazanç azalır.
Yalnızca 16 düzeyle yuvarlama hatası FP8’e göre daha büyüktür; GPTQ ve AWQ’nun var olma sebebi de budur. Ortalama bir benchmark skoru, önemsediğiniz görevlerdeki kayıpları gizleyebilir: uzun akıl yürütme, kesin aritmetik, kod ya da daha az yaygın bir dil gibi. Bir INT4 sürümü kendi test setinizde 16 bitlik sürümden kötü sonuç veriyorsa testinize inanın.
Uzmanlar karışımı (mixture-of-experts) modelleri sık sık INT4’e adaydır; çünkü token başına az sayıda uzman çalışsa da tüm uzmanların belleğe sığması gerekir.
BroadNet Inference’ta
BroadNet’in model kataloğu, üretimdeki Gemma 4 26B A4B sürümünün (API kimliği broadnet/gemma-4-26b-a4b) çoklu token tahmini ve FP8 KV önbelleğiyle birlikte AWQ 4 bitlik ağırlıklar kullandığını söyler. Bu BroadNet’in kendi açıklamasıdır; API belgeleri diğer modellerin hassasiyetini belirtmez. 4 bitlik bir modeli kendiniz barındırmakla bir API çağırmak arasında seçim yapıyorsanız, kendi barındırma maliyet karşılaştırması ve LLM API maliyet hesaplayıcı toplamları karşılaştırmanıza yardımcı olur.