BroadRouter
Başlayın

INT4

Güncellendi

INT4, 16 düzeyi temsil edebilen 4 bitlik bir tamsayı biçimidir. LLM çıkarımında genellikle 4 bit yalnızca ağırlık kuantizasyonu (W4A16) anlamına gelir: ağırlıklar ölçek katsayılarıyla INT4 olarak saklanır, hesaplama sırasında 16 bite açılır ve 16 bitlik ağırlıkların yaklaşık dörtte biri kadar bellek kullanır.

Diğer adları: INT4, 4 bit kuantizasyon, 4 bitlik kuantizasyon, 4 bit tamsayı, 4 bit LLM, W4A16, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4, kuantizasyonun agresifleştiği noktadır: her ağırlık yalnızca 16 olası değer alabilir.

Nasıl çalışır

TensorRT-LLM’in hassasiyet rehberi yaygın biçimi, W4A16’yı anlatır: ağırlıklar 4 bite kuantize edilir ve matris çarpımının içinde “on-the-fly” (çeviri: anında) geri açılır; aktivasyonlar ise FP16 veya BF16’da kalır. TensorRT-LLM grup başına ölçek katsayılarını destekler: her küçük ağırlık grubu kendi ölçeğini alır, böylece 16 düzey doğru aralığı kapsar. vLLM’in INT4 örneği, her 128 ağırlığa bir grup düşen bir W4A16-G128 checkpoint’i kaydeder.

16 düzeye düz yuvarlama çok fazla bilgi kaybettirir; bu yüzden popüler yöntemler bu işi daha akıllıca yapar:

  • GPTQ, çıktı hatasını sınırlayan yuvarlamaları seçmek için yaklaşık ikinci dereceden bilgi kullanır. Makale, ağırlık başına 3 veya 4 bitte ihmal edilebilir kayıp bildirir; bu, 175B’lik bir modeli tek GPU’da çalıştırmaya yeter.
  • AWQ, “not all weights in an LLM are equally important” (çeviri: bir LLM’deki tüm ağırlıklar eşit derecede önemli değildir) gözleminden yola çıkar. Aktivasyon istatistiklerinden bulunan önemli kanalların yaklaşık %1’ini korumak hatayı büyük ölçüde azaltır. TinyChat çalışma ortamı, cihazlarda 4 bitlik modeller için 3 kattan fazla hızlanma bildirir.

Neden önemli

Bellek tasarrufu büyüktür. Ağırlık başına 0,5 baytla bir modelin ağırlıkları 16 bitlik boyutlarının dörtte birini kaplar. 25,2B parametreli bir model için: BF16’da 25,2B × 2 bayt = 50,4 GB, INT4’te ise 25,2B × 0,5 bayt = 12,6 GB, artı ölçek katsayıları için biraz. Üretim hızı çoğu zaman ağırlıkların bellekten ne kadar hızlı aktığıyla sınırlıdır; bu yüzden 4 bitlik ağırlıklar gecikmeyi de azaltabilir. vLLM belgelerine göre INT4 W4A16, gecikmeyi “in workloads with low queries per second” (çeviri: saniye başına sorgu sayısı düşük iş yüklerinde) düşük tutmak için en kullanışlıdır. Yüksek yükte ağırlıkları geri açmanın maliyeti daha çok önem kazanır ve kazanç azalır.

Yalnızca 16 düzeyle yuvarlama hatası FP8’e göre daha büyüktür; GPTQ ve AWQ’nun var olma sebebi de budur. Ortalama bir benchmark skoru, önemsediğiniz görevlerdeki kayıpları gizleyebilir: uzun akıl yürütme, kesin aritmetik, kod ya da daha az yaygın bir dil gibi. Bir INT4 sürümü kendi test setinizde 16 bitlik sürümden kötü sonuç veriyorsa testinize inanın.

Uzmanlar karışımı (mixture-of-experts) modelleri sık sık INT4’e adaydır; çünkü token başına az sayıda uzman çalışsa da tüm uzmanların belleğe sığması gerekir.

BroadNet Inference’ta

BroadNet’in model kataloğu, üretimdeki Gemma 4 26B A4B sürümünün (API kimliği broadnet/gemma-4-26b-a4b) çoklu token tahmini ve FP8 KV önbelleğiyle birlikte AWQ 4 bitlik ağırlıklar kullandığını söyler. Bu BroadNet’in kendi açıklamasıdır; API belgeleri diğer modellerin hassasiyetini belirtmez. 4 bitlik bir modeli kendiniz barındırmakla bir API çağırmak arasında seçim yapıyorsanız, kendi barındırma maliyet karşılaştırması ve LLM API maliyet hesaplayıcı toplamları karşılaştırmanıza yardımcı olur.

Sık sorulan sorular

INT4 ne kadar bellek tasarrufu sağlar?

Her ağırlık iki bayt yerine yarım bayt yer kaplar; yani 16 bitlik boyutun yaklaşık dörtte biri, artı ölçek katsayıları için küçük bir ek yük. 25,2B parametreli bir modelin ağırlıkları yaklaşık 50,4 GB'tan yaklaşık 12,6 GB'a iner.

INT4, NF4 veya FP4 ile aynı mı?

Hayır. Üçü de 4 bit kullanır, ancak NF4 ve FP4 16 düzeyini eşit olmayan aralıklarla yerleştirirken INT4 eşit aralıklarla dağıtır. Hugging Face'in bitsandbytes entegrasyonu FP4 ve NF4 sunar; GPTQ ve AWQ checkpoint'leri genellikle INT4 kullanır.

INT4 bir modeli hızlandırır mı?

Düşük yükte çoğu zaman evet; çünkü üretim, ağırlıkların bellekten okunmasıyla sınırlıdır ve 4 bitlik ağırlıklar daha küçüktür. vLLM belgelerine göre INT4 W4A16 en çok saniye başına sorgu sayısı düşük iş yüklerinde işe yarar; yoğun yük altında kazanç azalır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor