BroadRouter
Başlayın

Kuantizasyon (quantization)

Güncellendi

Kuantizasyon (quantization), bir sinir ağının sayılarını, özellikle ağırlıklarını, 16 bit yerine 8 bit veya 4 bit gibi daha düşük hassasiyetli bir biçimde saklama işlemidir; böylece model daha az bellek kullanır ve çoğu zaman daha hızlı çalışır. İyi yöntemler doğruluk kaybını küçük tutar.

Diğer adları: kuantizasyon, nicemleme, model kuantizasyonu, LLM kuantizasyonu, kuantize model, ağırlık kuantizasyonu, quantization, model quantization, LLM quantization, quantized model, weight quantization

Açık modellerin çoğu 16 bit ağırlıklarla gelir. Kuantizasyon bu sayıları küçülterek modelin daha az GPU’ya sığmasını sağlar.

Nasıl çalışır

Hugging Face kuantizasyonu “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (çeviri: ağırlıkları ve aktivasyonları 8 bit tamsayılar (int8) gibi daha düşük hassasiyetli veri türleriyle temsil etmek) olarak tanımlar. Her ağırlık bloğu bir ölçek katsayısı alır. Ağırlıklar küçük bir düzey kümesine yuvarlanır ve çalışma anında ölçekle yeniden çarpılır.

Ağırlıklar için gereken bellek, parametre başına bit sayısıyla orantılıdır. 25,2B parametreli Google Gemma 4 26B A4B’yi ele alalım:

Hassasiyet Ağırlık başına bayt Yalnızca ağırlıklar
16 bit (BF16) 2 25,2B × 2 = 50,4 GB
8 bit (FP8 veya INT8) 1 25,2 GB
4 bit (INT4) 0,5 12,6 GB

KV önbelleği ve aktivasyonlar bunun üstüne ek yer ister.

Yöntemler neyi kuantize ettikleri ve düzeyleri nasıl seçtikleri bakımından farklılaşır:

  • LLM.int8() çıkarım belleğini yarıya indirir ve birkaç aykırı özelliği 16 bitte tutar; makaleye göre değerlerin %99,9’undan fazlası yine 8 bit hesaplama kullanır.
  • GPTQ, ağırlık başına 3 veya 4 bite “negligible accuracy degradation” (çeviri: ihmal edilebilir doğruluk kaybı) ile ulaşan tek seferlik bir ağırlık yöntemidir ve 175B’lik bir modeli yaklaşık dört GPU saatinde kuantize eder.
  • Yalnızca ağırlık ve ağırlık-artı-aktivasyon. Yalnızca ağırlık biçimleri bellek kazandırır. Aktivasyonları da kuantize etmek, bunu destekleyen donanımda matris hesaplarını da hızlandırabilir.

Neden önemli

Bir API’yi çağıran biri için kuantizasyon istekte görünmez ama üç yerde ortaya çıkar. Fiyat: daha küçük modeller daha az GPU gerektirir ve bu sunum maliyetini düşürür. Hız: üretim çoğu zaman bellek bant genişliğiyle sınırlıdır; bu yüzden ağırlık başına daha az bayt, daha fazla saniye başına token anlamına gelebilir. Kalite: daha az bit daha fazla yuvarlama hatası demektir; bir model ortalama puanını korurken güvendiğiniz belirli görevlerde gerileyebilir.

“Aynı” açık modeli sunan iki sağlayıcıyı karşılaştırıp farklı sonuçlar alıyorsanız, olası nedenlerden biri hassasiyettir.

BroadNet Inference’ta

BroadNet’in API referansı sunum hassasiyetini belirtmez. Model kataloğu, BroadNet Gemma 4 VL 26B olarak sunulan üretimdeki Gemma 4 26B A4B derlemesini, FP8 KV önbelleğiyle AWQ 4 bit ağırlıklar olarak listeler. Diğer modellerin API hassasiyetini belirtmez. Hassasiyet sizin için önemliyse aynı değerlendirme setini her sağlayıcıda çalıştırın; model değiştirmeden önce değerlendirme kontrol listesi bunun nasıl yapılacağını anlatır.

Sık sorulan sorular

Kuantizasyon bir modeli kötüleştirir mi?

Bazen biraz. LLM.int8(), 175B parametreye kadar 8 bit çıkarımda bozulma olmadığını, GPTQ ise ağırlık başına 3 veya 4 bitte ihmal edilebilir kayıp bildirir. Daha az bit ve daha zor görevler riski artırır; kendi istemlerinizle test edin.

Bir API'nin kuantize model sunduğunu anlayabilir miyim?

Genellikle yalnızca sağlayıcı söylerse. API her iki durumda da aynı yanıt yapısını döndürür; bu yüzden kendi testlerinizle çıktıları karşılaştırın ve sağlayıcıya hangi hassasiyeti kullandığını sorun.

Kuantizasyon ne kadar bellek kazandırır?

Ağırlık belleği, ağırlık başına bit sayısıyla orantılıdır. 25,2B parametreli bir model, KV önbelleği ve aktivasyonlar hariç, 16 bitte yaklaşık 50,4 GB, 8 bitte 25,2 GB, 4 bitte 12,6 GB gerektirir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor