FP8, yeni GPU’ların çoğunun yerel olarak “konuştuğu” 8 bitlik sayı biçimidir. Büyük bir modeli sunarken 16 bitten aşağı inilen ilk adım çoğu zaman budur.
Nasıl çalışır
Bir kayan noktalı sayının bir işareti, bir üssü ve bir mantisi vardır. Micikevicius vd.‘nin FP8 makalesi, her biri bir işaret biti içeren iki yerleşim tanımlar:
| Kodlama | Üs bitleri | Mantis bitleri | Denge |
|---|---|---|---|
| E4M3 | 4 | 3 | Daha fazla hassasiyet; vLLM en yüksek değeri ±448 olarak listeler |
| E5M2 | 5 | 2 | Daha az hassasiyet; vLLM en yüksek değeri ±57.344 olarak listeler |
E5M2, özel değerler için IEEE 754 kurallarını izler. E4M3 ise aralığını genişletmek için sonsuzlardan vazgeçer ve tek bir NaN deseni tutar. İkisinin de yalnızca 256 olası değeri vardır; bu yüzden bir ölçek katsayısı her tensörü biçimin kapsadığı aralığa eşler.
Bir kuantizasyon hedefi olarak FP8 genellikle W8A8 biçiminde uygulanır: hem ağırlıklar hem aktivasyonlar 8 bittedir ve tensör ya da blok başına bir ölçek katsayısı vardır. Makale, FP8’in 175B parametreye kadar modellerde 16 bitlik eğitim kalitesine ulaştığını bildirir. Ayrıca FP8 eğitim sonrası kuantizasyonunun, üs aykırı değerlerle daha iyi başa çıktığı için “that resisted fixed point int8 quantization” (çeviri: sabit noktalı int8 kuantizasyonuna direnen) dil modellerinde işe yaradığını belirtir.
FP8 başka biçimlerin içinde de karşımıza çıkar. DeepSeek’in DeepSeek V4.1 Flash kartı, ana KV önbelleğini “one E4M3 scale per 16 channels” (çeviri: her 16 kanal için bir E4M3 ölçeği) ile 4 bitlik kayan noktalı sayılarda saklar.
Neden önemli
vLLM’in belgeleri FP8’in “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy” (çeviri: doğruluğa minimum etkiyle model bellek gereksiniminde 2 kat azalma ve işlem hacminde 1,6 kata kadar iyileşme) sağladığını belirtir. Bir sağlayıcı için bu, modelin daha az GPU’ya sığması ya da aynı GPU’ların aynı anda daha fazla istek taşıması demektir; bu da işlem hacmini artırır ve token başına maliyeti düşürür.
Bir API kullanıcısı için FP8, kuantizasyonun ılımlı ucudur: vLLM minimum doğruluk etkisi bildirir, yine de güvendiğiniz görevleri test etmelisiniz. Daha fazla bellek kazandıran ama zor görevlerde daha fazla risk taşıyan INT4 adımından daha az agresiftir.
BroadNet Inference’ta
BroadNet’in model kataloğu, üretimdeki Gemma 4 26B A4B derlemesinin KV önbelleğini FP8’de, ağırlıklarını ise INT4 AWQ olarak sakladığını söyler. Bu BroadNet’in kendi açıklamasıdır; API belgeleri diğer modellerin hassasiyetini belirtmez. Kesin sayı biçimi bir denetim veya regüle bir iş akışı için önemliyse doğrudan BroadNet’e sorun. Faturanızı gerçekten etkileyen şeyler için fiyatlandırma sayfasındaki token başına fiyatlara bakın.