BroadRouter
Başlayın

FP8

Güncellendi

FP8, derin öğrenmede kullanılan, iki kodlamayla tanımlanmış 8 bitlik bir kayan noktalı sayı biçimidir: 4 üs ve 3 mantis bitli E4M3 ile 5 üs ve 2 mantis bitli E5M2. 16 bitlik biçimlere göre belleği yarıya indirir ve yeni GPU'larda yerel olarak çalışır.

Diğer adları: FP8, 8 bit kayan nokta, 8 bitlik kayan nokta, FP8 kuantizasyonu, E4M3, E5M2, 8-bit floating point, FP8 quantization, W8A8 FP8

FP8, yeni GPU’ların çoğunun yerel olarak “konuştuğu” 8 bitlik sayı biçimidir. Büyük bir modeli sunarken 16 bitten aşağı inilen ilk adım çoğu zaman budur.

Nasıl çalışır

Bir kayan noktalı sayının bir işareti, bir üssü ve bir mantisi vardır. Micikevicius vd.‘nin FP8 makalesi, her biri bir işaret biti içeren iki yerleşim tanımlar:

Kodlama Üs bitleri Mantis bitleri Denge
E4M3 4 3 Daha fazla hassasiyet; vLLM en yüksek değeri ±448 olarak listeler
E5M2 5 2 Daha az hassasiyet; vLLM en yüksek değeri ±57.344 olarak listeler

E5M2, özel değerler için IEEE 754 kurallarını izler. E4M3 ise aralığını genişletmek için sonsuzlardan vazgeçer ve tek bir NaN deseni tutar. İkisinin de yalnızca 256 olası değeri vardır; bu yüzden bir ölçek katsayısı her tensörü biçimin kapsadığı aralığa eşler.

Bir kuantizasyon hedefi olarak FP8 genellikle W8A8 biçiminde uygulanır: hem ağırlıklar hem aktivasyonlar 8 bittedir ve tensör ya da blok başına bir ölçek katsayısı vardır. Makale, FP8’in 175B parametreye kadar modellerde 16 bitlik eğitim kalitesine ulaştığını bildirir. Ayrıca FP8 eğitim sonrası kuantizasyonunun, üs aykırı değerlerle daha iyi başa çıktığı için “that resisted fixed point int8 quantization” (çeviri: sabit noktalı int8 kuantizasyonuna direnen) dil modellerinde işe yaradığını belirtir.

FP8 başka biçimlerin içinde de karşımıza çıkar. DeepSeek’in DeepSeek V4.1 Flash kartı, ana KV önbelleğini “one E4M3 scale per 16 channels” (çeviri: her 16 kanal için bir E4M3 ölçeği) ile 4 bitlik kayan noktalı sayılarda saklar.

Neden önemli

vLLM’in belgeleri FP8’in “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy” (çeviri: doğruluğa minimum etkiyle model bellek gereksiniminde 2 kat azalma ve işlem hacminde 1,6 kata kadar iyileşme) sağladığını belirtir. Bir sağlayıcı için bu, modelin daha az GPU’ya sığması ya da aynı GPU’ların aynı anda daha fazla istek taşıması demektir; bu da işlem hacmini artırır ve token başına maliyeti düşürür.

Bir API kullanıcısı için FP8, kuantizasyonun ılımlı ucudur: vLLM minimum doğruluk etkisi bildirir, yine de güvendiğiniz görevleri test etmelisiniz. Daha fazla bellek kazandıran ama zor görevlerde daha fazla risk taşıyan INT4 adımından daha az agresiftir.

BroadNet Inference’ta

BroadNet’in model kataloğu, üretimdeki Gemma 4 26B A4B derlemesinin KV önbelleğini FP8’de, ağırlıklarını ise INT4 AWQ olarak sakladığını söyler. Bu BroadNet’in kendi açıklamasıdır; API belgeleri diğer modellerin hassasiyetini belirtmez. Kesin sayı biçimi bir denetim veya regüle bir iş akışı için önemliyse doğrudan BroadNet’e sorun. Faturanızı gerçekten etkileyen şeyler için fiyatlandırma sayfasındaki token başına fiyatlara bakın.

Sık sorulan sorular

FP8, INT8 ile aynı şey mi?

Hayır. İkisi de 8 bit kullanır, ancak FP8 bazı bitleri üsse ayırır; böylece daha geniş bir büyüklük aralığını, aralarında daha az hassasiyetle kapsar. INT8 ise 256 düzeyini eşit aralıklarla dağıtır ve iyi ölçek katsayılarına daha çok bağlıdır.

Hangi GPU'lar FP8'i destekler?

vLLM'in belgeleri, FP8 hesaplamayı compute capability 8.9 veya üzeri NVIDIA GPU'larda (Ada Lovelace, Hopper, Blackwell) ve AMD MI300x'te listeler. Daha eski Turing ve Ampere kartlar FP8 ağırlıkları yükleyebilir ama 16 bitte hesaplar.

FP8, INT4'ten nasıl farklıdır?

FP8 üslü 8 bit kullanır ve genellikle ağırlıklara ve aktivasyonlara uygulanır. INT4 eşit aralıklı 16 tamsayı düzeyi kullanır ve genellikle yalnızca ağırlıklara uygulanır. INT4 daha fazla bellek kazandırır; FP8 daha az doğruluk riski taşır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor