---
title: "FP8 nedir? LLM çıkarımı için 8 bit kayan nokta | BroadRouter"
description: "FP8, LLM'leri 16 bitin yarısı kadar bellekle çalıştıran 8 bitlik bir kayan nokta biçimidir (E4M3, E5M2). INT8'den farkı nedir, hangi GPU'lar destekler?"
url: https://broadrouter.com/tr/glossary/fp8/
lang: tr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/fp8/) (güncelleme: 2026-11-14).

# FP8

Güncellendi 2026-11-14

FP8, derin öğrenmede kullanılan, iki kodlamayla tanımlanmış 8 bitlik bir kayan noktalı sayı biçimidir: 4 üs ve 3 mantis bitli E4M3 ile 5 üs ve 2 mantis bitli E5M2. 16 bitlik biçimlere göre belleği yarıya indirir ve yeni GPU'larda yerel olarak çalışır.

Diğer adları: FP8, 8 bit kayan nokta, 8 bitlik kayan nokta, FP8 kuantizasyonu, E4M3, E5M2, 8-bit floating point, FP8 quantization, W8A8 FP8

FP8, yeni GPU’ların çoğunun yerel olarak “konuştuğu” 8 bitlik sayı biçimidir. Büyük bir modeli sunarken 16 bitten aşağı inilen ilk adım çoğu zaman budur.

## Nasıl çalışır

Bir kayan noktalı sayının bir işareti, bir üssü ve bir mantisi vardır. Micikevicius vd.‘nin FP8 makalesi, her biri bir işaret biti içeren iki yerleşim tanımlar:

| Kodlama | Üs bitleri | Mantis bitleri | Denge |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | Daha fazla hassasiyet; vLLM en yüksek değeri ±448 olarak listeler |
| E5M2 | 5 | 2 | Daha az hassasiyet; vLLM en yüksek değeri ±57.344 olarak listeler |

E5M2, özel değerler için IEEE 754 kurallarını izler. E4M3 ise aralığını genişletmek için sonsuzlardan vazgeçer ve tek bir NaN deseni tutar. İkisinin de yalnızca 256 olası değeri vardır; bu yüzden bir ölçek katsayısı her tensörü biçimin kapsadığı aralığa eşler.

Bir [kuantizasyon](https://broadrouter.com/tr/glossary/quantization/) hedefi olarak FP8 genellikle **W8A8** biçiminde uygulanır: hem ağırlıklar hem aktivasyonlar 8 bittedir ve tensör ya da blok başına bir ölçek katsayısı vardır. Makale, FP8’in 175B parametreye kadar modellerde 16 bitlik eğitim kalitesine ulaştığını bildirir. Ayrıca FP8 eğitim sonrası kuantizasyonunun, üs aykırı değerlerle daha iyi başa çıktığı için “that resisted fixed point int8 quantization” (çeviri: sabit noktalı int8 kuantizasyonuna direnen) dil modellerinde işe yaradığını belirtir.

FP8 başka biçimlerin içinde de karşımıza çıkar. DeepSeek’in DeepSeek V4.1 Flash kartı, ana [KV önbelleğini](https://broadrouter.com/tr/glossary/kv-cache/) “one E4M3 scale per 16 channels” (çeviri: her 16 kanal için bir E4M3 ölçeği) ile 4 bitlik kayan noktalı sayılarda saklar.

## Neden önemli

vLLM’in belgeleri FP8’in “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy” (çeviri: doğruluğa minimum etkiyle model bellek gereksiniminde 2 kat azalma ve işlem hacminde 1,6 kata kadar iyileşme) sağladığını belirtir. Bir sağlayıcı için bu, modelin daha az GPU’ya sığması ya da aynı GPU’ların aynı anda daha fazla istek taşıması demektir; bu da [işlem hacmini](https://broadrouter.com/tr/glossary/throughput/) artırır ve token başına maliyeti düşürür.

Bir API kullanıcısı için FP8, kuantizasyonun ılımlı ucudur: vLLM minimum doğruluk etkisi bildirir, yine de güvendiğiniz görevleri test etmelisiniz. Daha fazla bellek kazandıran ama zor görevlerde daha fazla risk taşıyan [INT4](https://broadrouter.com/tr/glossary/int4/) adımından daha az agresiftir.

## BroadNet Inference’ta

BroadNet’in [model kataloğu](https://www.broadnet.ai/inference/models), üretimdeki Gemma 4 26B A4B derlemesinin KV önbelleğini FP8’de, ağırlıklarını ise [INT4](https://broadrouter.com/tr/glossary/int4/) AWQ olarak sakladığını söyler. Bu BroadNet’in kendi açıklamasıdır; API belgeleri diğer modellerin hassasiyetini belirtmez. Kesin sayı biçimi bir denetim veya regüle bir iş akışı için önemliyse doğrudan BroadNet’e sorun. Faturanızı gerçekten etkileyen şeyler için [fiyatlandırma sayfasındaki](https://broadrouter.com/tr/pricing/) token başına fiyatlara bakın.

## Sık sorulan sorular

### FP8, INT8 ile aynı şey mi?

Hayır. İkisi de 8 bit kullanır, ancak FP8 bazı bitleri üsse ayırır; böylece daha geniş bir büyüklük aralığını, aralarında daha az hassasiyetle kapsar. INT8 ise 256 düzeyini eşit aralıklarla dağıtır ve iyi ölçek katsayılarına daha çok bağlıdır.

### Hangi GPU'lar FP8'i destekler?

vLLM'in belgeleri, FP8 hesaplamayı compute capability 8.9 veya üzeri NVIDIA GPU'larda (Ada Lovelace, Hopper, Blackwell) ve AMD MI300x'te listeler. Daha eski Turing ve Ampere kartlar FP8 ağırlıkları yükleyebilir ama 16 bitte hesaplar.

### FP8, INT4'ten nasıl farklıdır?

FP8 üslü 8 bit kullanır ve genellikle ağırlıklara ve aktivasyonlara uygulanır. INT4 eşit aralıklı 16 tamsayı düzeyi kullanır ve genellikle yalnızca ağırlıklara uygulanır. INT4 daha fazla bellek kazandırır; FP8 daha az doğruluk riski taşır.

## Ayrıca bakın

-   [Kuantizasyon (quantization)](https://broadrouter.com/tr/glossary/quantization/) (terim)
-   [INT4](https://broadrouter.com/tr/glossary/int4/) (terim)
-   [KV önbelleği (KV cache)](https://broadrouter.com/tr/glossary/kv-cache/) (terim)
-   [İşlem hacmi (throughput)](https://broadrouter.com/tr/glossary/throughput/) (terim)
-   [OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/) (rehber)
-   [LLM barındırmak mı, API mi: gerçek maliyet ve başa baş noktası](https://broadrouter.com/tr/blog/self-hosting-llm-vs-api-cost/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-fp8&utm_content=page-cta) ·

**Kaynaklar**

-   [BroadNet model kataloğu (Gemma 4 26B A4B, FP8 KV önbelleği) (İngilizce)](https://www.broadnet.ai/inference/models)
-   [Micikevicius vd., FP8 Formats for Deep Learning, arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [vLLM belgeleri, FP8 W8A8 kuantizasyonu](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM, sayısal hassasiyet](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek, DeepSeek-V4.1-Flash model kartı (FP4 KV önbelleğindeki E4M3 ölçekleri)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
