---
title: "Что такое FP8? 8-битные числа с плавающей точкой для LLM"
description: "FP8 — 8-битный формат с плавающей точкой (E4M3, E5M2): LLM занимает вдвое меньше памяти, чем в 16 битах. Чем он отличается от INT8 и какие GPU его поддерживают."
url: https://broadrouter.com/ru/glossary/fp8/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/fp8/) (обновлён 2026-11-14).

# FP8

Обновлено 2026-11-14

FP8 — это 8-битный формат чисел с плавающей точкой для глубокого обучения, определённый в двух кодировках: E4M3 с 4 битами экспоненты и 3 битами мантиссы и E5M2 с 5 битами экспоненты и 2 битами мантиссы. По сравнению с 16-битными форматами он вдвое сокращает память и нативно поддерживается современными GPU.

Также называют: FP8, 8-битная плавающая точка, 8-битные числа с плавающей точкой, квантизация FP8, FP8-квантизация, 8-bit floating point, E4M3, E5M2, FP8 quantization, W8A8 FP8

FP8 — 8-битный числовой формат, который большинство новых GPU поддерживают нативно. Часто это первый шаг вниз от 16 бит при обслуживании большой модели.

## Как это работает

Число с плавающей точкой состоит из знака, экспоненты и мантиссы. Статья Micikevicius и соавторов о FP8 определяет две раскладки, в каждой по одному биту знака:

| Кодировка | Биты экспоненты | Биты мантиссы | Компромисс |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | Выше точность; vLLM указывает максимум ±448 |
| E5M2 | 5 | 2 | Ниже точность; vLLM указывает максимум ±57 344 |

E5M2 следует правилам IEEE 754 для специальных значений. E4M3 отказывается от бесконечностей и оставляет единственный шаблон NaN, чтобы расширить диапазон. У обоих форматов всего 256 возможных значений, поэтому коэффициент масштабирования отображает каждый тензор в диапазон, который покрывает формат.

Как цель [квантизации](https://broadrouter.com/ru/glossary/quantization/) FP8 обычно применяют в схеме **W8A8**: и веса, и активации в 8 битах, с коэффициентом масштабирования на тензор или на блок. Статья сообщает, что FP8 достигает качества 16-битного обучения на моделях до 175 млрд параметров. В ней также отмечено, что посттренировочная квантизация в FP8 сработала на языковых моделях, “that resisted fixed point int8 quantization” (перевод: «которые не поддавались квантизации в int8 с фиксированной точкой»), потому что экспонента лучше справляется с выбросами.

FP8 встречается и внутри других форматов. Карточка DeepSeek V4.1 Flash сообщает, что основной [KV-кэш](https://broadrouter.com/ru/glossary/kv-cache/) модели хранится в 4-битных числах с плавающей точкой с “one E4M3 scale per 16 channels” (перевод: «одним масштабом E4M3 на 16 каналов»).

## Почему это важно

Документация vLLM утверждает, что FP8 даёт “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (перевод: «двукратное снижение требований модели к памяти и до 1,6-кратного роста пропускной способности при минимальном влиянии на точность».) Для провайдера это означает, что модель помещается на меньшее число GPU или те же GPU одновременно обрабатывают больше запросов, а это повышает [пропускную способность](https://broadrouter.com/ru/glossary/throughput/) и снижает стоимость токена.

Для пользователя API FP8 — мягкий вариант квантизации: vLLM сообщает о минимальном влиянии на точность, хотя задачи, от которых вы зависите, всё равно стоит проверить. Это менее агрессивный шаг, чем [INT4](https://broadrouter.com/ru/glossary/int4/), который экономит больше памяти, но несёт больший риск на сложных задачах.

## В BroadNet Inference

[Каталог моделей](https://www.broadnet.ai/inference/models) BroadNet сообщает, что её продакшен-сборка Gemma 4 26B A4B хранит KV-кэш в FP8, а веса — в [INT4](https://broadrouter.com/ru/glossary/int4/) AWQ. Это собственное описание BroadNet; документация API не указывает точность остальных моделей. Если конкретный числовой формат важен для аудита или регулируемого процесса, спросите BroadNet напрямую. А то, что действительно влияет на ваш счёт, — цены за токены — смотрите на [странице цен](https://broadrouter.com/ru/pricing/).

## Вопросы и ответы

### FP8 — это то же самое, что INT8?

Нет. Оба используют 8 бит, но FP8 тратит часть битов на экспоненту, поэтому охватывает более широкий диапазон величин при меньшей точности между ними. INT8 распределяет свои 256 уровней равномерно и сильнее зависит от хорошо подобранных коэффициентов масштабирования.

### Какие GPU поддерживают FP8?

Документация vLLM указывает вычисления в FP8 на GPU NVIDIA с compute capability 8.9 и выше (Ada Lovelace, Hopper, Blackwell) и на AMD MI300x. Более старые карты Turing и Ampere могут загружать веса FP8, но считают в 16 битах.

### Чем FP8 отличается от INT4?

FP8 использует 8 бит с экспонентой и обычно применяется к весам и активациям. INT4 использует 16 равномерно расположенных целочисленных уровней и обычно применяется только к весам. INT4 экономит больше памяти, а FP8 несёт меньший риск для точности.

## См. также

-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [INT4](https://broadrouter.com/ru/glossary/int4/) (термин)
-   [KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/) (термин)
-   [Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/) (термин)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-fp8&utm_content=page-cta) ·

**Источники**

-   [Каталог моделей BroadNet (Gemma 4 26B A4B, KV-кэш в FP8) (на английском)](https://www.broadnet.ai/inference/models)
-   [Micikevicius и др., FP8 Formats for Deep Learning, arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [Документация vLLM, квантизация FP8 W8A8](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM, точность вычислений](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek, карточка модели DeepSeek-V4.1-Flash (масштабы E4M3 в KV-кэше FP4)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
