BroadRouter
Начать

FP8

Обновлено

FP8 — это 8-битный формат чисел с плавающей точкой для глубокого обучения, определённый в двух кодировках: E4M3 с 4 битами экспоненты и 3 битами мантиссы и E5M2 с 5 битами экспоненты и 2 битами мантиссы. По сравнению с 16-битными форматами он вдвое сокращает память и нативно поддерживается современными GPU.

Также называют: FP8, 8-битная плавающая точка, 8-битные числа с плавающей точкой, квантизация FP8, FP8-квантизация, 8-bit floating point, E4M3, E5M2, FP8 quantization, W8A8 FP8

FP8 — 8-битный числовой формат, который большинство новых GPU поддерживают нативно. Часто это первый шаг вниз от 16 бит при обслуживании большой модели.

Как это работает

Число с плавающей точкой состоит из знака, экспоненты и мантиссы. Статья Micikevicius и соавторов о FP8 определяет две раскладки, в каждой по одному биту знака:

Кодировка Биты экспоненты Биты мантиссы Компромисс
E4M3 4 3 Выше точность; vLLM указывает максимум ±448
E5M2 5 2 Ниже точность; vLLM указывает максимум ±57 344

E5M2 следует правилам IEEE 754 для специальных значений. E4M3 отказывается от бесконечностей и оставляет единственный шаблон NaN, чтобы расширить диапазон. У обоих форматов всего 256 возможных значений, поэтому коэффициент масштабирования отображает каждый тензор в диапазон, который покрывает формат.

Как цель квантизации FP8 обычно применяют в схеме W8A8: и веса, и активации в 8 битах, с коэффициентом масштабирования на тензор или на блок. Статья сообщает, что FP8 достигает качества 16-битного обучения на моделях до 175 млрд параметров. В ней также отмечено, что посттренировочная квантизация в FP8 сработала на языковых моделях, “that resisted fixed point int8 quantization” (перевод: «которые не поддавались квантизации в int8 с фиксированной точкой»), потому что экспонента лучше справляется с выбросами.

FP8 встречается и внутри других форматов. Карточка DeepSeek V4.1 Flash сообщает, что основной KV-кэш модели хранится в 4-битных числах с плавающей точкой с “one E4M3 scale per 16 channels” (перевод: «одним масштабом E4M3 на 16 каналов»).

Почему это важно

Документация vLLM утверждает, что FP8 даёт “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (перевод: «двукратное снижение требований модели к памяти и до 1,6-кратного роста пропускной способности при минимальном влиянии на точность».) Для провайдера это означает, что модель помещается на меньшее число GPU или те же GPU одновременно обрабатывают больше запросов, а это повышает пропускную способность и снижает стоимость токена.

Для пользователя API FP8 — мягкий вариант квантизации: vLLM сообщает о минимальном влиянии на точность, хотя задачи, от которых вы зависите, всё равно стоит проверить. Это менее агрессивный шаг, чем INT4, который экономит больше памяти, но несёт больший риск на сложных задачах.

В BroadNet Inference

Каталог моделей BroadNet сообщает, что её продакшен-сборка Gemma 4 26B A4B хранит KV-кэш в FP8, а веса — в INT4 AWQ. Это собственное описание BroadNet; документация API не указывает точность остальных моделей. Если конкретный числовой формат важен для аудита или регулируемого процесса, спросите BroadNet напрямую. А то, что действительно влияет на ваш счёт, — цены за токены — смотрите на странице цен.

Вопросы и ответы

FP8 — это то же самое, что INT8?

Нет. Оба используют 8 бит, но FP8 тратит часть битов на экспоненту, поэтому охватывает более широкий диапазон величин при меньшей точности между ними. INT8 распределяет свои 256 уровней равномерно и сильнее зависит от хорошо подобранных коэффициентов масштабирования.

Какие GPU поддерживают FP8?

Документация vLLM указывает вычисления в FP8 на GPU NVIDIA с compute capability 8.9 и выше (Ada Lovelace, Hopper, Blackwell) и на AMD MI300x. Более старые карты Turing и Ampere могут загружать веса FP8, но считают в 16 битах.

Чем FP8 отличается от INT4?

FP8 использует 8 бит с экспонентой и обычно применяется к весам и активациям. INT4 использует 16 равномерно расположенных целочисленных уровней и обычно применяется только к весам. INT4 экономит больше памяти, а FP8 несёт меньший риск для точности.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity