FP8 — 8-битный числовой формат, который большинство новых GPU поддерживают нативно. Часто это первый шаг вниз от 16 бит при обслуживании большой модели.
Как это работает
Число с плавающей точкой состоит из знака, экспоненты и мантиссы. Статья Micikevicius и соавторов о FP8 определяет две раскладки, в каждой по одному биту знака:
| Кодировка | Биты экспоненты | Биты мантиссы | Компромисс |
|---|---|---|---|
| E4M3 | 4 | 3 | Выше точность; vLLM указывает максимум ±448 |
| E5M2 | 5 | 2 | Ниже точность; vLLM указывает максимум ±57 344 |
E5M2 следует правилам IEEE 754 для специальных значений. E4M3 отказывается от бесконечностей и оставляет единственный шаблон NaN, чтобы расширить диапазон. У обоих форматов всего 256 возможных значений, поэтому коэффициент масштабирования отображает каждый тензор в диапазон, который покрывает формат.
Как цель квантизации FP8 обычно применяют в схеме W8A8: и веса, и активации в 8 битах, с коэффициентом масштабирования на тензор или на блок. Статья сообщает, что FP8 достигает качества 16-битного обучения на моделях до 175 млрд параметров. В ней также отмечено, что посттренировочная квантизация в FP8 сработала на языковых моделях, “that resisted fixed point int8 quantization” (перевод: «которые не поддавались квантизации в int8 с фиксированной точкой»), потому что экспонента лучше справляется с выбросами.
FP8 встречается и внутри других форматов. Карточка DeepSeek V4.1 Flash сообщает, что основной KV-кэш модели хранится в 4-битных числах с плавающей точкой с “one E4M3 scale per 16 channels” (перевод: «одним масштабом E4M3 на 16 каналов»).
Почему это важно
Документация vLLM утверждает, что FP8 даёт “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (перевод: «двукратное снижение требований модели к памяти и до 1,6-кратного роста пропускной способности при минимальном влиянии на точность».) Для провайдера это означает, что модель помещается на меньшее число GPU или те же GPU одновременно обрабатывают больше запросов, а это повышает пропускную способность и снижает стоимость токена.
Для пользователя API FP8 — мягкий вариант квантизации: vLLM сообщает о минимальном влиянии на точность, хотя задачи, от которых вы зависите, всё равно стоит проверить. Это менее агрессивный шаг, чем INT4, который экономит больше памяти, но несёт больший риск на сложных задачах.
В BroadNet Inference
Каталог моделей BroadNet сообщает, что её продакшен-сборка Gemma 4 26B A4B хранит KV-кэш в FP8, а веса — в INT4 AWQ. Это собственное описание BroadNet; документация API не указывает точность остальных моделей. Если конкретный числовой формат важен для аудита или регулируемого процесса, спросите BroadNet напрямую. А то, что действительно влияет на ваш счёт, — цены за токены — смотрите на странице цен.