---
title: "什么是 FP8？大模型推理中的 8 位浮点格式 | BroadRouter"
description: "FP8 是一种 8 位浮点格式（E4M3、E5M2），运行大模型所需显存只有 16 位格式的一半。它与 INT8 的区别，以及哪些 GPU 支持它。"
url: https://broadrouter.com/zh/glossary/fp8/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/fp8/)（2026-11-14 更新）。

# FP8（8 位浮点数）

更新于 2026-11-14

FP8 是深度学习中使用的 8 位浮点数格式，有两种编码：E4M3（4 位指数、3 位尾数）和 E5M2（5 位指数、2 位尾数）。与 16 位格式相比，它的显存占用减半，并在较新的 GPU 上原生运行。

又称： 8 位浮点、FP8 量化、FP8 精度、E4M3、E5M2、W8A8 FP8、FP8、8-bit floating point、FP8 quantization

FP8 是大多数新款 GPU 原生支持的 8 位数字格式。部署大模型时，它往往是从 16 位往下降的第一步。

## 工作原理

浮点数由符号位、指数和尾数组成。Micikevicius 等人的 FP8 论文定义了两种布局，每种都有一个符号位：

| 编码 | 指数位 | 尾数位 | 取舍 |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | 精度更高；vLLM 列出的最大值为 ±448 |
| E5M2 | 5 | 2 | 精度更低；vLLM 列出的最大值为 ±57,344 |

E5M2 在特殊值上遵循 IEEE 754 规则。E4M3 放弃了无穷大，只保留一种 NaN 编码，以扩展数值范围。两者都只有 256 个可能的值，因此要用缩放因子把每个张量映射到格式能覆盖的范围内。

作为[量化](https://broadrouter.com/zh/glossary/quantization/)目标，FP8 通常以 **W8A8** 的形式应用：权重和激活值都用 8 位，并按张量或按块设置缩放因子。论文报告，在最高 175B 参数的模型上，FP8 训练的质量与 16 位相当。论文还指出，FP8 训练后量化适用于 “that resisted fixed point int8 quantization”（译文：难以用定点 int8 量化）的语言模型，因为指数能更好地应对离群值。

FP8 也出现在其他格式内部。DeepSeek V4.1 Flash 的 DeepSeek 模型卡说明，其主 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)以 4 位浮点存储，并带有 “one E4M3 scale per 16 channels”（译文：每 16 个通道一个 E4M3 缩放因子）。

## 为什么重要

vLLM 的文档称，FP8 带来 “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”（译文：模型显存需求降低一半，吞吐量最多提升 1.6 倍，对准确率的影响极小。）对服务商来说，这意味着一个模型可以放进更少的 GPU，或者同样的 GPU 能同时处理更多请求，从而提高[吞吐量](https://broadrouter.com/zh/glossary/throughput/)、降低每 token 成本。

对 API 用户来说，FP8 属于温和的量化：vLLM 报告其对准确率影响极小，但你仍应测试自己依赖的任务。它比 [INT4](https://broadrouter.com/zh/glossary/int4/) 保守，INT4 更省显存，但在困难任务上风险更大。

## 在 BroadNet Inference 上

BroadNet 的[模型目录](https://www.broadnet.ai/inference/models)说，其生产环境的 Gemma 4 26B A4B 版本用 FP8 存储 KV 缓存，权重为 [INT4](https://broadrouter.com/zh/glossary/int4/) AWQ。这是 BroadNet 自己的描述；API 文档没有说明其他模型的精度。如果审计或受监管的流程要求知道确切的数字格式，请直接询问 BroadNet。至于真正影响你账单的因素，请查看[价格页面](https://broadrouter.com/zh/pricing/)上的每 token 价格。

## 常见问题

### FP8 和 INT8 是一回事吗？

不是。两者都用 8 位，但 FP8 把一部分位用于指数，因此能覆盖更大的数值范围，代价是相邻数值之间的精度更低。INT8 把 256 个级别均匀分布，更依赖合适的缩放因子。

### 哪些 GPU 支持 FP8？

vLLM 的文档列出，计算能力 8.9 及以上的 NVIDIA GPU（Ada Lovelace、Hopper、Blackwell）和 AMD MI300x 支持 FP8 计算。较旧的 Turing 和 Ampere 显卡可以加载 FP8 权重，但以 16 位进行计算。

### FP8 和 INT4 有什么不同？

FP8 使用带指数的 8 位，通常同时用于权重和激活值。INT4 使用 16 个均匀分布的整数级别，通常只用于权重。INT4 更省显存；FP8 的精度风险更小。

## 另请参阅

-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)（术语）
-   [INT4（4-bit 量化）](https://broadrouter.com/zh/glossary/int4/)（术语）
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/)（术语）
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/)（术语）
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)（指南）
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-fp8&utm_content=page-cta) ·

**来源**

-   [BroadNet 模型目录（Gemma 4 26B A4B，FP8 KV 缓存）（英文）](https://www.broadnet.ai/inference/models)
-   [Micikevicius 等，FP8 Formats for Deep Learning，arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [vLLM 文档，FP8 W8A8 量化](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM，数值精度](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek，DeepSeek-V4.1-Flash 模型卡（其 FP4 KV 缓存中的 E4M3 缩放因子）](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
