---
title: "FP8 là gì? Số dấu phẩy động 8-bit cho inference LLM | BroadRouter"
description: "FP8 là định dạng số dấu phẩy động 8-bit (E4M3, E5M2) giúp chạy LLM với một nửa bộ nhớ so với 16-bit. Khác INT8 thế nào và GPU nào hỗ trợ FP8."
url: https://broadrouter.com/vi/glossary/fp8/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/fp8/) (cập nhật ngày 2026-11-14).

# FP8 (số thực dấu phẩy động 8-bit)

Cập nhật 2026-11-14

FP8 là định dạng số dấu phẩy động 8-bit dùng trong deep learning, có hai cách mã hóa: E4M3 với 4 bit số mũ và 3 bit phần định trị, và E5M2 với 5 bit số mũ và 2 bit phần định trị. Nó dùng nửa bộ nhớ của định dạng 16-bit và chạy native trên GPU đời mới.

Còn gọi là: FP8 là gì, số dấu phẩy động 8-bit, lượng tử hóa FP8, E4M3, E5M2, W8A8 FP8, 8-bit floating point, FP8 quantization

FP8 là định dạng số 8-bit mà phần lớn GPU mới hỗ trợ native. Đây thường là bước hạ đầu tiên từ 16-bit khi phục vụ một model lớn.

## Cách hoạt động

Một số dấu phẩy động gồm bit dấu, phần số mũ và phần định trị. Bài báo FP8 của Micikevicius và cộng sự định nghĩa hai cách bố trí, mỗi cách có một bit dấu:

| Mã hóa | Bit số mũ | Bit định trị | Đánh đổi |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | Chính xác hơn; vLLM ghi giá trị tối đa ±448 |
| E5M2 | 5 | 2 | Kém chính xác hơn; vLLM ghi giá trị tối đa ±57.344 |

E5M2 theo quy tắc IEEE 754 cho các giá trị đặc biệt. E4M3 bỏ giá trị vô cực và chỉ giữ một mẫu NaN để mở rộng dải giá trị. Cả hai chỉ có 256 giá trị khả dĩ, nên một hệ số scale ánh xạ mỗi tensor vào dải mà định dạng bao phủ.

Khi làm đích cho [lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/), FP8 thường được áp dụng theo kiểu **W8A8**: cả trọng số và activation đều 8-bit, với hệ số scale theo tensor hoặc theo khối. Bài báo báo cáo FP8 đạt chất lượng huấn luyện ngang 16-bit trên các model tới 175B tham số. Bài cũng lưu ý lượng tử hóa sau huấn luyện bằng FP8 hoạt động tốt trên các model ngôn ngữ “that resisted fixed point int8 quantization” (Bản dịch: vốn khó lượng tử hóa bằng int8 dấu phẩy tĩnh), vì phần số mũ xử lý giá trị ngoại lai tốt hơn.

FP8 cũng xuất hiện bên trong các định dạng khác. Model card của DeepSeek V4.1 Flash cho biết [KV cache](https://broadrouter.com/vi/glossary/kv-cache/) chính được lưu bằng số dấu phẩy động 4-bit với “one E4M3 scale per 16 channels” (Bản dịch: một scale E4M3 cho mỗi 16 kênh).

## Vì sao quan trọng

Tài liệu vLLM cho biết FP8 mang lại “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Bản dịch: giảm 2 lần yêu cầu bộ nhớ của model và cải thiện throughput tới 1,6 lần với ảnh hưởng tối thiểu tới độ chính xác.) Với nhà cung cấp, điều đó nghĩa là model vừa với ít GPU hơn, hoặc cùng số GPU chứa được nhiều request hơn cùng lúc, giúp tăng [throughput](https://broadrouter.com/vi/glossary/throughput/) và giảm chi phí mỗi token.

Với người dùng API, FP8 là mức nhẹ nhàng của lượng tử hóa: vLLM báo cáo ảnh hưởng tới độ chính xác là tối thiểu, dù bạn vẫn nên test những tác vụ mình dựa vào. Đây là bước ít mạnh tay hơn [INT4](https://broadrouter.com/vi/glossary/int4/), vốn tiết kiệm bộ nhớ hơn nhưng rủi ro hơn ở tác vụ khó.

## Trên BroadNet Inference

[Danh mục model](https://www.broadnet.ai/inference/models) của BroadNet cho biết bản build Gemma 4 26B A4B đang chạy production lưu KV cache bằng FP8, với trọng số [INT4](https://broadrouter.com/vi/glossary/int4/) AWQ. Đó là mô tả của chính BroadNet; tài liệu API không nêu độ chính xác của các model khác. Nếu định dạng số chính xác quan trọng cho một cuộc kiểm toán hay một quy trình chịu quản lý, hãy hỏi trực tiếp BroadNet. Về những gì thực sự ảnh hưởng tới hóa đơn, xem giá mỗi token trên [trang giá](https://broadrouter.com/vi/pricing/).

## Câu hỏi thường gặp

### FP8 có giống INT8 không?

Không. Cả hai dùng 8 bit, nhưng FP8 dành một số bit cho số mũ, nên bao phủ dải độ lớn rộng hơn với độ chính xác giữa các giá trị thấp hơn. INT8 chia đều 256 mức và phụ thuộc nhiều hơn vào hệ số scale tốt.

### GPU nào hỗ trợ FP8?

Tài liệu vLLM liệt kê tính toán FP8 trên GPU NVIDIA có compute capability 8.9 trở lên (Ada Lovelace, Hopper, Blackwell) và AMD MI300x. Các card Turing và Ampere cũ hơn có thể nạp trọng số FP8 nhưng tính toán ở 16-bit.

### FP8 khác INT4 thế nào?

FP8 dùng 8 bit có số mũ và thường áp dụng cho cả trọng số lẫn activation. INT4 dùng 16 mức số nguyên cách đều và thường chỉ áp dụng cho trọng số. INT4 tiết kiệm bộ nhớ hơn; FP8 ít rủi ro về độ chính xác hơn.

## Xem thêm

-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [INT4 (lượng tử hóa 4-bit)](https://broadrouter.com/vi/glossary/int4/) (thuật ngữ)
-   [KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/) (hướng dẫn)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-fp8&utm_content=page-cta) ·

**Nguồn**

-   [Danh mục model của BroadNet (Gemma 4 26B A4B, KV cache FP8) (tiếng Anh)](https://www.broadnet.ai/inference/models)
-   [Micikevicius và cộng sự, FP8 Formats for Deep Learning, arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [Tài liệu vLLM, lượng tử hóa FP8 W8A8](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM, độ chính xác số học](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek, model card DeepSeek-V4.1-Flash (scale E4M3 trong KV cache FP4)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
