---
title: "FP8이란? LLM 추론을 위한 8비트 부동소수점 | BroadRouter"
description: "FP8은 16비트의 절반 메모리로 LLM을 실행하는 8비트 부동소수점 형식(E4M3, E5M2)입니다. INT8과의 차이와 FP8을 지원하는 GPU를 정리했습니다."
url: https://broadrouter.com/ko/glossary/fp8/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/fp8/) (2026-11-14 업데이트).

# FP8(8비트 부동소수점)

업데이트 2026-11-14

FP8은 딥러닝에 쓰이는 8비트 부동소수점 숫자 형식으로, 지수 4비트와 가수 3비트인 E4M3, 지수 5비트와 가수 2비트인 E5M2 두 가지 인코딩이 있습니다. 16비트 형식보다 메모리를 절반으로 줄이며, 최신 GPU에서 네이티브로 실행됩니다.

다른 이름: FP8, 8비트 부동소수점, FP8 양자화, E4M3, E5M2, W8A8 FP8, 8-bit floating point, FP8 quantization

FP8은 대부분의 신형 GPU가 네이티브로 지원하는 8비트 숫자 형식입니다. 큰 모델을 서빙할 때 16비트에서 내려가는 첫 단계로 흔히 쓰입니다.

## 작동 방식

부동소수점 숫자는 부호, 지수, 가수로 이루어집니다. Micikevicius 등의 FP8 논문은 각각 부호 비트 하나를 가진 두 가지 배치를 정의합니다.

| 인코딩 | 지수 비트 | 가수 비트 | 트레이드오프 |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | 정밀도가 더 높음. vLLM 기준 최댓값 ±448 |
| E5M2 | 5 | 2 | 정밀도가 더 낮음. vLLM 기준 최댓값 ±57,344 |

E5M2는 특수값에 IEEE 754 규칙을 따릅니다. E4M3는 범위를 넓히기 위해 무한대를 포기하고 NaN 패턴 하나만 남깁니다. 둘 다 가능한 값이 256개뿐이므로, 스케일 값으로 각 텐서를 형식이 다루는 범위에 맞춥니다.

[양자화](https://broadrouter.com/ko/glossary/quantization/) 대상으로서 FP8은 보통 **W8A8**로 적용합니다. 가중치와 활성값을 모두 8비트로 두고, 텐서나 블록마다 스케일 값을 둡니다. 논문은 175B 파라미터까지의 모델에서 FP8이 16비트 학습 품질과 맞먹었다고 보고합니다. 또한 지수가 이상치(outlier)를 더 잘 다루기 때문에 “that resisted fixed point int8 quantization”(번역: 고정소수점 int8 양자화가 잘 먹히지 않던) 언어 모델에서도 FP8 사후 학습 양자화가 통했다고 적고 있습니다.

FP8은 다른 형식 안에서도 쓰입니다. DeepSeek V4.1 Flash의 모델 카드에 따르면 주 [KV 캐시](https://broadrouter.com/ko/glossary/kv-cache/)를 4비트 부동소수점으로 저장하며 “one E4M3 scale per 16 channels”(번역: 16채널마다 E4M3 스케일 하나)를 씁니다.

## 왜 중요한가

vLLM 문서는 FP8이 “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”(번역: 정확도에 미치는 영향은 최소화하면서 모델 메모리 요구량을 2배 줄이고 처리량을 최대 1.6배 높인다)라고 밝힙니다. 제공업체 입장에서는 모델이 더 적은 GPU에 들어가거나, 같은 GPU가 더 많은 요청을 동시에 처리할 수 있다는 뜻이며, 이는 [처리량](https://broadrouter.com/ko/glossary/throughput/)을 높이고 토큰당 비용을 낮춥니다.

API 사용자에게 FP8은 양자화 중 순한 쪽입니다. vLLM은 정확도 영향이 최소라고 보고하지만, 의존하는 작업은 여전히 직접 시험해야 합니다. 메모리는 더 아끼지만 어려운 작업에서 위험이 더 큰 [INT4](https://broadrouter.com/ko/glossary/int4/)보다 덜 공격적인 단계입니다.

## BroadNet Inference에서는

BroadNet [모델 카탈로그](https://www.broadnet.ai/inference/models)에 따르면 프로덕션 Gemma 4 26B A4B 빌드는 KV 캐시를 FP8로 저장하고 가중치는 [INT4](https://broadrouter.com/ko/glossary/int4/) AWQ입니다. 이는 BroadNet 자체의 설명이며, API 문서는 다른 모델의 정밀도를 밝히지 않습니다. 감사나 규제 대상 워크플로에서 정확한 숫자 형식이 중요하다면 BroadNet에 직접 문의하세요. 실제로 청구액에 영향을 주는 것은 [가격 페이지](https://broadrouter.com/ko/pricing/)의 토큰당 가격입니다.

## 자주 묻는 질문

### FP8과 INT8은 같은 건가요?

아닙니다. 둘 다 8비트를 쓰지만 FP8은 일부 비트를 지수에 쓰므로, 더 넓은 크기 범위를 다루는 대신 값 사이의 정밀도는 낮습니다. INT8은 256개 단계를 균등하게 배치하며, 좋은 스케일 값에 더 많이 의존합니다.

### 어떤 GPU가 FP8을 지원하나요?

vLLM 문서는 compute capability 8.9 이상인 NVIDIA GPU(Ada Lovelace, Hopper, Blackwell)와 AMD MI300x에서 FP8 연산을 지원한다고 밝힙니다. 그보다 오래된 Turing과 Ampere 카드는 FP8 가중치를 불러올 수는 있지만 연산은 16비트로 합니다.

### FP8과 INT4는 어떻게 다른가요?

FP8은 지수가 있는 8비트 형식으로, 보통 가중치와 활성값 모두에 적용합니다. INT4는 균등한 정수 단계 16개를 쓰며, 보통 가중치에만 적용합니다. INT4가 메모리를 더 아끼고, FP8은 정확도 위험이 더 적습니다.

## 함께 보기

-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [INT4(4비트 정수 양자화)](https://broadrouter.com/ko/glossary/int4/) (용어)
-   [KV 캐시(KV cache)](https://broadrouter.com/ko/glossary/kv-cache/) (용어)
-   [처리량(throughput)](https://broadrouter.com/ko/glossary/throughput/) (용어)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-fp8&utm_content=page-cta) ·

**출처**

-   [BroadNet 모델 카탈로그(Gemma 4 26B A4B, FP8 KV 캐시) (영어)](https://www.broadnet.ai/inference/models)
-   [Micikevicius 외, FP8 Formats for Deep Learning, arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [vLLM 문서, FP8 W8A8 양자화](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM, 수치 정밀도](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek, DeepSeek-V4.1-Flash 모델 카드(FP4 KV 캐시의 E4M3 스케일)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
