FP8은 대부분의 신형 GPU가 네이티브로 지원하는 8비트 숫자 형식입니다. 큰 모델을 서빙할 때 16비트에서 내려가는 첫 단계로 흔히 쓰입니다.
작동 방식
부동소수점 숫자는 부호, 지수, 가수로 이루어집니다. Micikevicius 등의 FP8 논문은 각각 부호 비트 하나를 가진 두 가지 배치를 정의합니다.
| 인코딩 | 지수 비트 | 가수 비트 | 트레이드오프 |
|---|---|---|---|
| E4M3 | 4 | 3 | 정밀도가 더 높음. vLLM 기준 최댓값 ±448 |
| E5M2 | 5 | 2 | 정밀도가 더 낮음. vLLM 기준 최댓값 ±57,344 |
E5M2는 특수값에 IEEE 754 규칙을 따릅니다. E4M3는 범위를 넓히기 위해 무한대를 포기하고 NaN 패턴 하나만 남깁니다. 둘 다 가능한 값이 256개뿐이므로, 스케일 값으로 각 텐서를 형식이 다루는 범위에 맞춥니다.
양자화 대상으로서 FP8은 보통 W8A8로 적용합니다. 가중치와 활성값을 모두 8비트로 두고, 텐서나 블록마다 스케일 값을 둡니다. 논문은 175B 파라미터까지의 모델에서 FP8이 16비트 학습 품질과 맞먹었다고 보고합니다. 또한 지수가 이상치(outlier)를 더 잘 다루기 때문에 “that resisted fixed point int8 quantization”(번역: 고정소수점 int8 양자화가 잘 먹히지 않던) 언어 모델에서도 FP8 사후 학습 양자화가 통했다고 적고 있습니다.
FP8은 다른 형식 안에서도 쓰입니다. DeepSeek V4.1 Flash의 모델 카드에 따르면 주 KV 캐시를 4비트 부동소수점으로 저장하며 “one E4M3 scale per 16 channels”(번역: 16채널마다 E4M3 스케일 하나)를 씁니다.
왜 중요한가
vLLM 문서는 FP8이 “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”(번역: 정확도에 미치는 영향은 최소화하면서 모델 메모리 요구량을 2배 줄이고 처리량을 최대 1.6배 높인다)라고 밝힙니다. 제공업체 입장에서는 모델이 더 적은 GPU에 들어가거나, 같은 GPU가 더 많은 요청을 동시에 처리할 수 있다는 뜻이며, 이는 처리량을 높이고 토큰당 비용을 낮춥니다.
API 사용자에게 FP8은 양자화 중 순한 쪽입니다. vLLM은 정확도 영향이 최소라고 보고하지만, 의존하는 작업은 여전히 직접 시험해야 합니다. 메모리는 더 아끼지만 어려운 작업에서 위험이 더 큰 INT4보다 덜 공격적인 단계입니다.
BroadNet Inference에서는
BroadNet 모델 카탈로그에 따르면 프로덕션 Gemma 4 26B A4B 빌드는 KV 캐시를 FP8로 저장하고 가중치는 INT4 AWQ입니다. 이는 BroadNet 자체의 설명이며, API 문서는 다른 모델의 정밀도를 밝히지 않습니다. 감사나 규제 대상 워크플로에서 정확한 숫자 형식이 중요하다면 BroadNet에 직접 문의하세요. 실제로 청구액에 영향을 주는 것은 가격 페이지의 토큰당 가격입니다.