BroadRouter
Comenzar

FP8

Actualizado

FP8 es un formato de coma flotante de 8 bits para deep learning, con dos codificaciones: E4M3, con 4 bits de exponente y 3 de mantisa, y E5M2, con 5 bits de exponente y 2 de mantisa. Reduce a la mitad la memoria frente a los formatos de 16 bits y se ejecuta de forma nativa en GPU recientes.

También llamado: FP8, coma flotante de 8 bits, punto flotante de 8 bits, cuantización FP8, 8-bit floating point, E4M3, E5M2, FP8 quantization, W8A8 FP8

FP8 es el formato numérico de 8 bits que la mayoría de las GPU nuevas manejan de forma nativa. Suele ser el primer paso por debajo de 16 bits al servir un modelo grande.

Cómo funciona

Un número de coma flotante tiene signo, exponente y mantisa. El artículo sobre FP8 de Micikevicius et al. define dos distribuciones, cada una con un bit de signo:

Codificación Bits de exponente Bits de mantisa Compromiso
E4M3 4 3 Más precisión; vLLM indica un máximo de ±448
E5M2 5 2 Menos precisión; vLLM indica un máximo de ±57,344

E5M2 sigue las reglas de IEEE 754 para los valores especiales. E4M3 renuncia a los infinitos y conserva un único patrón NaN para ampliar su rango. Ambos tienen solo 256 valores posibles, así que un factor de escala lleva cada tensor al rango que cubre el formato.

Como objetivo de cuantización, FP8 suele aplicarse como W8A8: pesos y activaciones en 8 bits, con un factor de escala por tensor o por bloque. El artículo informa que FP8 igualó la calidad del entrenamiento en 16 bits en modelos de hasta 175B parámetros. También señala que la cuantización posterior al entrenamiento en FP8 funcionó en modelos de lenguaje “that resisted fixed point int8 quantization” (traducción: que se resistían a la cuantización int8 de coma fija), porque el exponente gestiona mejor los valores atípicos.

FP8 también aparece dentro de otros formatos. La ficha de DeepSeek V4.1 Flash indica que su caché KV principal se guarda en flotantes de 4 bits con “one E4M3 scale per 16 channels” (traducción: una escala E4M3 por cada 16 canales).

Por qué importa

La documentación de vLLM afirma que FP8 ofrece “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (traducción: una reducción a la mitad de los requisitos de memoria del modelo y hasta 1.6 veces más throughput, con un impacto mínimo en la precisión.) Para un proveedor, eso significa que un modelo cabe en menos GPU, o que las mismas GPU atienden más solicitudes a la vez, lo que eleva el throughput y reduce el costo por token.

Para quien usa una API, FP8 es el extremo suave de la cuantización: vLLM informa un impacto mínimo en la precisión, aunque conviene probar las tareas de las que usted depende. Es un paso menos agresivo que INT4, que ahorra más memoria pero implica más riesgo en tareas difíciles.

En BroadNet Inference

El catálogo de modelos de BroadNet indica que su versión de producción de Gemma 4 26B A4B guarda la caché KV en FP8, con pesos INT4 AWQ. Es la descripción de la propia BroadNet; la documentación de la API no indica la precisión de los demás modelos. Si el formato numérico exacto importa para una auditoría o un flujo regulado, pregunte directamente a BroadNet. Para lo que sí afecta a su factura, consulte los precios por token en la página de precios.

Preguntas frecuentes

¿FP8 es lo mismo que INT8?

No. Ambos usan 8 bits, pero FP8 dedica algunos bits a un exponente, así que cubre un rango más amplio de magnitudes con menos precisión entre ellas. INT8 reparte sus 256 niveles de forma uniforme y depende más de unos buenos factores de escala.

¿Qué GPU admiten FP8?

La documentación de vLLM indica cómputo FP8 en GPU de NVIDIA con capacidad de cómputo 8.9 o superior (Ada Lovelace, Hopper, Blackwell) y en AMD MI300x. Las tarjetas Turing y Ampere, más antiguas, pueden cargar pesos FP8, pero calculan en 16 bits.

¿En qué se diferencia FP8 de INT4?

FP8 usa 8 bits con exponente y suele aplicarse a pesos y activaciones. INT4 usa 16 niveles enteros equiespaciados y suele aplicarse solo a los pesos. INT4 ahorra más memoria; FP8 implica menos riesgo para la precisión.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity