FP8 es el formato numérico de 8 bits que la mayoría de las GPU nuevas manejan de forma nativa. Suele ser el primer paso por debajo de 16 bits al servir un modelo grande.
Cómo funciona
Un número de coma flotante tiene signo, exponente y mantisa. El artículo sobre FP8 de Micikevicius et al. define dos distribuciones, cada una con un bit de signo:
| Codificación | Bits de exponente | Bits de mantisa | Compromiso |
|---|---|---|---|
| E4M3 | 4 | 3 | Más precisión; vLLM indica un máximo de ±448 |
| E5M2 | 5 | 2 | Menos precisión; vLLM indica un máximo de ±57,344 |
E5M2 sigue las reglas de IEEE 754 para los valores especiales. E4M3 renuncia a los infinitos y conserva un único patrón NaN para ampliar su rango. Ambos tienen solo 256 valores posibles, así que un factor de escala lleva cada tensor al rango que cubre el formato.
Como objetivo de cuantización, FP8 suele aplicarse como W8A8: pesos y activaciones en 8 bits, con un factor de escala por tensor o por bloque. El artículo informa que FP8 igualó la calidad del entrenamiento en 16 bits en modelos de hasta 175B parámetros. También señala que la cuantización posterior al entrenamiento en FP8 funcionó en modelos de lenguaje “that resisted fixed point int8 quantization” (traducción: que se resistían a la cuantización int8 de coma fija), porque el exponente gestiona mejor los valores atípicos.
FP8 también aparece dentro de otros formatos. La ficha de DeepSeek V4.1 Flash indica que su caché KV principal se guarda en flotantes de 4 bits con “one E4M3 scale per 16 channels” (traducción: una escala E4M3 por cada 16 canales).
Por qué importa
La documentación de vLLM afirma que FP8 ofrece “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (traducción: una reducción a la mitad de los requisitos de memoria del modelo y hasta 1.6 veces más throughput, con un impacto mínimo en la precisión.) Para un proveedor, eso significa que un modelo cabe en menos GPU, o que las mismas GPU atienden más solicitudes a la vez, lo que eleva el throughput y reduce el costo por token.
Para quien usa una API, FP8 es el extremo suave de la cuantización: vLLM informa un impacto mínimo en la precisión, aunque conviene probar las tareas de las que usted depende. Es un paso menos agresivo que INT4, que ahorra más memoria pero implica más riesgo en tareas difíciles.
En BroadNet Inference
El catálogo de modelos de BroadNet indica que su versión de producción de Gemma 4 26B A4B guarda la caché KV en FP8, con pesos INT4 AWQ. Es la descripción de la propia BroadNet; la documentación de la API no indica la precisión de los demás modelos. Si el formato numérico exacto importa para una auditoría o un flujo regulado, pregunte directamente a BroadNet. Para lo que sí afecta a su factura, consulte los precios por token en la página de precios.