FP8 é o formato numérico de 8 bits que a maioria das GPUs novas suporta nativamente. Muitas vezes é o primeiro passo abaixo dos 16 bits ao servir um modelo grande.
Como funciona
Um número de ponto flutuante tem sinal, expoente e mantissa. O artigo sobre FP8 de Micikevicius et al. define dois layouts, cada um com um bit de sinal:
| Codificação | Bits de expoente | Bits de mantissa | Trade-off |
|---|---|---|---|
| E4M3 | 4 | 3 | Mais precisão; o vLLM indica máximo de ±448 |
| E5M2 | 5 | 2 | Menos precisão; o vLLM indica máximo de ±57.344 |
O E5M2 segue as regras do IEEE 754 para valores especiais. O E4M3 abre mão dos infinitos e mantém um único padrão NaN para ampliar a faixa. Ambos têm só 256 valores possíveis, então um fator de escala leva cada tensor para a faixa que o formato cobre.
Como alvo de quantização, o FP8 costuma ser aplicado como W8A8: pesos e ativações em 8 bits, com um fator de escala por tensor ou por bloco. O artigo relata que o FP8 iguala a qualidade do treinamento em 16 bits em modelos de até 175B de parâmetros. Ele também observa que a quantização pós-treinamento em FP8 funcionou em modelos de linguagem “that resisted fixed point int8 quantization” (tradução: que resistiam à quantização int8 de ponto fixo), porque o expoente lida melhor com outliers.
O FP8 também aparece dentro de outros formatos. O card da DeepSeek para o DeepSeek V4.1 Flash guarda o KV cache principal em floats de 4 bits com “one E4M3 scale per 16 channels” (tradução: uma escala E4M3 a cada 16 canais).
Por que isso importa
A documentação do vLLM afirma que o FP8 traz “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (tradução: redução de 2x na memória exigida pelo modelo e até 1,6x de melhora no throughput, com impacto mínimo na precisão). Para um provedor, isso significa que um modelo cabe em menos GPUs, ou que as mesmas GPUs atendem mais requisições ao mesmo tempo, o que aumenta o throughput e reduz o custo por token.
Para quem usa uma API, o FP8 é a ponta leve da quantização: o vLLM relata impacto mínimo na precisão, mas vale testar as tarefas de que você depende. É um passo menos agressivo que o INT4, que economiza mais memória, mas traz mais risco em tarefas difíceis.
Na BroadNet Inference
O catálogo de modelos da BroadNet diz que a build de produção do Gemma 4 26B A4B guarda o KV cache em FP8, com pesos AWQ INT4. Essa é a descrição da própria BroadNet; a documentação da API não informa a precisão dos outros modelos. Se um formato numérico exato importa para uma auditoria ou um fluxo regulado, pergunte diretamente à BroadNet. Para o que de fato afeta a sua conta, veja os preços por token na página de preços.