BroadRouter
Começar

Throughput (vazão)

Atualizado em

Throughput, ou vazão, no serving de LLMs, é a quantidade total de trabalho que um sistema conclui por unidade de tempo em todas as requisições simultâneas, geralmente medida em tokens de saída ou requisições por segundo. É diferente da velocidade por stream, que é a rapidez com que uma única requisição recebe seus tokens.

Também chamado de: throughput, vazão, throughput de LLM, throughput do sistema, tokens totais por segundo, requisições por segundo, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Tokens por segundo dizem quão rápido uma resposta chega em streaming. O throughput diz quanto um sistema inteiro consegue entregar.

Como funciona

O guia de benchmark da NVIDIA separa as duas coisas. O TPS total por sistema é o “total output token throughput across all simultaneous requests” (throughput total de tokens de saída em todas as requisições simultâneas): todos os tokens de saída divididos pelo tempo entre a primeira requisição e a última resposta. O TPS por usuário é o tamanho da saída de uma requisição dividido pelo seu tempo de ponta a ponta. Requisições por segundo (RPS) contam requisições concluídas em vez de tokens.

A frase principal: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (tradução: à medida que o número de requisições simultâneas aumenta, o TPS total do sistema sobe enquanto o TPS por usuário cai). O TPS total sobe até a GPU saturar e, passado esse ponto, pode cair.

No servidor, o limite costuma ser a memória. O artigo do PagedAttention explica que servir com alto throughput “requires batching sufficiently many requests at a time” (exige agrupar requisições suficientes de uma vez), e o KV cache de cada requisição decide quantas cabem. Uma gestão de memória melhor permitiu ao vLLM atingir de 2 a 4 vezes o throughput de sistemas anteriores com a mesma latência.

Por que isso importa

Para quem chama uma API, o throughput diz respeito ao seu lado do cano: quantos documentos você consegue processar por hora, ou quantos agentes podem trabalhar ao mesmo tempo. Ele segue uma regra simples:

your throughput ≈ concurrent requests × per-stream tokens per second

Ou seja: o seu throughput é aproximadamente o número de requisições simultâneas vezes os tokens por segundo de cada stream. Isso só vale enquanto o provedor mantém a velocidade por stream estável à medida que você aumenta a carga. Meça; não presuma.

O throughput é limitado pelo seu limite de concorrência e pelos seus rate limits, não só pelo modelo. Se um job está lento, veja se as requisições rodam uma depois da outra quando poderiam rodar em paralelo.

Na BroadNet Inference

A BroadNet publica limites por chave, não um número de throughput do sistema. A página de planos informa uma velocidade típica de cerca de 100 tokens por segundo para o DeepSeek V4.1 Flash, o modelo dos planos; não há velocidade publicada para outros modelos. Como ilustração, se cada stream rodasse nesse valor:

Opção Requisições em paralelo Limite superior se a velocidade se mantivesse
Chave de pagamento por uso 4 (e 30 requisições por minuto) 4 streams × cerca de 100 tokens por segundo cada
Chave por hora (Gemma 4 VL 26B) 1 stream, 300,000 tokens por minuto não publicado; meça
Sessão de plano de preço fixo 1 requisição por vez cerca de 100 tokens por segundo

Para escalar um plano de preço fixo, você adiciona sessões, uma por agente trabalhando em paralelo; veja sessões ilimitadas de API de LLM e como rodar agentes de código em paralelo. Essa velocidade é o número típico declarado pela BroadNet para o DeepSeek V4.1 Flash, não uma garantia para outros modelos ou sob carga.

Perguntas frequentes

Throughput é o mesmo que tokens por segundo?

Só no nível do sistema. Tokens por segundo por stream é a velocidade que uma requisição vê. O throughput soma todos os streams. A NVIDIA chama isso de TPS por usuário e TPS total por sistema.

Como consigo mais throughput de uma API de LLM?

Rode mais requisições em paralelo, até os seus limites de concorrência e de taxa, e mantenha cada requisição curta. Se cada requisição já usa toda a sua vaga, mais vagas, chaves ou sessões são o único caminho.

Throughput maior significa latência menor?

Não. Throughput é o trabalho total por segundo em todas as requisições; latência é quanto tempo uma requisição leva. Atender mais requisições ao mesmo tempo aumenta o throughput total, mas pode deixar cada requisição mais lenta, e é por isso que a NVIDIA informa TPS por usuário e TPS total separadamente.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity