Tokens por segundo dizem quão rápido uma resposta chega em streaming. O throughput diz quanto um sistema inteiro consegue entregar.
Como funciona
O guia de benchmark da NVIDIA separa as duas coisas. O TPS total por sistema é o “total output token throughput across all simultaneous requests” (throughput total de tokens de saída em todas as requisições simultâneas): todos os tokens de saída divididos pelo tempo entre a primeira requisição e a última resposta. O TPS por usuário é o tamanho da saída de uma requisição dividido pelo seu tempo de ponta a ponta. Requisições por segundo (RPS) contam requisições concluídas em vez de tokens.
A frase principal: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (tradução: à medida que o número de requisições simultâneas aumenta, o TPS total do sistema sobe enquanto o TPS por usuário cai). O TPS total sobe até a GPU saturar e, passado esse ponto, pode cair.
No servidor, o limite costuma ser a memória. O artigo do PagedAttention explica que servir com alto throughput “requires batching sufficiently many requests at a time” (exige agrupar requisições suficientes de uma vez), e o KV cache de cada requisição decide quantas cabem. Uma gestão de memória melhor permitiu ao vLLM atingir de 2 a 4 vezes o throughput de sistemas anteriores com a mesma latência.
Por que isso importa
Para quem chama uma API, o throughput diz respeito ao seu lado do cano: quantos documentos você consegue processar por hora, ou quantos agentes podem trabalhar ao mesmo tempo. Ele segue uma regra simples:
your throughput ≈ concurrent requests × per-stream tokens per second
Ou seja: o seu throughput é aproximadamente o número de requisições simultâneas vezes os tokens por segundo de cada stream. Isso só vale enquanto o provedor mantém a velocidade por stream estável à medida que você aumenta a carga. Meça; não presuma.
O throughput é limitado pelo seu limite de concorrência e pelos seus rate limits, não só pelo modelo. Se um job está lento, veja se as requisições rodam uma depois da outra quando poderiam rodar em paralelo.
Na BroadNet Inference
A BroadNet publica limites por chave, não um número de throughput do sistema. A página de planos informa uma velocidade típica de cerca de 100 tokens por segundo para o DeepSeek V4.1 Flash, o modelo dos planos; não há velocidade publicada para outros modelos. Como ilustração, se cada stream rodasse nesse valor:
| Opção | Requisições em paralelo | Limite superior se a velocidade se mantivesse |
|---|---|---|
| Chave de pagamento por uso | 4 (e 30 requisições por minuto) | 4 streams × cerca de 100 tokens por segundo cada |
| Chave por hora (Gemma 4 VL 26B) | 1 stream, 300,000 tokens por minuto | não publicado; meça |
| Sessão de plano de preço fixo | 1 requisição por vez | cerca de 100 tokens por segundo |
Para escalar um plano de preço fixo, você adiciona sessões, uma por agente trabalhando em paralelo; veja sessões ilimitadas de API de LLM e como rodar agentes de código em paralelo. Essa velocidade é o número típico declarado pela BroadNet para o DeepSeek V4.1 Flash, não uma garantia para outros modelos ou sob carga.