---
title: "O que é throughput de LLM? Tokens por segundo do sistema"
description: "Throughput de LLM é o trabalho total que um sistema conclui por segundo em todas as requisições simultâneas. Como ele difere da velocidade de cada stream."
url: https://broadrouter.com/pt/glossary/throughput/
lang: pt-BR
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/throughput/) (atualizado em 2026-11-14).

# Throughput (vazão)

Atualizado em 2026-11-14

Throughput, ou vazão, no serving de LLMs, é a quantidade total de trabalho que um sistema conclui por unidade de tempo em todas as requisições simultâneas, geralmente medida em tokens de saída ou requisições por segundo. É diferente da velocidade por stream, que é a rapidez com que uma única requisição recebe seus tokens.

Também chamado de: throughput, vazão, throughput de LLM, throughput do sistema, tokens totais por segundo, requisições por segundo, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

[Tokens por segundo](https://broadrouter.com/pt/glossary/tokens-per-second/) dizem quão rápido uma resposta chega em streaming. O throughput diz quanto um sistema inteiro consegue entregar.

## Como funciona

O guia de benchmark da NVIDIA separa as duas coisas. O **TPS total por sistema** é o “total output token throughput across all simultaneous requests” (throughput total de tokens de saída em todas as requisições simultâneas): todos os tokens de saída divididos pelo tempo entre a primeira requisição e a última resposta. O **TPS por usuário** é o tamanho da saída de uma requisição dividido pelo seu tempo de ponta a ponta. **Requisições por segundo (RPS)** contam requisições concluídas em vez de tokens.

A frase principal: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (tradução: à medida que o número de requisições simultâneas aumenta, o TPS total do sistema sobe enquanto o TPS por usuário cai). O TPS total sobe até a GPU saturar e, passado esse ponto, pode cair.

No servidor, o limite costuma ser a memória. O artigo do PagedAttention explica que servir com alto throughput “requires batching sufficiently many requests at a time” (exige agrupar requisições suficientes de uma vez), e o [KV cache](https://broadrouter.com/pt/glossary/kv-cache/) de cada requisição decide quantas cabem. Uma gestão de memória melhor permitiu ao vLLM atingir de 2 a 4 vezes o throughput de sistemas anteriores com a mesma latência.

## Por que isso importa

Para quem chama uma API, o throughput diz respeito ao seu lado do cano: quantos documentos você consegue processar por hora, ou quantos agentes podem trabalhar ao mesmo tempo. Ele segue uma regra simples:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Ou seja: o seu throughput é aproximadamente o número de requisições simultâneas vezes os tokens por segundo de cada stream. Isso só vale enquanto o provedor mantém a velocidade por stream estável à medida que você aumenta a carga. Meça; não presuma.

O throughput é limitado pelo seu limite de [concorrência](https://broadrouter.com/pt/glossary/concurrency/) e pelos seus rate limits, não só pelo modelo. Se um job está lento, veja se as requisições rodam uma depois da outra quando poderiam rodar em paralelo.

## Na BroadNet Inference

A BroadNet publica limites por chave, não um número de throughput do sistema. A página de planos informa uma velocidade típica de cerca de 100 tokens por segundo para o DeepSeek V4.1 Flash, o modelo dos planos; não há velocidade publicada para outros modelos. Como ilustração, se cada stream rodasse nesse valor:

| Opção | Requisições em paralelo | Limite superior se a velocidade se mantivesse |
| --- | --- | --- |
| Chave de pagamento por uso | 4 (e 30 requisições por minuto) | 4 streams × cerca de 100 tokens por segundo cada |
| Chave por hora (Gemma 4 VL 26B) | 1 stream, 300,000 tokens por minuto | não publicado; meça |
| Sessão de plano de preço fixo | 1 requisição por vez | cerca de 100 tokens por segundo |

Para escalar um plano de preço fixo, você adiciona sessões, uma por agente trabalhando em paralelo; veja [sessões ilimitadas de API de LLM](https://broadrouter.com/pt/guides/unlimited-llm-api-sessions/) e [como rodar agentes de código em paralelo](https://broadrouter.com/pt/blog/run-parallel-coding-agents-flat-rate/). Essa velocidade é o número típico declarado pela BroadNet para o DeepSeek V4.1 Flash, não uma garantia para outros modelos ou sob carga.

## Perguntas frequentes

### Throughput é o mesmo que tokens por segundo?

Só no nível do sistema. Tokens por segundo por stream é a velocidade que uma requisição vê. O throughput soma todos os streams. A NVIDIA chama isso de TPS por usuário e TPS total por sistema.

### Como consigo mais throughput de uma API de LLM?

Rode mais requisições em paralelo, até os seus limites de concorrência e de taxa, e mantenha cada requisição curta. Se cada requisição já usa toda a sua vaga, mais vagas, chaves ou sessões são o único caminho.

### Throughput maior significa latência menor?

Não. Throughput é o trabalho total por segundo em todas as requisições; latência é quanto tempo uma requisição leva. Atender mais requisições ao mesmo tempo aumenta o throughput total, mas pode deixar cada requisição mais lenta, e é por isso que a NVIDIA informa TPS por usuário e TPS total separadamente.

## Veja também

-   [Tokens por segundo (tokens per second)](https://broadrouter.com/pt/glossary/tokens-per-second/) (termo)
-   [Concorrência (concurrency)](https://broadrouter.com/pt/glossary/concurrency/) (termo)
-   [Latência (latency)](https://broadrouter.com/pt/glossary/latency/) (termo)
-   [KV cache (cache de chave-valor)](https://broadrouter.com/pt/glossary/kv-cache/) (termo)
-   [Batch API (API de lote)](https://broadrouter.com/pt/glossary/batch-api/) (termo)
-   [Speculative decoding (decodificação especulativa)](https://broadrouter.com/pt/glossary/speculative-decoding/) (termo)
-   [Como funcionam os planos de API de LLM ilimitada para agentes](https://broadrouter.com/pt/guides/unlimited-llm-api-sessions/) (guia)
-   [Códigos de erro da BroadNet Inference e quando tentar de novo](https://broadrouter.com/pt/guides/errors-and-retries/) (guia)
-   [Como rodar agentes de código em paralelo numa API de LLM de preço fixo](https://broadrouter.com/pt/blog/run-parallel-coding-agents-flat-rate/) (artigo)
-   [Latência de LLM: TTFT, tokens por segundo e tempo de ponta a ponta](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-throughput&utm_content=page-cta) ·

**Fontes**

-   [NVIDIA NIM, métricas de benchmark de LLM (TPS total por sistema, TPS por usuário, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon et al., PagedAttention e vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Referência da API da BroadNet Inference, limites (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-throughput&utm_content=sources#limits)
-   [Planos da BroadNet Inference (velocidade típica, uma requisição por sessão) (em inglês)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-throughput&utm_content=sources)
