---
title: "O que é concorrência em APIs de LLM? Requisições simultâneas"
description: "Concorrência é quantas requisições rodam ao mesmo tempo. Por que APIs de LLM a limitam, a relação com rate limit e latência e como dimensionar workers e agentes."
url: https://broadrouter.com/pt/glossary/concurrency/
lang: pt-BR
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/concurrency/) (atualizado em 2026-11-14).

# Concorrência (concurrency)

Atualizado em 2026-11-14

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

Também chamado de: concorrência, requisições simultâneas, requisições em paralelo, requisições concorrentes, limite de concorrência, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate limits contam requisições ao longo do tempo. A concorrência conta requisições em um único instante. Requisições de LLM podem levar muitos segundos, então muitas vezes é o segundo limite que aperta primeiro.

## Como funciona

A lei de Little liga os três números:

`requests in flight = request rate × average time per request`

Ou seja: requisições em andamento = taxa de requisições × tempo médio por requisição. Pense em uma chave hipotética que permite 5 requisições em andamento e 60 requisições por minuto, em que cada requisição leva 20 segundos. O teto de concorrência permite no máximo 5 ÷ 20 = 0,25 requisição por segundo, ou 15 por minuto. Você nunca chega a 60 por minuto, porque o limite que manda é a concorrência. Com requisições de 2 segundos, o mesmo teto permite 150 por minuto, e aí quem manda é o rate limit. A [calculadora de rate limit](https://broadrouter.com/tools/llm-rate-limit-calculator/) faz essa conta com os seus números.

Saídas longas, [tokens de raciocínio](https://broadrouter.com/pt/glossary/reasoning-tokens/) e prompts longos deixam as requisições mais demoradas, então consomem concorrência mais rápido. Uma resposta em [streaming](https://broadrouter.com/pt/glossary/streaming/) ocupa a vaga até terminar.

## Por que isso importa

Os provedores limitam a concorrência porque a memória e o processamento das GPUs são compartilhados. Os benchmarks da NVIDIA mostram que, quando a concorrência em um servidor aumenta, a saída total sobe enquanto os [tokens por segundo](https://broadrouter.com/pt/glossary/tokens-per-second/) de cada requisição caem. Um teto por chave impede que um cliente deixe todos os outros mais lentos.

Para o seu app, a concorrência define o tamanho dos pools de workers e quantos agentes podem rodar lado a lado. Dimensione o pool pelo teto, não acima dele, ou os workers extras só vão colecionar erros 429.

## Na BroadNet Inference

| Acesso | Concorrência |
| --- | --- |
| Chave de pagamento por uso | 4 requisições em andamento, mais 30 requisições por minuto |
| Chave por hora | Um stream |
| Plano ilimitado | Uma requisição por vez por sessão |

Os planos vendem concorrência diretamente. Uma sessão não tem medidor de tokens e roda uma requisição por vez, do jeito que um agente trabalha. Requisições na mesma sessão entram em fila uma atrás da outra. Para rodar agentes em paralelo, compre uma sessão por agente: um orquestrador mais três subagentes precisam de quatro sessões. Uma chave pode ter várias sessões.

Leia [como funcionam as sessões ilimitadas](https://broadrouter.com/pt/guides/unlimited-llm-api-sessions/) e [como rodar agentes de código em paralelo com preço fixo](https://broadrouter.com/pt/blog/run-parallel-coding-agents-flat-rate/). Agentes passam boa parte do tempo executando tools, então meça a sobreposição real antes de comprar mais sessões.

## Erros comuns

-   Iniciar um worker por tarefa sem pool. Um lote de 100 tarefas vira 100 requisições de uma vez.
-   Definir timeouts no cliente menores que uma resposta longa de raciocínio. O cliente desiste enquanto a vaga continua ocupada.

## Perguntas frequentes

### O que acontece quando passo do limite de concorrência?

Depende do provedor. A requisição extra é recusada, muitas vezes com um 429, ou espera em uma fila até uma vaga ser liberada.

### O streaming ocupa uma vaga de concorrência?

Sim. Uma resposta em streaming ocupa a vaga até o último chunk chegar, então saídas longas mantêm a vaga ocupada por mais tempo.

### De quantas requisições simultâneas um agente de IA para código precisa?

Normalmente um agente precisa de uma, porque espera cada resposta antes do próximo passo. Um orquestrador com três subagentes rodando ao mesmo tempo precisa de até quatro. Quatro se o orquestrador envia requisições enquanto eles rodam, e três se ele espera por eles.

## Veja também

-   [Rate limit (limite de taxa)](https://broadrouter.com/pt/glossary/rate-limit/) (termo)
-   [Tokens por segundo (tokens per second)](https://broadrouter.com/pt/glossary/tokens-per-second/) (termo)
-   [Streaming](https://broadrouter.com/pt/glossary/streaming/) (termo)
-   [Plano de LLM com preço fixo (flat-rate)](https://broadrouter.com/pt/glossary/flat-rate-llm-plan/) (termo)
-   [Throughput (vazão)](https://broadrouter.com/pt/glossary/throughput/) (termo)
-   [Latência (latency)](https://broadrouter.com/pt/glossary/latency/) (termo)
-   [Agente de IA (AI agent)](https://broadrouter.com/pt/glossary/agent/) (termo)
-   [Como funcionam os planos de API de LLM ilimitada para agentes](https://broadrouter.com/pt/guides/unlimited-llm-api-sessions/) (guia)
-   [Códigos de erro da BroadNet Inference e quando tentar de novo](https://broadrouter.com/pt/guides/errors-and-retries/) (guia)
-   [Como rodar agentes de código em paralelo numa API de LLM de preço fixo](https://broadrouter.com/pt/blog/run-parallel-coding-agents-flat-rate/) (artigo)
-   [O que "ilimitado" significa de verdade em um plano de API de LLM](https://broadrouter.com/pt/blog/what-unlimited-llm-api-really-means/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-concurrency&utm_content=page-cta) ·

**Fontes**

-   [Lei de Little (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, métricas de benchmark de LLM (concorrência e throughput)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Referência da API da BroadNet Inference, limites (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-concurrency&utm_content=sources#limits)
-   [Planos da BroadNet Inference (sessões) (em inglês)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-concurrency&utm_content=sources)
