A velocidade tem duas partes: quanto tempo até aparecer alguma coisa e com que rapidez o texto flui depois disso. Tokens por segundo medem a segunda parte.
Como funciona
A documentação de benchmark da NVIDIA define as métricas relacionadas:
- Time to first token (TTFT): do envio da requisição até o recebimento do primeiro token. Cresce com o tamanho do prompt.
- Inter-token latency (ITL): o intervalo médio entre tokens de saída.
- TPS por usuário: os tokens de saída de uma requisição divididos pelo seu tempo de ponta a ponta, então, na definição da NVIDIA, inclui o TTFT. Muitos dashboards mostram, em vez disso, a velocidade de decodificação depois do primeiro token, como faz esta página.
- TPS do sistema: o total de tokens de saída em todas as requisições simultâneas, também chamado de throughput.
As duas métricas puxam em direções opostas. A NVIDIA observa que, quando a concorrência aumenta, o TPS do sistema sobe enquanto o TPS por usuário cai. O número de marketing de um provedor e a velocidade da sua requisição podem ser ambos honestos e, mesmo assim, diferentes.
Uma estimativa rápida para uma resposta:
total time ≈ TTFT + output tokens ÷ tokens per second
Ou seja: tempo total ≈ TTFT + tokens de saída ÷ tokens por segundo. Pense, como ilustração, em um stream de 50 tokens por segundo: uma resposta de 1.000 tokens leva cerca de 20 segundos depois do primeiro token. Se o modelo também escrever 2.000 tokens de raciocínio, some cerca de 40 segundos antes de a resposta começar. O time to first token vem por cima disso.
Por que isso importa
- Experiência do usuário. O streaming mostra o texto conforme chega, então TTFT e TPS decidem quão rápida a resposta parece.
- Throughput de agentes. Um agente de código espera cada resposta antes do próximo passo. Saída mais rápida significa mais passos por hora.
- Limites dos planos. Em um plano sem medidor de tokens, a velocidade vira o teto real de quantos tokens você consegue usar.
Na BroadNet Inference
A página de planos da BroadNet informa uma velocidade típica de cerca de 100 tokens por segundo para o DeepSeek V4.1 Flash. Uma sessão dos planos ilimitados roda uma requisição por vez, então, nessa velocidade, uma sessão gerando sem parar por 30 dias produziria cerca de 259 milhões de tokens de saída. Agentes reais passam tempo lendo, executando tools e esperando, então o número prático é menor.
Para ter mais throughput total em um plano, adicione sessões: uma por agente trabalhando em paralelo. Veja como funcionam as sessões ilimitadas e como rodar agentes de código em paralelo.
Erros comuns
- Comparar provedores com uma única requisição. Meça TTFT e TPS em muitas requisições, com os tamanhos de prompt que você usa de verdade.
- Esquecer o tempo de raciocínio ao definir timeouts no cliente.