A latência é o número que o usuário sente. É também o que mais surpreende as equipes quando elas passam de uma demo para a produção.
Como funciona
O guia de métricas da NVIDIA traz a fórmula básica para uma requisição:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
O time to first token cobre rede, fila e leitura do prompt. O tempo de geração (generation_time) é tudo o que vem depois do primeiro token: (tokens de saída − 1) × latência entre tokens (ITL), ou aproximadamente tokens de saída × ITL em uma resposta longa. A latência de ponta a ponta (e2e_latency), diz a NVIDIA, “includes queueing, batching, and network latency” (tradução: inclui fila, batching e latência de rede).
Um exemplo com números redondos: suponha que um modelo transmita 50 tokens de saída por segundo. Uma resposta de 600 tokens leva 600 ÷ 50 = 12 segundos para ser gerada. Some um segundo de TTFT e a requisição leva cerca de 13 segundos. Corte a resposta pela metade e você economiza 6 segundos; corte o TTFT pela metade e economiza meio segundo. Aqui, o tamanho da saída domina.
Em uma aplicação, uma requisição raramente está sozinha. A latência na tela do usuário também inclui novas tentativas depois de erros, espera por uma vaga de concorrência, chamadas de ferramenta entre turnos do modelo e o seu próprio código.
Por que isso importa
O guia de latência da OpenAI lista sete princípios: processar tokens mais rápido, gerar menos tokens, usar menos tokens de entrada, fazer menos requisições, paralelizar, fazer o usuário esperar menos e não usar um LLM por padrão. A maioria deles é decisão de design, não de provedor.
Informe percentis. Um p50 de 4 segundos com um p95 de 30 segundos significa que um em cada vinte usuários espera meio minuto ou mais. Médias escondem essa cauda, e é ela que define os timeouts.
Latência e throughput puxam para lados opostos. A NVIDIA observa que, à medida que aumentam as requisições simultâneas, o total de tokens por segundo do sistema sobe enquanto os tokens por segundo de cada usuário caem. Um provedor movimentado pode atender mais gente e, mesmo assim, parecer mais lento para cada um.
Na BroadNet Inference
A página de planos da BroadNet informa uma velocidade típica de cerca de 100 tokens por segundo. A documentação não publica números de TTFT nem percentis de latência. Uma chave de pagamento por uso permite 4 requisições em andamento; a documentação lista um limite de concorrência entre as causas do HTTP 429, e cada nova tentativa depois de um 429 soma latência do seu lado. Execuções longas de agentes devem ter timeouts e novas tentativas limitadas; veja timeouts e novas tentativas para agentes de longa duração. Para medir cada parte no cliente, veja o guia de latência de LLM.