---
title: "O que é time to first token (TTFT) em APIs de LLM? | BroadRouter"
description: "Time to first token (TTFT) é a espera entre enviar uma requisição a um LLM e receber o primeiro token de saída. Do que ele é feito: fila, prefill e rede."
url: https://broadrouter.com/pt/glossary/time-to-first-token/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/time-to-first-token/) (atualizado em 2026-11-16).

# Time to first token (TTFT)

Atualizado em 2026-11-16

Time to first token (TTFT) é o tempo entre o envio de uma requisição a um modelo de linguagem e a chegada do primeiro token de saída. Inclui o tempo de rede, a fila no servidor e o prefill, etapa em que o modelo lê o prompt inteiro, então cresce com o tamanho do prompt e a carga.

Também chamado de: TTFT, tempo até o primeiro token, latência do primeiro token, tempo para o primeiro token, first-token latency, time to first content token, first token time

O TTFT é a pausa antes de qualquer coisa acontecer. Numa janela de chat, é a tela em branco; num bot de voz, é o silêncio na linha.

## Como funciona

O guia de benchmarking da NVIDIA divide o TTFT em três partes: “request queuing time, prefill time, and network latency” (tradução: tempo de fila da requisição, tempo de prefill e latência de rede). Cada uma tem a sua causa:

| Parte | O que influencia | O que você pode mudar |
| --- | --- | --- |
| Rede | Distância, handshake TLS, proxies | Reaproveite conexões; chame de uma região próxima |
| Fila | O quanto o servidor está ocupado | Horários de menor movimento, um modelo ou tier menos carregado |
| Prefill | Tamanho do prompt, tamanho do modelo | Prompts mais curtos, prefixos estáveis que podem ir para o cache |

Com entradas longas, o prefill costuma ser a maior parte. O modelo passa o prompt inteiro por todas as camadas para montar o [KV cache](https://broadrouter.com/pt/glossary/kv-cache/) antes de produzir o primeiro token. A NVIDIA observa que, em um servidor ocupado, o prefill de uma requisição pode se sobrepor à geração de outra, então o TTFT também varia com o tráfego dos outros.

Duas definições importam na hora de ler os números. O AIPerf da NVIDIA só conta o primeiro token se ele tiver conteúdo. Para texto em streaming na Responses API, o guia da OpenAI mede o TTFT “until you receive the first nonempty response.output\_text.delta” (tradução: até você receber o primeiro response.output\_text.delta não vazio). Com [tokens de raciocínio](https://broadrouter.com/pt/glossary/reasoning-tokens/), a primeira palavra visível pode chegar bem depois do primeiro token gerado, então deixe claro de qual dos dois você está falando.

## Por que isso importa

O TTFT define o quanto um produto parece rápido, mais do que a velocidade bruta. O guia da OpenAI diz que “a long prompt can delay the first token, especially when much of the input is new” (tradução: um prompt longo pode atrasar o primeiro token, principalmente quando boa parte da entrada é nova). É aí que os [tokens de entrada em cache](https://broadrouter.com/pt/glossary/cached-input-tokens/) ajudam. O mesmo guia diz que o prompt caching “can reuse an eligible exact prefix match” (tradução: pode reaproveitar um prefixo idêntico elegível) e sugere comparar o TTFT com e sem acertos de cache. Um prefixo em cache pula parte do prefill, então um system prompt repetido custa menos e pode começar antes.

Para agentes, o TTFT é pago a cada passo. Vinte chamadas de ferramenta com TTFT de dois segundos somam quarenta segundos de espera antes de contar qualquer saída.

O TTFT é uma parte da [latência](https://broadrouter.com/pt/glossary/latency/) de ponta a ponta. O resto é o tempo de geração, definido pelos [tokens por segundo](https://broadrouter.com/pt/glossary/tokens-per-second/).

## Na BroadNet Inference

A documentação da BroadNet descreve o [streaming](https://broadrouter.com/pt/glossary/streaming/) com Server-Sent Events, terminando com `data: [DONE]`, que é como você observa o primeiro token no cliente. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, então o tempo até o primeiro texto visível inclui o raciocínio. A BroadNet não publica um número de TTFT. Para um script de medição e relatórios p50/p95, veja [latência de LLM: TTFT vs tokens por segundo](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/).

## Perguntas frequentes

### Por que o TTFT fica lento com um prompt longo?

O modelo precisa ler cada token do prompt e montar o KV cache antes de conseguir escrever qualquer coisa. O guia de métricas da NVIDIA diz que prompts mais longos aumentam o TTFT exatamente por isso.

### O streaming reduz o time to first token?

Não. O streaming permite ver o primeiro token assim que ele existe; sem streaming, você espera a resposta inteira. O trabalho do servidor antes desse token é o mesmo nos dois casos.

### Um primeiro chunk vazio conta como primeiro token?

Na maioria dos benchmarks, não. O AIPerf da NVIDIA ignora respostas iniciais sem conteúdo, e a OpenAI mede o TTFT até o primeiro delta de texto não vazio.

## Veja também

-   [Latência (latency)](https://broadrouter.com/pt/glossary/latency/) (termo)
-   [Tokens por segundo (tokens per second)](https://broadrouter.com/pt/glossary/tokens-per-second/) (termo)
-   [KV cache (cache de chave-valor)](https://broadrouter.com/pt/glossary/kv-cache/) (termo)
-   [Streaming](https://broadrouter.com/pt/glossary/streaming/) (termo)
-   [Tokens de entrada em cache (cached input)](https://broadrouter.com/pt/glossary/cached-input-tokens/) (termo)
-   [Speculative decoding (decodificação especulativa)](https://broadrouter.com/pt/glossary/speculative-decoding/) (termo)
-   [Prefill e decode](https://broadrouter.com/pt/glossary/prefill-and-decode/) (termo)
-   [Streaming de chat completions e conexões que caem](https://broadrouter.com/pt/guides/streaming-chat-completions/) (guia)
-   [Por que um modelo de raciocínio devolve uma resposta vazia](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/) (guia)
-   [Latência de LLM: TTFT, tokens por segundo e tempo de ponta a ponta](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/) (artigo)
-   [Streaming de LLM explicado: chunks SSE, deltas, usage e cancelamento](https://broadrouter.com/pt/blog/llm-streaming-sse-explained/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-time-to-first-token&utm_content=page-cta) ·

**Fontes**

-   [NVIDIA NIM, métricas de benchmark de LLM (time to first token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, guia de otimização de latência](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Referência da API da BroadNet Inference, streaming e raciocínio (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-time-to-first-token&utm_content=sources)
