BroadRouter

TTFT(最初のトークンまでの時間)

更新日

TTFT(最初のトークンまでの時間)とは、言語モデルにリクエストを送ってから最初の出力トークンが届くまでの時間です。ネットワーク、サーバーでの待ち行列、モデルがプロンプト全体を読むプリフィルを含むため、プロンプトの長さと負荷に応じて伸びます。

別名: 最初のトークンまでの時間、初回トークンまでの時間、ファーストトークンレイテンシ、初回応答時間、TTFT、time to first token、first-token latency、time to first content token、first token time

TTFT は、何かが起きる前の間(ま)です。チャット画面なら真っ白な画面、音声ボットなら無音の時間です。

しくみ

NVIDIA のベンチマークのガイドは、TTFT を「request queuing time, prefill time, and network latency.」(訳:リクエストの待ち行列の時間、プリフィルの時間、ネットワークのレイテンシ)の 3 つに分けています。それぞれ原因が異なります。

要素 決める要因 変えられること
ネットワーク 距離、TLS の確立、プロキシ 接続を再利用する。近いリージョンから呼ぶ
待ち行列 サーバーの混雑具合 時間帯をずらす。負荷の低いモデルや区分を使う
プリフィル プロンプトの長さ、モデルの大きさ プロンプトを短くする。キャッシュできる安定したプレフィックスにする

長い入力では、たいていプリフィルが最も大きな要素です。モデルは最初のトークンを出す前に、プロンプト全体をすべての層に通して KV キャッシュを作ります。NVIDIA によると、混雑したサーバーでは、あるリクエストのプリフィルが別のリクエストの生成と重なることがあるので、TTFT はほかの人のトラフィックにも左右されます。

数値を読むときは、2 つの定義に注意してください。NVIDIA の AIPerf は、内容を含む場合にだけ最初のトークンとして数えます。Responses API のストリーミングテキストについて、OpenAI のガイドは TTFT を「until you receive the first nonempty response.output_text.delta」(訳:空でない最初の response.output_text.delta を受け取るまで)で計測します。推論トークンがある場合、最初に見える言葉は、最初に生成されたトークンよりずっと後になることがあるので、どちらを指すのかを明確にしてください。

なぜ重要か

製品の体感速度を決めるのは、生の速度よりも TTFT です。OpenAI のガイドは「a long prompt can delay the first token, especially when much of the input is new」(訳:長いプロンプトは、特に入力の多くが新しい場合、最初のトークンを遅らせる)と述べています。キャッシュされた入力トークンが効くのはこの点です。同じガイドは、プロンプトキャッシュは「can reuse an eligible exact prefix match」(訳:条件を満たす完全一致のプレフィックスを再利用できる)と述べ、キャッシュヒットの有無で TTFT を比べることを勧めています。キャッシュされたプレフィックスはプリフィルの一部を省くので、繰り返し送るシステムプロンプトは安くなるうえ、早く始められることがあります。

エージェントでは、ステップごとに TTFT がかかります。TTFT が 2 秒のツール呼び出しが 20 回あれば、出力を数える前に 40 秒の待ち時間が加わります。

TTFT はエンドツーエンドのレイテンシの一部です。残りは生成時間で、1 秒あたりのトークン数で決まります。

BroadNet Inference の場合

BroadNet のドキュメントは、Server-Sent Events を使い data: [DONE] で終わるストリーミングを説明しており、クライアントで最初のトークンを観測するにはこれを使います。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論するので、最初に見えるテキストまでの時間には推論が含まれます。BroadNet は TTFT の数値を公表していません。計測用のスクリプトと p50/p95 の報告方法は、LLM のレイテンシ:TTFT とトークン/秒を参照してください。

よくある質問

プロンプトが長いと TTFT が遅くなるのはなぜですか?

モデルは何かを書き始める前に、プロンプトのトークンをすべて読んで KV キャッシュを作る必要があります。NVIDIA の指標ガイドも、まさにこの理由でプロンプトが長いほど TTFT が増えるとしています。

ストリーミングで最初のトークンまでの時間は短くなりますか?

いいえ。ストリーミングでは、最初のトークンができた時点ですぐ見えるようになります。ストリーミングしなければ、応答全体を待つことになります。そのトークンまでのサーバー側の処理は、どちらでも同じです。

空の最初のチャンクは最初のトークンに数えますか?

多くのベンチマークでは数えません。NVIDIA の AIPerf は内容のない最初の応答を無視し、OpenAI は空でない最初のテキストのデルタまでを TTFT として計測します。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く