---
title: "LLM レイテンシとは：TTFT・トークン/秒・応答時間 | BroadRouter"
description: "最初のトークンまでの時間（TTFT）、1 秒あたりのトークン数、エンドツーエンドのレイテンシがそれぞれ何を測るのか、クライアント側での計測コード、どの改善策がどの数字に効くのかを解説します。"
url: https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/llm-latency-ttft-throughput/)（2026-11-16 更新）。

# LLM のレイテンシ：TTFT、トークン/秒、エンドツーエンドの違い

BroadNet Inference チーム · 約 4 分で読めます · 公開日 2026-11-14 · 更新日 2026-11-16

TTFT（最初のトークンまでの時間）は最初の出力トークンまでの待ち時間、トークン/秒はその後のストリーミング速度、エンドツーエンドのレイテンシは合計で、TTFT ＋ 生成時間（≈ 出力 ÷ 速度）です。TTFT はプロンプト長と待ち行列、速度はモデル規模と負荷、合計は回答の長さで決まります。3 つとも p50 と p95 で計測してください。

## 要点

-   エンドツーエンドのレイテンシ ≈ TTFT +（出力トークン数 − 1）× トークン間レイテンシ、つまり約 TTFT + 出力トークン数 ÷ ユーザーあたりのトークン/秒。長い回答では速度と長さが、短い回答では TTFT が支配的です。
-   推論（reasoning）モデルでは、最初に見えるトークンは思考の後に来ます。最初のコンテンツトークンまでの時間を、最初のトークンまでの時間とは別に計測してください。
-   長いプロンプトは TTFT を押し上げます。モデルが先にプロンプト全体を読むためです。キャッシュされたプレフィックスはたいてい効果があります。
-   毎秒約 100 トークン の場合、生成時間は回答の長さに比例して増えます。出力トークンが 10 倍なら、ストリーミングにも約 10 倍の時間がかかります。
-   p50 と p95 はプロンプト長と一緒に報告してください。プロンプトのサイズを示さない平均値は比較できません。

**このページの内容**

1.  TTFT、トークン/秒、エンドツーエンドのレイテンシとは何ですか？
2.  推論モデルでは、なぜ 4 つ目の数字が必要なのですか？
3.  クライアント側でレイテンシを計測するには？
4.  それぞれの数字を実際に改善するものは何ですか？
5.  プロンプトの長さはトレードオフをどう変えますか？
6.  BroadNet Inference が向いている用途

「API が遅い」には 3 つの異なる意味があり、それぞれ対処法が違います。チャットのユーザーは最初の 1 語を待ちます。エージェントはツール呼び出し全体の完了を待ちます。バッチジョブが気にするのは 1 時間あたりのトークン数です。この記事では 3 つの数字を定義し、自分のコードから計測する方法を示し、それぞれの改善策が実際にどの数字を動かすのかを整理します。

## TTFT、トークン/秒、エンドツーエンドのレイテンシとは何ですか？

NVIDIA のベンチマークガイドには明快な定義があり、クライアント側で観測できる内容とも一致します。

| 指標 | 測るもの | 体感する人 | 主な要因 |
| --- | --- | --- | --- |
| [最初のトークンまでの時間](https://broadrouter.com/ja/glossary/time-to-first-token/)（TTFT） | リクエスト送信 → 最初のトークン受信 | チャットのユーザー | ネットワーク、待ち行列、プロンプト長（prefill）、キャッシュヒット |
| トークン間レイテンシ（ITL） | トークン間の平均間隔 | ストリーミングされる回答を読む人 | モデルの規模、ハードウェア、サーバーの負荷 |
| ユーザーあたりの[トークン/秒](https://broadrouter.com/ja/glossary/tokens-per-second/) | 最初のトークン以降の出力トークン数 ÷ 生成時間（最初のトークンから最後のトークンまで）。平均 ITL の逆数（1 ÷ ITL）に等しい | 読む人、エージェント | ITL と同じ |
| エンドツーエンドのレイテンシ | リクエスト送信 → 最後のトークン受信 | エージェント、API、バッチ | TTFT + 生成時間 |

これらを結び付ける式は次のとおりです。

**エンドツーエンド ≈ TTFT +（出力トークン数 − 1）× ITL ≈ TTFT + 出力トークン数 ÷ ユーザーあたりのトークン/秒**

ユーザーあたりの速度は、サーバーの[スループット](https://broadrouter.com/ja/glossary/throughput/)（全ユーザー分としてサーバーが生成するトークンの合計）とは別物です。プロバイダーが一方を上げると、もう一方が下がることもあります。

BroadNet がプランのモデルについて公表している標準的な速度 毎秒約 100 トークン で考えてみます。生成時間は回答の長さに比例するため、4,000 トークンのコードファイルは 50 トークンの分類の約 80 倍の生成時間がかかり、TTFT はどちらも同じです。短い回答では待ち時間の大半が TTFT であり、長い回答では速度と長さが効いてきます。

## 推論モデルでは、なぜ 4 つ目の数字が必要なのですか？

[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) のような推論（reasoning）モデルは、回答する前に考えます。その思考も出力トークンです。モデルが 毎秒約 100 トークン で 800 トークン分考えると、通信上の TTFT が速く見えても、ユーザーは最初に見える文字の前に、その 800 トークンがすべて生成されるのを待つことになります。そのため、**最初のコンテンツトークンまでの時間**を別に計測してください。BroadNet Inference では、`reasoning_effort: "low"` で単純なステップの思考を短くできます。トレードオフは[推論のガイド](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)で説明しています。

## クライアント側でレイテンシを計測するには？

ユーザーがいる場所で、[ストリーミング](https://broadrouter.com/ja/glossary/streaming/)を有効にして計測します。サーバー側のタイマーでは、ネットワークや途中のプロキシの時間が抜け落ちます。

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

公正なベンチマークのための 5 つのルール：

1.  **プロンプト長を固定し**、その値を報告します。プロンプト 500 トークンと 200,000 トークンでは、TTFT はまったく別の数字です。[トークンカウンター](https://broadrouter.com/tools/token-counter/)を使えば、送信前にテスト用プロンプトの長さが分かります。
2.  `max_tokens` と、それを使い切るプロンプトで**出力の長さを固定し**、トークン/秒を比較できるようにします。
3.  平均ではなく **p50 と p95 を報告します。** ユーザーの記憶に残るのはテールレイテンシです。
4.  **計測を時間的に分散させます。** 負荷は 1 日のなかで変わります。
5.  **先にウォームアップします。** 最初の呼び出しには DNS、TLS、接続確立のコストがかかります。クライアントは 1 つを使い回してください。

## それぞれの数字を実際に改善するものは何ですか？

| 改善したいもの | 対策 | 理由 |
| --- | --- | --- |
| TTFT | プロンプトのプレフィックスを短くするかキャッシュする | prefill の時間はプロンプト長に比例して増え、キャッシュされたプレフィックスは処理を省略できる |
| TTFT | 接続をウォームに保ち、近いリージョンを使う | 接続確立と往復の時間がなくなる |
| 最初のコンテンツトークンまでの時間 | 推論の強度を下げるか、単純なステップには非推論モデルを使う | 回答前の隠れた思考が減る |
| トークン/秒 | そのステップに小さいモデルや速いモデルを使う | デコード速度はモデルの規模と提供方法で決まる |
| エンドツーエンド | 短い出力を求める（スキーマ、文字数制限） | 出力の長さが ITL に掛け算で効く |
| 多数の呼び出しのエンドツーエンド | 独立した呼び出しを[同時実行数](https://broadrouter.com/ja/glossary/concurrency/)の上限内で並列に実行する | 個々の呼び出しは同じでも、全体の経過時間が短くなる |
| 体感のレイテンシ | ユーザーにストリーミングする | モデルが書いている間に読める |

出力の長さは、最も過小評価されている手段です。「回答を説明して」ではなく「この 4 つのフィールドを持つ JSON で」と頼むだけで、インフラに手を入れずに生成時間を 1 桁短縮できることがあります。ここでは[構造化出力](https://broadrouter.com/ja/glossary/structured-output/)が役立ちます。

キャッシュについては[キャッシュを効かせるプロンプト構成](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)で解説しています。並列化はすぐにレート制限にぶつかります。[429 エラーへの対処](https://broadrouter.com/ja/blog/handle-llm-api-429-rate-limits/)を参照してください。

## プロンプトの長さはトレードオフをどう変えますか？

TTFT はプロンプトが長いほど伸びます。モデルは書き始める前に、すべての入力トークンを処理しなければならないからです。これが非常に長いプロンプトの隠れたコストであり、[ロングコンテキストか RAG か](https://broadrouter.com/ja/blog/long-context-vs-rag/)を判断する材料の 1 つです。100 万トークンのプロンプトは RAG では答えられない質問に答えられますが、応答の開始は遅くなります。対話の速さが重要なら、よく通る経路は短く保ち、質問が必要とするときだけ大きなコンテキストを送ってください。

## BroadNet Inference が向いている用途

BroadNet はプランのモデルについて標準的な速度 毎秒約 100 トークン を公表しており、ストリーミングは標準の SSE 形式なので、上のコードはそのまま動きます。TTFT の数字やレイテンシの SLA は公表していないため、決める前に自分のプロンプトで計測してください。$1 の [Meteor 1 時間](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-latency-ttft-throughput&utm_content=body)で 50 回のベンチマークには十分ですし、スタートクレジットでも Gemma 4 VL 26B で 1 回分をまかなえます。大規模にサブ秒のレイテンシを保証する必要があるなら、慎重にテストしてください。従量課金キーの同時実行は 4 リクエストまでで、大量のリアルタイム配信よりもアプリやエージェントに向いています。モデルと料金は[モデル](https://broadrouter.com/ja/models/)と[料金](https://broadrouter.com/ja/pricing/)のページにあります。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[TTFT（最初のトークンまでの時間）](https://broadrouter.com/ja/glossary/time-to-first-token/)

TTFT（最初のトークンまでの時間）とは、言語モデルにリクエストを送ってから最初の出力トークンが届くまでの時間です。ネットワーク、サーバーでの待ち行列、モデルがプロンプト全体を読むプリフィルを含むため、プロンプトの長さと負荷に応じて伸びます。

[トークン毎秒（TPS、tokens per second）](https://broadrouter.com/ja/glossary/tokens-per-second/)

トークン毎秒（TPS）とは、言語モデルが出力トークンを生成する速さで、通常は 1 リクエストの最初のトークン以降で測ります。応答が流れる速さを決め、全同時リクエストの合計がシステムのスループットです。最初のトークンまでの待ち時間は別に測ります。

[入力トークンと出力トークン（input and output tokens）](https://broadrouter.com/ja/glossary/input-and-output-tokens/)

入力トークンとは、モデルがリクエストで読むトークンで、システムプロンプト、会話履歴、ツール定義、画像を含みます。出力トークンは、推論を含めモデルが返答として生成するトークンです。LLM API は通常この 2 つを別の単価で課金し、出力のほうが高額です。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

[ストリーミング（streaming）](https://broadrouter.com/ja/glossary/streaming/)

ストリーミングとは、言語モデルの応答を最後にまとめて返すのではなく、生成中に小さなチャンクに分けて返す方式です。OpenAI 互換 API では、リクエストで stream を true にすると Server-Sent Events（SSE）でストリーミングされます。

[プリフィルとデコード（prefill and decode）](https://broadrouter.com/ja/glossary/prefill-and-decode/)

プリフィルとデコードは LLM 推論の 2 つのフェーズです。プリフィルではプロンプト全体を並列に処理して KV キャッシュを埋め、デコードではそのキャッシュを使って 1 トークンずつ生成します。前者は主に初回トークンまでの時間、後者は出力速度を決めます。

## よくある質問

### LLM API の TTFT はどれくらいなら良いと言えますか？

チャットなら、短いプロンプトで約 1 秒未満であれば応答が速いと感じられます。長いプロンプトや推論モデルは、仕組み上もっと時間がかかります。TTFT は、同じプロンプト長・同じモデルの条件でのみ比較してください。

### トークン/秒とスループットは同じですか？

厳密には違います。ユーザーあたりのトークン/秒は、1 つの回答がストリーミングされる速さです。スループットは、サーバーが全ユーザー分として生成するトークンの合計です。プロバイダーが全体のスループットを上げる一方で、各ユーザーの速度が下がることもあります。

### 推論モデルの TTFT が長いのはなぜですか？

モデルは目に見える回答の前に、隠れた推論トークンを生成します。最初のトークン自体はすぐ届いても、最初のコンテンツトークンは思考が終わるまで待たされます。単純なタスクでは reasoning\_effort を下げてください。

### ストリーミングでレイテンシは短くなりますか？

エンドツーエンドの時間は短くなりません。ただし、回答が書かれている途中から読めるようになるので、体感のレイテンシはおおよそ TTFT まで下がります。

### 信頼できるレイテンシのベンチマークには、何件のリクエストが必要ですか？

テール（裾）が見える程度の件数です。プロンプトのサイズごとに 50〜100 件あれば、使える p95 が得られます。負荷は時間帯で変わるので、1 日のなかで分散させてください。

## 続けて読む

-   [LLM のストリーミング解説：SSE のチャンク、delta、usage、キャンセル](https://broadrouter.com/ja/blog/llm-streaming-sse-explained/)
-   [プレフィックスがキャッシュされるプロンプトの組み立て方](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)
-   [ロングコンテキストか RAG か：100 万トークンがベクトル DB に代わるとき](https://broadrouter.com/ja/blog/long-context-vs-rag/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：chat completions のストリーミングと接続切断への対処](https://broadrouter.com/ja/guides/streaming-chat-completions/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**出典**

-   [NVIDIA NIM ベンチマークガイド：LLM のレイテンシとスループットの指標（2026-11-14 取得）](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [BroadNet Inference のプラン：標準的な速度（2026-11-15 確認）（英語）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [BroadNet Inference API リファレンス：ストリーミングと推論（2026-11-15 確認）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering：レイテンシとスループットの計測（2026-11-16 確認）](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
