---
title: "LLM のレイテンシとは？エンドツーエンドの応答時間を解説 | BroadRouter"
description: "LLM のレイテンシは、プロンプトを送ってから最後のトークンを受け取るまでにかかる時間です。構成要素（TTFT、トークン間レイテンシ）、パーセンタイル、影響する要因を解説します。"
url: https://broadrouter.com/ja/glossary/latency/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/latency/) (2026-11-16 更新).

# レイテンシ（latency）

更新日 2026-11-16

LLM API のレイテンシとは、リクエストを送ってから最後の出力トークンを受け取るまでの時間です。最初のトークンまでの時間（TTFT）と生成時間の合計で、平均ではなく p50 や p95 などのパーセンタイルで示すのが一般的です。

別名： 応答時間、レスポンスタイム、遅延、エンドツーエンドのレイテンシ、トークン間レイテンシ、latency、LLM latency、end-to-end latency、response time、e2e latency、inter-token latency

レイテンシはユーザーが体感する数字です。そして、デモから本番に移るチームが最もよく驚かされる数字でもあります。

## しくみ

NVIDIA の指標ガイドは、1 つのリクエストについて基本の式を示しています。

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

つまり、エンドツーエンドのレイテンシ ＝ TTFT ＋ 生成時間、トークン間レイテンシ（ITL）＝（エンドツーエンドのレイテンシ − TTFT）÷（出力トークン数 − 1）です。

[最初のトークンまでの時間（TTFT）](https://broadrouter.com/ja/glossary/time-to-first-token/)には、ネットワーク、待ち行列、プロンプトの読み込みが含まれます。生成時間は最初のトークン以降のすべてで、（出力トークン数 − 1）× トークン間レイテンシ（ITL）、長い応答ならおおよそ出力トークン数 × ITL です。NVIDIA によると、エンドツーエンドのレイテンシは「includes queueing, batching, and network latency.」（訳：待ち行列、バッチ処理、ネットワークのレイテンシを含む）ものです。

きりのいい数字で例を示します。モデルが 1 秒に 50 個の出力トークンをストリーミングするとします。600 トークンの応答の生成には 600 ÷ 50 = 12 秒かかります。TTFT の 1 秒を足すと、リクエスト全体で約 13 秒です。応答を半分にすれば 6 秒短くなり、TTFT を半分にしても短くなるのは 0.5 秒です。この場合、支配的なのは出力の長さです。

アプリケーションでは、リクエストが単独で動くことはまれです。ユーザーの画面でのレイテンシには、エラー後のリトライ、[同時実行数](https://broadrouter.com/ja/glossary/concurrency/)の空きを待つ時間、モデルのターン間のツール呼び出し、自分のコードの処理時間も加わります。

## なぜ重要か

OpenAI のレイテンシのガイドは 7 つの原則を挙げています。トークンを速く処理する、生成するトークンを減らす、入力トークンを減らす、リクエストを減らす、並列化する、ユーザーの待ち時間を減らす、何でも LLM に頼らない、の 7 つです。その多くはプロバイダーの選択ではなく、設計上の選択です。

パーセンタイルで報告してください。p50 が 4 秒で p95 が 30 秒なら、ユーザーの 20 人に 1 人は 30 秒以上待つことになります。平均ではこのロングテールが見えず、タイムアウトの設定はまさにそのテールで決まります。

レイテンシと[スループット](https://broadrouter.com/ja/glossary/throughput/)は互いに引っ張り合います。NVIDIA は、同時リクエストが増えるとシステム全体の秒間トークン数は上がる一方、ユーザーあたりの秒間トークン数は下がると指摘しています。混雑しているプロバイダーは、より多くの人に対応できても、一人ひとりには遅く感じられることがあります。

## BroadNet Inference の場合

BroadNet のプランのページでは、標準的な速度は 毎秒約 100 トークン です。ドキュメントは TTFT やレイテンシのパーセンタイルの数値を公表していません。従量課金のキーは同時実行 4 リクエストまでで、ドキュメントでは同時実行数の上限が HTTP 429 の原因の 1 つとされています。429 の後のリトライはそのたびに、こちら側のレイテンシを増やします。長時間動くエージェントでは、タイムアウトと上限付きのリトライを設定してください。[長時間動くエージェントのタイムアウトとリトライ](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)を参照してください。クライアント側で各部分を計測する方法は、[LLM のレイテンシのガイド](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/)にあります。

## よくある質問

### レイテンシとスループットの違いは何ですか？

レイテンシは 1 つのリクエストにかかる時間です。スループットは、すべてのリクエストを通してシステムが 1 秒あたりにこなす仕事量です。サーバーはより多くのリクエストをまとめて処理することでスループットを上げられますが、そのぶん個々のリクエストは遅くなります。

### トークン間レイテンシとは何ですか？

最初のトークン以降の、出力トークン同士の平均的な間隔で、出力トークンあたりの時間とも呼ばれます。NVIDIA は、エンドツーエンドのレイテンシから TTFT を引き、出力トークン数から 1 を引いた数で割ったものと定義しています。

### LLM のレイテンシを下げるには？

出力トークンを減らす、プロンプトを短くする、応答をストリーミングして文字が早く見えるようにする、独立した呼び出しを並列に実行する、といった方法があります。OpenAI のレイテンシのガイドは、これらを 7 つの原則の中に挙げています。

## 関連項目

-   [TTFT（最初のトークンまでの時間）](https://broadrouter.com/ja/glossary/time-to-first-token/) (用語)
-   [スループット（throughput）](https://broadrouter.com/ja/glossary/throughput/) (用語)
-   [トークン毎秒（TPS、tokens per second）](https://broadrouter.com/ja/glossary/tokens-per-second/) (用語)
-   [同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/) (用語)
-   [レート制限（rate limit）](https://broadrouter.com/ja/glossary/rate-limit/) (用語)
-   [chat completions のストリーミングと接続切断への対処](https://broadrouter.com/ja/guides/streaming-chat-completions/) (ガイド)
-   [BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/) (ガイド)
-   [LLM のレイテンシ：TTFT、トークン/秒、エンドツーエンドの違い](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/) (記事)
-   [長時間動くエージェント：崩れないタイムアウト、リトライ、チェックポイント](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-latency&utm_content=page-cta) ·

**出典**

-   [NVIDIA NIM、LLM ベンチマークの指標（エンドツーエンドのレイテンシ、トークン間レイテンシ）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI、レイテンシ最適化のガイド（7 つの原則）](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [BroadNet Inference のプラン（標準的な速度） （英語）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-latency&utm_content=sources)
