BroadRouter
始める

レイテンシ(latency)

更新日

LLM API のレイテンシとは、リクエストを送ってから最後の出力トークンを受け取るまでの時間です。最初のトークンまでの時間(TTFT)と生成時間の合計で、平均ではなく p50 や p95 などのパーセンタイルで示すのが一般的です。

別名: 応答時間、レスポンスタイム、遅延、エンドツーエンドのレイテンシ、トークン間レイテンシ、latency、LLM latency、end-to-end latency、response time、e2e latency、inter-token latency

レイテンシはユーザーが体感する数字です。そして、デモから本番に移るチームが最もよく驚かされる数字でもあります。

しくみ

NVIDIA の指標ガイドは、1 つのリクエストについて基本の式を示しています。

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

つまり、エンドツーエンドのレイテンシ = TTFT + 生成時間、トークン間レイテンシ(ITL)=(エンドツーエンドのレイテンシ − TTFT)÷(出力トークン数 − 1)です。

最初のトークンまでの時間(TTFT)には、ネットワーク、待ち行列、プロンプトの読み込みが含まれます。生成時間は最初のトークン以降のすべてで、(出力トークン数 − 1)× トークン間レイテンシ(ITL)、長い応答ならおおよそ出力トークン数 × ITL です。NVIDIA によると、エンドツーエンドのレイテンシは「includes queueing, batching, and network latency.」(訳:待ち行列、バッチ処理、ネットワークのレイテンシを含む)ものです。

きりのいい数字で例を示します。モデルが 1 秒に 50 個の出力トークンをストリーミングするとします。600 トークンの応答の生成には 600 ÷ 50 = 12 秒かかります。TTFT の 1 秒を足すと、リクエスト全体で約 13 秒です。応答を半分にすれば 6 秒短くなり、TTFT を半分にしても短くなるのは 0.5 秒です。この場合、支配的なのは出力の長さです。

アプリケーションでは、リクエストが単独で動くことはまれです。ユーザーの画面でのレイテンシには、エラー後のリトライ、同時実行数の空きを待つ時間、モデルのターン間のツール呼び出し、自分のコードの処理時間も加わります。

なぜ重要か

OpenAI のレイテンシのガイドは 7 つの原則を挙げています。トークンを速く処理する、生成するトークンを減らす、入力トークンを減らす、リクエストを減らす、並列化する、ユーザーの待ち時間を減らす、何でも LLM に頼らない、の 7 つです。その多くはプロバイダーの選択ではなく、設計上の選択です。

パーセンタイルで報告してください。p50 が 4 秒で p95 が 30 秒なら、ユーザーの 20 人に 1 人は 30 秒以上待つことになります。平均ではこのロングテールが見えず、タイムアウトの設定はまさにそのテールで決まります。

レイテンシとスループットは互いに引っ張り合います。NVIDIA は、同時リクエストが増えるとシステム全体の秒間トークン数は上がる一方、ユーザーあたりの秒間トークン数は下がると指摘しています。混雑しているプロバイダーは、より多くの人に対応できても、一人ひとりには遅く感じられることがあります。

BroadNet Inference の場合

BroadNet のプランのページでは、標準的な速度は 毎秒約 100 トークン です。ドキュメントは TTFT やレイテンシのパーセンタイルの数値を公表していません。従量課金のキーは同時実行 4 リクエストまでで、ドキュメントでは同時実行数の上限が HTTP 429 の原因の 1 つとされています。429 の後のリトライはそのたびに、こちら側のレイテンシを増やします。長時間動くエージェントでは、タイムアウトと上限付きのリトライを設定してください。長時間動くエージェントのタイムアウトとリトライを参照してください。クライアント側で各部分を計測する方法は、LLM のレイテンシのガイドにあります。

よくある質問

レイテンシとスループットの違いは何ですか?

レイテンシは 1 つのリクエストにかかる時間です。スループットは、すべてのリクエストを通してシステムが 1 秒あたりにこなす仕事量です。サーバーはより多くのリクエストをまとめて処理することでスループットを上げられますが、そのぶん個々のリクエストは遅くなります。

トークン間レイテンシとは何ですか?

最初のトークン以降の、出力トークン同士の平均的な間隔で、出力トークンあたりの時間とも呼ばれます。NVIDIA は、エンドツーエンドのレイテンシから TTFT を引き、出力トークン数から 1 を引いた数で割ったものと定義しています。

LLM のレイテンシを下げるには?

出力トークンを減らす、プロンプトを短くする、応答をストリーミングして文字が早く見えるようにする、独立した呼び出しを並列に実行する、といった方法があります。OpenAI のレイテンシのガイドは、これらを 7 つの原則の中に挙げています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く