レイテンシはユーザーが体感する数字です。そして、デモから本番に移るチームが最もよく驚かされる数字でもあります。
しくみ
NVIDIA の指標ガイドは、1 つのリクエストについて基本の式を示しています。
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
つまり、エンドツーエンドのレイテンシ = TTFT + 生成時間、トークン間レイテンシ(ITL)=(エンドツーエンドのレイテンシ − TTFT)÷(出力トークン数 − 1)です。
最初のトークンまでの時間(TTFT)には、ネットワーク、待ち行列、プロンプトの読み込みが含まれます。生成時間は最初のトークン以降のすべてで、(出力トークン数 − 1)× トークン間レイテンシ(ITL)、長い応答ならおおよそ出力トークン数 × ITL です。NVIDIA によると、エンドツーエンドのレイテンシは「includes queueing, batching, and network latency.」(訳:待ち行列、バッチ処理、ネットワークのレイテンシを含む)ものです。
きりのいい数字で例を示します。モデルが 1 秒に 50 個の出力トークンをストリーミングするとします。600 トークンの応答の生成には 600 ÷ 50 = 12 秒かかります。TTFT の 1 秒を足すと、リクエスト全体で約 13 秒です。応答を半分にすれば 6 秒短くなり、TTFT を半分にしても短くなるのは 0.5 秒です。この場合、支配的なのは出力の長さです。
アプリケーションでは、リクエストが単独で動くことはまれです。ユーザーの画面でのレイテンシには、エラー後のリトライ、同時実行数の空きを待つ時間、モデルのターン間のツール呼び出し、自分のコードの処理時間も加わります。
なぜ重要か
OpenAI のレイテンシのガイドは 7 つの原則を挙げています。トークンを速く処理する、生成するトークンを減らす、入力トークンを減らす、リクエストを減らす、並列化する、ユーザーの待ち時間を減らす、何でも LLM に頼らない、の 7 つです。その多くはプロバイダーの選択ではなく、設計上の選択です。
パーセンタイルで報告してください。p50 が 4 秒で p95 が 30 秒なら、ユーザーの 20 人に 1 人は 30 秒以上待つことになります。平均ではこのロングテールが見えず、タイムアウトの設定はまさにそのテールで決まります。
レイテンシとスループットは互いに引っ張り合います。NVIDIA は、同時リクエストが増えるとシステム全体の秒間トークン数は上がる一方、ユーザーあたりの秒間トークン数は下がると指摘しています。混雑しているプロバイダーは、より多くの人に対応できても、一人ひとりには遅く感じられることがあります。
BroadNet Inference の場合
BroadNet のプランのページでは、標準的な速度は 毎秒約 100 トークン です。ドキュメントは TTFT やレイテンシのパーセンタイルの数値を公表していません。従量課金のキーは同時実行 4 リクエストまでで、ドキュメントでは同時実行数の上限が HTTP 429 の原因の 1 つとされています。429 の後のリトライはそのたびに、こちら側のレイテンシを増やします。長時間動くエージェントでは、タイムアウトと上限付きのリトライを設定してください。長時間動くエージェントのタイムアウトとリトライを参照してください。クライアント側で各部分を計測する方法は、LLM のレイテンシのガイドにあります。