「API が遅い」には 3 つの異なる意味があり、それぞれ対処法が違います。チャットのユーザーは最初の 1 語を待ちます。エージェントはツール呼び出し全体の完了を待ちます。バッチジョブが気にするのは 1 時間あたりのトークン数です。この記事では 3 つの数字を定義し、自分のコードから計測する方法を示し、それぞれの改善策が実際にどの数字を動かすのかを整理します。
TTFT、トークン/秒、エンドツーエンドのレイテンシとは何ですか?
NVIDIA のベンチマークガイドには明快な定義があり、クライアント側で観測できる内容とも一致します。
| 指標 | 測るもの | 体感する人 | 主な要因 |
|---|---|---|---|
| 最初のトークンまでの時間(TTFT) | リクエスト送信 → 最初のトークン受信 | チャットのユーザー | ネットワーク、待ち行列、プロンプト長(prefill)、キャッシュヒット |
| トークン間レイテンシ(ITL) | トークン間の平均間隔 | ストリーミングされる回答を読む人 | モデルの規模、ハードウェア、サーバーの負荷 |
| ユーザーあたりのトークン/秒 | 最初のトークン以降の出力トークン数 ÷ 生成時間(最初のトークンから最後のトークンまで)。平均 ITL の逆数(1 ÷ ITL)に等しい | 読む人、エージェント | ITL と同じ |
| エンドツーエンドのレイテンシ | リクエスト送信 → 最後のトークン受信 | エージェント、API、バッチ | TTFT + 生成時間 |
これらを結び付ける式は次のとおりです。
エンドツーエンド ≈ TTFT +(出力トークン数 − 1)× ITL ≈ TTFT + 出力トークン数 ÷ ユーザーあたりのトークン/秒
ユーザーあたりの速度は、サーバーのスループット(全ユーザー分としてサーバーが生成するトークンの合計)とは別物です。プロバイダーが一方を上げると、もう一方が下がることもあります。
BroadNet がプランのモデルについて公表している標準的な速度 毎秒約 100 トークン で考えてみます。生成時間は回答の長さに比例するため、4,000 トークンのコードファイルは 50 トークンの分類の約 80 倍の生成時間がかかり、TTFT はどちらも同じです。短い回答では待ち時間の大半が TTFT であり、長い回答では速度と長さが効いてきます。
推論モデルでは、なぜ 4 つ目の数字が必要なのですか?
DeepSeek V4.1 Flash のような推論(reasoning)モデルは、回答する前に考えます。その思考も出力トークンです。モデルが 毎秒約 100 トークン で 800 トークン分考えると、通信上の TTFT が速く見えても、ユーザーは最初に見える文字の前に、その 800 トークンがすべて生成されるのを待つことになります。そのため、最初のコンテンツトークンまでの時間を別に計測してください。BroadNet Inference では、reasoning_effort: "low" で単純なステップの思考を短くできます。トレードオフは推論のガイドで説明しています。
クライアント側でレイテンシを計測するには?
ユーザーがいる場所で、ストリーミングを有効にして計測します。サーバー側のタイマーでは、ネットワークや途中のプロキシの時間が抜け落ちます。
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
公正なベンチマークのための 5 つのルール:
- プロンプト長を固定し、その値を報告します。プロンプト 500 トークンと 200,000 トークンでは、TTFT はまったく別の数字です。トークンカウンターを使えば、送信前にテスト用プロンプトの長さが分かります。
max_tokensと、それを使い切るプロンプトで出力の長さを固定し、トークン/秒を比較できるようにします。- 平均ではなく p50 と p95 を報告します。 ユーザーの記憶に残るのはテールレイテンシです。
- 計測を時間的に分散させます。 負荷は 1 日のなかで変わります。
- 先にウォームアップします。 最初の呼び出しには DNS、TLS、接続確立のコストがかかります。クライアントは 1 つを使い回してください。
それぞれの数字を実際に改善するものは何ですか?
| 改善したいもの | 対策 | 理由 |
|---|---|---|
| TTFT | プロンプトのプレフィックスを短くするかキャッシュする | prefill の時間はプロンプト長に比例して増え、キャッシュされたプレフィックスは処理を省略できる |
| TTFT | 接続をウォームに保ち、近いリージョンを使う | 接続確立と往復の時間がなくなる |
| 最初のコンテンツトークンまでの時間 | 推論の強度を下げるか、単純なステップには非推論モデルを使う | 回答前の隠れた思考が減る |
| トークン/秒 | そのステップに小さいモデルや速いモデルを使う | デコード速度はモデルの規模と提供方法で決まる |
| エンドツーエンド | 短い出力を求める(スキーマ、文字数制限) | 出力の長さが ITL に掛け算で効く |
| 多数の呼び出しのエンドツーエンド | 独立した呼び出しを同時実行数の上限内で並列に実行する | 個々の呼び出しは同じでも、全体の経過時間が短くなる |
| 体感のレイテンシ | ユーザーにストリーミングする | モデルが書いている間に読める |
出力の長さは、最も過小評価されている手段です。「回答を説明して」ではなく「この 4 つのフィールドを持つ JSON で」と頼むだけで、インフラに手を入れずに生成時間を 1 桁短縮できることがあります。ここでは構造化出力が役立ちます。
キャッシュについてはキャッシュを効かせるプロンプト構成で解説しています。並列化はすぐにレート制限にぶつかります。429 エラーへの対処を参照してください。
プロンプトの長さはトレードオフをどう変えますか?
TTFT はプロンプトが長いほど伸びます。モデルは書き始める前に、すべての入力トークンを処理しなければならないからです。これが非常に長いプロンプトの隠れたコストであり、ロングコンテキストか RAG かを判断する材料の 1 つです。100 万トークンのプロンプトは RAG では答えられない質問に答えられますが、応答の開始は遅くなります。対話の速さが重要なら、よく通る経路は短く保ち、質問が必要とするときだけ大きなコンテキストを送ってください。
BroadNet Inference が向いている用途
BroadNet はプランのモデルについて標準的な速度 毎秒約 100 トークン を公表しており、ストリーミングは標準の SSE 形式なので、上のコードはそのまま動きます。TTFT の数字やレイテンシの SLA は公表していないため、決める前に自分のプロンプトで計測してください。$1 の Meteor 1 時間で 50 回のベンチマークには十分ですし、スタートクレジットでも Gemma 4 VL 26B で 1 回分をまかなえます。大規模にサブ秒のレイテンシを保証する必要があるなら、慎重にテストしてください。従量課金キーの同時実行は 4 リクエストまでで、大量のリアルタイム配信よりもアプリやエージェントに向いています。モデルと料金はモデルと料金のページにあります。
