速さには 2 つの要素があります。何かが表示されるまでの時間と、その後テキストが流れる速さです。トークン毎秒が測るのは後者です。
しくみ
NVIDIA のベンチマークのドキュメントは、関連する指標を次のように定義しています。
- 最初のトークンまでの時間(TTFT): リクエストを送ってから最初のトークンを受け取るまで。プロンプトが長いほど伸びます。
- トークン間レイテンシ(ITL): 出力トークン間の平均間隔。
- ユーザーあたり TPS: 1 つのリクエストの出力トークン数をエンドツーエンドの所要時間で割ったもの。NVIDIA の定義では TTFT を含みます。多くのダッシュボードは、このページと同じく、最初のトークン以降のデコード速度を示しています。
- システム TPS: 同時に処理されるすべてのリクエストの出力トークンの合計で、スループットとも呼ばれます。
これらは逆方向に動きます。NVIDIA によると、同時実行数が増えるとシステム TPS は上がり、ユーザーあたり TPS は下がります。プロバイダーが宣伝する数字と、あなたの 1 リクエストの速度は、どちらも正直な値でありながら食い違うことがあります。
1 つの応答にかかる時間の簡単な見積もりは次のとおりです。
total time ≈ TTFT + output tokens ÷ tokens per second
(つまり、総所要時間 ≈ TTFT + 出力トークン数 ÷ トークン毎秒。)
例として毎秒 50 トークンのストリームを考えると、1,000 トークンの回答は最初のトークンから約 20 秒かかります。モデルがさらに 2,000 の推論トークンを書くなら、回答が始まるまでに約 40 秒が加わります。最初のトークンまでの時間はその上に乗ります。
なぜ重要か
- ユーザー体験。 ストリーミングでは届いたそばからテキストを表示するので、TTFT と TPS が応答の体感速度を決めます。
- エージェントのスループット。 コーディングエージェントは各応答を待ってから次のステップに進みます。出力が速いほど、1 時間あたりのステップ数が増えます。
- プランの制限。 トークンのメーターがないプランでは、速度が使えるトークン量の実質的な上限になります。
BroadNet Inference の場合
BroadNet のプランのページには、DeepSeek V4.1 Flash の標準的な速度として 毎秒約 100 トークン が示されています。無制限プランのセッションは同時に 1 リクエストを処理するので、その速度で 30 日間休まず生成し続けたセッションは 約 2.59億 の出力トークンを生み出す計算です。実際のエージェントは読み込み、ツールの実行、待機にも時間を使うので、実用上の数字はこれより低くなります。
プランで全体のスループットを上げるには、並列に動かすエージェント 1 体につき 1 セッションを追加します。無制限セッションのしくみとコーディングエージェントの並列実行を参照してください。
よくある間違い
- 1 回のリクエストだけでプロバイダーを比べること。ご自身のプロンプトサイズで、多数のリクエストにわたって TTFT と TPS を測ってください。
- クライアントのタイムアウトを設定するときに推論の時間を忘れること。