トークン毎秒は、1 つの回答がどれだけ速く流れてくるかを示します。スループットは、システム全体でどれだけの仕事が片付くかを示します。
しくみ
NVIDIA のベンチマークガイドは両者を区別しています。**Total TPS per system(システム全体の TPS)**は「total output token throughput across all simultaneous requests」(訳:同時に処理されるすべてのリクエストにわたる出力トークンの総スループット)で、全出力トークン数を最初のリクエストから最後の応答までの時間で割ったものです。**TPS per user(ユーザーあたり TPS)**は、1 つのリクエストの出力長をそのエンドツーエンドの所要時間で割ったものです。**Requests per second(RPS)**は、トークンではなく完了したリクエストを数えます。
要となる一文はこれです。「As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.」(訳:同時リクエスト数が増えると、システム全体の TPS は上がり、ユーザーあたり TPS は下がる。)全体の TPS は GPU が飽和するまで上がり、それを超えると下がることもあります。
サーバー側では、制約はたいていメモリです。PagedAttention の論文は、高スループットでの提供には「requires batching sufficiently many requests at a time」(訳:一度に十分な数のリクエストをバッチ処理する必要がある)と説明しており、何件入るかは各リクエストの KV キャッシュで決まります。メモリ管理を改善したことで、vLLM は同じレイテンシで従来システムの 2〜4 倍のスループットを達成しました。
なぜ重要か
API の呼び出し側にとって、スループットは自分の側の話です。1 時間に何件のドキュメントを処理できるか、何体のエージェントを同時に動かせるか。それはシンプルな法則に従います。
your throughput ≈ concurrent requests × per-stream tokens per second
(つまり、自分のスループット ≈ 同時リクエスト数 × ストリーム単位のトークン毎秒。)これが成り立つのは、負荷を増やしてもプロバイダーがストリーム単位の速度を維持できる場合だけです。思い込まずに測ってください。
スループットの上限を決めるのは、モデルだけでなく、同時実行数の上限とレート制限です。ジョブが遅いなら、並列にできるリクエストを 1 件ずつ順番に実行していないか確認してください。
BroadNet Inference の場合
BroadNet が公開しているのはキーごとの制限で、システムのスループットの数値ではありません。プランのページには、プランのモデルである DeepSeek V4.1 Flash の標準的な速度として 毎秒約 100 トークン が示されています。ほかのモデルの速度は公開されていません。説明のために、各ストリームがその速度で動くと仮定すると次のようになります。
| 選択肢 | 並列リクエスト数 | 速度が維持された場合の上限 |
|---|---|---|
| 従量課金キー | 4(加えて毎分 30 リクエスト) | 4 ストリーム × 各 毎秒約 100 トークン |
| 時間制キー(Gemma 4 VL 26B) | 1 ストリーム、毎分 300,000 トークン | 非公開。測ってください |
| 定額プランのセッション | 同時に 1 リクエスト | 毎秒約 100 トークン |
定額プランを拡張するには、並列に動かすエージェント 1 体につき 1 セッションを追加します。無制限の LLM API セッションとコーディングエージェントの並列実行を参照してください。この速度は BroadNet が DeepSeek V4.1 Flash について示す標準的な数値であり、ほかのモデルや高負荷時の保証ではありません。