BroadRouter
始める

スループット(throughput)

更新日

スループット(throughput)とは、LLM の推論提供で、すべての同時リクエストを合わせてシステムが単位時間に完了する仕事の総量です。通常は出力トークン毎秒やリクエスト毎秒で測り、1 リクエストがトークンを受け取る速さ(ストリーム単位の速度)とは異なります。

別名: システムスループット、総スループット、合計トークン毎秒、リクエスト毎秒、system throughput、aggregate throughput、total tokens per second、requests per second、RPS

トークン毎秒は、1 つの回答がどれだけ速く流れてくるかを示します。スループットは、システム全体でどれだけの仕事が片付くかを示します。

しくみ

NVIDIA のベンチマークガイドは両者を区別しています。**Total TPS per system(システム全体の TPS)**は「total output token throughput across all simultaneous requests」(訳:同時に処理されるすべてのリクエストにわたる出力トークンの総スループット)で、全出力トークン数を最初のリクエストから最後の応答までの時間で割ったものです。**TPS per user(ユーザーあたり TPS)**は、1 つのリクエストの出力長をそのエンドツーエンドの所要時間で割ったものです。**Requests per second(RPS)**は、トークンではなく完了したリクエストを数えます。

要となる一文はこれです。「As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.」(訳:同時リクエスト数が増えると、システム全体の TPS は上がり、ユーザーあたり TPS は下がる。)全体の TPS は GPU が飽和するまで上がり、それを超えると下がることもあります。

サーバー側では、制約はたいていメモリです。PagedAttention の論文は、高スループットでの提供には「requires batching sufficiently many requests at a time」(訳:一度に十分な数のリクエストをバッチ処理する必要がある)と説明しており、何件入るかは各リクエストの KV キャッシュで決まります。メモリ管理を改善したことで、vLLM は同じレイテンシで従来システムの 2〜4 倍のスループットを達成しました。

なぜ重要か

API の呼び出し側にとって、スループットは自分の側の話です。1 時間に何件のドキュメントを処理できるか、何体のエージェントを同時に動かせるか。それはシンプルな法則に従います。

your throughput ≈ concurrent requests × per-stream tokens per second

(つまり、自分のスループット ≈ 同時リクエスト数 × ストリーム単位のトークン毎秒。)これが成り立つのは、負荷を増やしてもプロバイダーがストリーム単位の速度を維持できる場合だけです。思い込まずに測ってください。

スループットの上限を決めるのは、モデルだけでなく、同時実行数の上限とレート制限です。ジョブが遅いなら、並列にできるリクエストを 1 件ずつ順番に実行していないか確認してください。

BroadNet Inference の場合

BroadNet が公開しているのはキーごとの制限で、システムのスループットの数値ではありません。プランのページには、プランのモデルである DeepSeek V4.1 Flash の標準的な速度として 毎秒約 100 トークン が示されています。ほかのモデルの速度は公開されていません。説明のために、各ストリームがその速度で動くと仮定すると次のようになります。

選択肢 並列リクエスト数 速度が維持された場合の上限
従量課金キー 4(加えて毎分 30 リクエスト) 4 ストリーム × 各 毎秒約 100 トークン
時間制キー(Gemma 4 VL 26B) 1 ストリーム、毎分 300,000 トークン 非公開。測ってください
定額プランのセッション 同時に 1 リクエスト 毎秒約 100 トークン

定額プランを拡張するには、並列に動かすエージェント 1 体につき 1 セッションを追加します。無制限の LLM API セッションとコーディングエージェントの並列実行を参照してください。この速度は BroadNet が DeepSeek V4.1 Flash について示す標準的な数値であり、ほかのモデルや高負荷時の保証ではありません。

よくある質問

スループットはトークン毎秒と同じですか?

システム全体で見た場合に限ります。ストリーム単位のトークン毎秒は 1 つのリクエストが体感する速度で、スループットはすべてのストリームの合計です。NVIDIA はそれぞれを TPS per user、total TPS per system と呼んでいます。

LLM API でスループットを上げるには?

同時実行数とレート制限の範囲内でより多くのリクエストを並列に送り、各リクエストを短く保ちます。各リクエストがすでに枠を使い切っているなら、枠、キー、セッションを増やすしかありません。

スループットが高ければレイテンシは低くなりますか?

いいえ。スループットはすべてのリクエストを合わせた 1 秒あたりの仕事量で、レイテンシは 1 つのリクエストにかかる時間です。同時に多くのリクエストを処理すると全体のスループットは上がりますが、各リクエストは遅くなることがあります。NVIDIA がユーザーあたり TPS と全体の TPS を分けて報告するのはそのためです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く