レート制限は一定時間内のリクエストを数えます。同時実行数は、ある瞬間のリクエストを数えます。LLM のリクエストは何秒もかかることがあるので、先に効いてくるのは後者であることが多いのです。
しくみ
リトルの法則(Little’s law)は、3 つの数字を結び付けます。
requests in flight = request rate × average time per request
(つまり、処理中のリクエスト数 = リクエストレート × 1 リクエストあたりの平均所要時間。)
仮に、同時実行 5 リクエスト、毎分 60 リクエストまで許可されたキーがあり、各リクエストに 20 秒かかるとします。同時実行の上限で許されるのは最大で 5 ÷ 20 = 毎秒 0.25 リクエスト、つまり毎分 15 リクエストです。拘束条件になっているのは同時実行数なので、毎分 60 には決して届きません。リクエストが 2 秒で終わるなら、同じ上限で毎分 150 リクエストまで許され、今度はレート制限のほうが拘束条件になります。レート制限計算ツールで、ご自身の数字でこの計算ができます。
長い出力、推論トークン、長いプロンプトはどれもリクエストの所要時間を延ばすので、同時実行の枠を早く使い切ります。ストリーミングの応答は、終わるまで枠を占有し続けます。
なぜ重要か
プロバイダーが同時実行数を制限するのは、GPU のメモリと計算資源が共有されているからです。NVIDIA のベンチマークでは、サーバー上の同時実行数が増えると全体の出力量は上がる一方、各リクエストのトークン毎秒は下がります。キーごとの上限は、1 つのクライアントが全員の速度を落とすのを防ぎます。
アプリにとって、同時実行数はワーカープールの大きさと、並べて動かせるエージェントの数を決めます。プールは上限に合わせ、それを超えないようにしてください。超えた分のワーカーは 429 エラーを集めるだけです。
BroadNet Inference の場合
| アクセス方法 | 同時実行数 |
|---|---|
| 従量課金キー | 同時実行 4 リクエスト、加えて毎分 30 リクエスト |
| 時間制キー | 1 ストリーム |
| 無制限プラン | セッションごとに同時に 1 リクエスト |
プランは同時実行数をそのまま販売しています。セッションにはトークンのメーターがなく、1 つのエージェントの動き方と同じく、同時に 1 リクエストを処理します。同じセッション内のリクエストは順番待ちになります。エージェントを並列で動かすには、エージェントごとに 1 セッションを購入します。オーケストレーターと 3 つのサブエージェントなら 4 セッションです。1 つのキーで複数のセッションを持てます。
無制限セッションのしくみと定額プランでコーディングエージェントを並列実行する方法をお読みください。エージェントは多くの時間をツールの実行に費やすので、セッションを買い足す前に、実際にどれだけ重なっているかを測ってください。
よくある間違い
- プールを使わずにタスクごとにワーカーを起動すること。100 件のタスクのバッチが、同時に 100 件のリクエストになります。
- クライアントのタイムアウトを、長い推論応答より短く設定すること。枠は埋まったままなのに、クライアントだけが諦めてしまいます。