---
title: "LLM API の同時実行数とは？処理中リクエストの上限 | BroadRouter"
description: "同時実行数は、同じ瞬間に処理中のリクエストの数です。LLM API がこれを制限する理由、レート制限やレイテンシとの関係、ワーカーやエージェントの数の決め方を解説します。"
url: https://broadrouter.com/ja/glossary/concurrency/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/concurrency/)（2026-11-14 更新）。

# 同時実行数（concurrency）

更新日 2026-11-14

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

別名： 同時実行、同時リクエスト数、並列リクエスト、同時実行数の上限、並列数、concurrent requests、parallel requests、in-flight requests、concurrency limit

レート制限は一定時間内のリクエストを数えます。同時実行数は、ある瞬間のリクエストを数えます。LLM のリクエストは何秒もかかることがあるので、先に効いてくるのは後者であることが多いのです。

## しくみ

リトルの法則（Little’s law）は、3 つの数字を結び付けます。

`requests in flight = request rate × average time per request`

（つまり、処理中のリクエスト数 = リクエストレート × 1 リクエストあたりの平均所要時間。）

仮に、同時実行 5 リクエスト、毎分 60 リクエストまで許可されたキーがあり、各リクエストに 20 秒かかるとします。同時実行の上限で許されるのは最大で 5 ÷ 20 = 毎秒 0.25 リクエスト、つまり毎分 15 リクエストです。拘束条件になっているのは同時実行数なので、毎分 60 には決して届きません。リクエストが 2 秒で終わるなら、同じ上限で毎分 150 リクエストまで許され、今度はレート制限のほうが拘束条件になります。[レート制限計算ツール](https://broadrouter.com/tools/llm-rate-limit-calculator/)で、ご自身の数字でこの計算ができます。

長い出力、[推論トークン](https://broadrouter.com/ja/glossary/reasoning-tokens/)、長いプロンプトはどれもリクエストの所要時間を延ばすので、同時実行の枠を早く使い切ります。[ストリーミング](https://broadrouter.com/ja/glossary/streaming/)の応答は、終わるまで枠を占有し続けます。

## なぜ重要か

プロバイダーが同時実行数を制限するのは、GPU のメモリと計算資源が共有されているからです。NVIDIA のベンチマークでは、サーバー上の同時実行数が増えると全体の出力量は上がる一方、各リクエストの[トークン毎秒](https://broadrouter.com/ja/glossary/tokens-per-second/)は下がります。キーごとの上限は、1 つのクライアントが全員の速度を落とすのを防ぎます。

アプリにとって、同時実行数はワーカープールの大きさと、並べて動かせるエージェントの数を決めます。プールは上限に合わせ、それを超えないようにしてください。超えた分のワーカーは 429 エラーを集めるだけです。

## BroadNet Inference の場合

| アクセス方法 | 同時実行数 |
| --- | --- |
| 従量課金キー | 同時実行 4 リクエスト、加えて毎分 30 リクエスト |
| 時間制キー | 1 ストリーム |
| 無制限プラン | セッションごとに同時に 1 リクエスト |

プランは同時実行数をそのまま販売しています。セッションにはトークンのメーターがなく、1 つのエージェントの動き方と同じく、同時に 1 リクエストを処理します。同じセッション内のリクエストは順番待ちになります。エージェントを並列で動かすには、エージェントごとに 1 セッションを購入します。オーケストレーターと 3 つのサブエージェントなら 4 セッションです。1 つのキーで複数のセッションを持てます。

[無制限セッションのしくみ](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)と[定額プランでコーディングエージェントを並列実行する方法](https://broadrouter.com/ja/blog/run-parallel-coding-agents-flat-rate/)をお読みください。エージェントは多くの時間をツールの実行に費やすので、セッションを買い足す前に、実際にどれだけ重なっているかを測ってください。

## よくある間違い

-   プールを使わずにタスクごとにワーカーを起動すること。100 件のタスクのバッチが、同時に 100 件のリクエストになります。
-   クライアントのタイムアウトを、長い推論応答より短く設定すること。枠は埋まったままなのに、クライアントだけが諦めてしまいます。

## よくある質問

### 同時実行数の上限を超えるとどうなりますか？

プロバイダーによって異なります。超過したリクエストは拒否される（多くは 429）か、枠が空くまでキューで待たされます。

### ストリーミングも同時実行の枠を使いますか？

はい。ストリーミング応答は最後のチャンクが届くまで枠を占有するので、出力が長いほど枠が長く埋まります。

### AI コーディングエージェントにはどれだけの同時実行数が必要ですか？

1 つのエージェントなら通常は 1 つです。各応答を待ってから次のステップに進むからです。3 つのサブエージェントを同時に動かすオーケストレーターなら最大 4 つ必要です。サブエージェントの実行中にオーケストレーターもリクエストを送るなら 4 つ、待つなら 3 つです。

## 関連項目

-   [レート制限（rate limit）](https://broadrouter.com/ja/glossary/rate-limit/)（用語）
-   [トークン毎秒（TPS、tokens per second）](https://broadrouter.com/ja/glossary/tokens-per-second/)（用語）
-   [ストリーミング（streaming）](https://broadrouter.com/ja/glossary/streaming/)（用語）
-   [定額 LLM プラン（flat-rate LLM plan）](https://broadrouter.com/ja/glossary/flat-rate-llm-plan/)（用語）
-   [スループット（throughput）](https://broadrouter.com/ja/glossary/throughput/)（用語）
-   [レイテンシ（latency）](https://broadrouter.com/ja/glossary/latency/)（用語）
-   [AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)（用語）
-   [エージェント向け無制限 LLM API プランのしくみ](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)（ガイド）
-   [BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)（ガイド）
-   [定額の LLM API で並列コーディングエージェントを動かす方法](https://broadrouter.com/ja/blog/run-parallel-coding-agents-flat-rate/)（記事）
-   [LLM API プランの「無制限」は本当は何を意味するのか](https://broadrouter.com/ja/blog/what-unlimited-llm-api-really-means/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-concurrency&utm_content=page-cta) ·

**出典**

-   [リトルの法則（Little's law、Wikipedia）](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM、LLM ベンチマークの指標（同時実行数とスループット）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [BroadNet Inference API リファレンス、制限（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-concurrency&utm_content=sources#limits)
-   [BroadNet Inference のプラン（セッション）（英語）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-concurrency&utm_content=sources)
