LLM のジョブがすべてチャットとは限りません。ラベル付けすべきサポートチケットが 5 万件、翻訳すべき商品説明が 20 万件、スコアを付けるべきレビューが 100 万件あるかもしれません。OpenAI や Anthropic などのプロバイダーは、このために Batch API を提供しています。多くの OpenAI 互換 API にはそれがなく、BroadNet Inference もその 1 つです。この記事では、ジョブを自分で動かす方法を紹介します。所要時間を見積もり、制限を守るランナーを書き、安全に止めて再開できるようにします。
BroadRouter は BroadNet 自身のサイトなので、計算例には BroadNet が公表している制限を使います。方法自体はどの chat completions API でも使えます。数字を自分のプロバイダーのものに置き換えてください。
BroadNet Inference に Batch API はあるか?
ありません。2026 年 11 月 15 日時点の API リファレンスに載っているのは、POST /v1/chat/completions、POST /v1/audio/transcriptions、GET /v1/models(モデル一覧)と、/portal/ 以下のアカウント用エンドポイントです。バッチやファイルアップロードのエンドポイントも、バッチ割引もありません。一括ジョブは通常のリクエストのループです。
自分で何を作り直すことになるのかを知るために、ホスト型の Batch API が提供するものを見ておきましょう。
| OpenAI Batch API | Anthropic Message Batches | 自前のランナー | |
|---|---|---|---|
| 価格 | 同期呼び出しの 50% 引き | 50% 引き | 通常価格 |
| 完了までの時間 | 24 時間以内 | 大半は 1 時間以内、24 時間で期限切れ | レート制限で決まる |
| 1 バッチのサイズ | 50,000 リクエストまたは 200 MB | 100,000 リクエストまたは 256 MB | 制限なし |
| レート制限 | モデルごとの制限とは別枠 | キュー内のリクエストに適用 | キーの制限 |
| 結果の順序 | 異なる場合あり、custom_id で照合 |
custom_id で照合 |
自分で ID をキーに結果を保存 |
ここから 2 つの教訓が得られます。どちらのプロバイダーも、結果が順番どおりに返らないため、各リクエストに ID を付けさせます。どちらも数秒での回答は約束しません。自前のランナーも同じように動かすべきです。すべてに ID を付け、計画は時間単位で考えます。
完了までの時間より 50% の割引が重要で、必要なモデルがそこにあるなら、ホスト型の Batch API のほうが安いかもしれません。作り始める前に、LLM API コスト計算ツールで両方の価格を計算してください。
ジョブにはどれくらい時間がかかるか?
コードを書く前に計算します。スループットを制限するものは 2 つあり、遅いほうが勝ちます。
- 同時実行上限 ÷ レイテンシ。 同時 4 リクエストで 1 リクエスト 2 秒なら、1 秒に 2 件完了できます。
- 毎分のリクエスト数。 毎分 30 件なら、モデルがどれだけ速くても 1 秒に 0.5 件しか開始できません。
BroadNet の従量課金のキーは、同時 4 リクエスト、毎分 30 件まで使えます。確認時(2026-11-15)の API リファレンスの値(毎分 30 件、同時 4 件)では、各リクエストに 8 秒以上かからない限り、効いてくるのはレート制限です。下の表は毎分 30 件で計算しています。
| 項目数 | 1 リクエスト 1 項目 | 1 リクエスト 20 項目 |
|---|---|---|
| 10,000 | 5.6 時間 | 17 分 |
| 100,000 | 2.3 日 | 2.8 時間 |
| 1,000,000 | 23 日 | 28 時間 |
毎分 30 リクエストなら、1 つのキーで 1 時間に 1,800 リクエスト、1 日に 43,200 リクエストです。リトライも数に入ります。発生させた 429 はどれも 1 枠を消費します。
2 列目がもっとも大きな手段です。レビューやチケットの件名のような短い項目なら、番号付きリストとして 1 リクエストに 10〜50 件まとめ、JSON 配列で返してもらえます。配列が入力 1 件につき 1 要素あり、それぞれに番号が付いているかを確認してください。アラビア語テキスト分類の記事でこのパターンを紹介しています。長い項目はまとめられません。各リクエストはモデルのコンテキストウィンドウに収まる必要があり、リストが長くなると品質が落ちることもあります。まとめ方を信頼する前に、200 項目で試してください。
キーごとの制限を超えるために、問い合わせずに 1 つのジョブを複数のキーに分散させてはいけません。BroadNet の利用規定(AUP)は、レート、同時実行、予算の制限の回避を禁じています。もっと必要なら BroadNet に問い合わせるか、後述のプランのセッションを使ってください。バッチジョブ計画ツールを使えば、項目数、レイテンシ、制限からこの計算ができます。
再開できるランナーはどんな形か?
このランナーは items.jsonl(1 行に 1 つの {"id", "text"} オブジェクト)を読み、項目ごとに 1 行の結果を results.jsonl に追記します。必要なのは OpenAI Python SDK だけです。
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError
client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"],
max_retries=0, # we retry ourselves, with a cap we can see
timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4")) # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30")) # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6
class Pacer:
"""Spaces request starts at least 60/RPM seconds apart, across all workers."""
def __init__(self, rpm):
self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
async def wait(self):
async with self.lock:
now = time.monotonic()
delay = max(0.0, self.next - now)
self.next = max(now, self.next) + self.gap
await asyncio.sleep(delay)
def retryable(e):
if isinstance(e, (APIConnectionError, APITimeoutError)):
return True
return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)
async def call(item, pacer):
for attempt in range(MAX_ATTEMPTS):
await pacer.wait() # every attempt counts against the rate limit
try:
r = await client.chat.completions.create(
model=MODEL, max_tokens=1500, reasoning_effort="low",
messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
{"role": "user", "content": item["text"]}])
c = r.choices[0]
return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
"output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
except Exception as e:
if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt))) # full jitter, capped
async def run(in_path, out_path):
done = set()
if os.path.exists(out_path): # resume: skip ids that already succeeded
with open(out_path) as f:
done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
print(f"{len(done)} done, {len(todo)} to go")
pacer, queue = Pacer(RPM), asyncio.Queue()
for it in todo:
queue.put_nowait(it)
with open(out_path, "a") as out:
async def worker():
while True:
try:
it = queue.get_nowait()
except asyncio.QueueEmpty:
return
res = await call(it, pacer)
out.write(json.dumps(res, ensure_ascii=False) + "\n")
out.flush() # one line per finished item = the checkpoint
await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))
if __name__ == "__main__":
import sys
asyncio.run(run(sys.argv[1], sys.argv[2]))
python batch_run.py items.jsonl results.jsonl で実行します。私たちはこのファイルをそのまま、ランダムに 429(8%)と 500(5%)を返し、同時 4 件または毎分 30 件の開始を超えるリクエストを拒否するローカルのモックサーバーでテストしました。25 項目が 28 リクエスト(リトライ 3 回)で 55 秒で完了し、どの 60 秒間でも開始数は 30 件を超えませんでした。時間短縮のためにモックの制限を毎分 300 件に上げたうえで、120 項目のジョブを 10 秒後に強制終了したところ、保存済みの 39 件の結果から再開し、重複なしの 120 個の ID で完了しました。
なぜ asyncio.gather ではなくワーカープールなのか?
429 のガイドでは、asyncio.gather をセマフォで囲んでいます。数百件の呼び出しならそれで問題ありません。大きなジョブには、キューから取り出す固定数のワーカープールのほうが適しています。
- メモリ。
gatherは最初に項目ごとにタスクを 1 つ作ります。プールが保持するのは実行中の項目だけです。 - 同時実行数はプールのサイズそのもの。 4 つのワーカーが 5 つのリクエストを同時に開くことはありえません。
- 結果は完了した順にディスクへ流れます。 順序は問わず、ID がキーです。
2 つ目の制限を扱うのが Pacer です。セマフォだけでは同時 4 件を超えないことしか保証できず、リクエストが 1 秒で終わるなら 4 つのワーカーは毎分 240 件を開始し、その大半が 429 になります。Pacer は、リトライを含めすべてのワーカーにわたって開始の間隔を 2 秒空けます。
リトライを安全に保つには?
2 回目で成功する見込みのあるものだけをリトライします。
| レスポンス | 対応 |
|---|---|
| 429 | バックオフしてリトライ。BroadNet のドキュメントには “use response details and bounded backoff”(訳:レスポンスの詳細を使い、上限付きのバックオフを行う)とあります |
| 500、502、503、504、タイムアウト、接続切断 | 上限付きの指数バックオフでリトライ |
| 400、422 | リクエストを修正する。リトライしても同じエラーになる |
| 401、402、403 | ジョブを止める。キー、残高、ポリシーへの対応が必要 |
| 413 | 項目を短くする |
ランナーは SDK 自体のリトライを無効にしている(max_retries=0)ので、リトライ方針はただ 1 つで、上限も明確です。バックオフは完全ジッター付きの指数バックオフで上限は 60 秒なので、同時に失敗したワーカーが同時にリトライすることはありません。6 回試しても失敗した項目は "ok": false として書き出され、ジョブは先に進みます。1 件の不良項目が 100 万件を止めることはありません。
モデル呼び出しには副作用がないので、ここでの配信は「少なくとも 1 回」です。リクエストの途中でプロセスが落ちると、その項目は再起動時にもう一度送られ、料金も 2 回かかります。無駄はそれだけです。ジョブがチケットやメールなど別のシステムにも書き込む場合は、その書き込みを項目 ID で冪等にし、results.jsonl を走査する別のパスで行ってください。冪等な副作用については長時間動くエージェントの記事で詳しく扱っています。
チェックポイントはどう機能するのか?
出力ファイルがチェックポイントです。完了した項目はそれぞれ flush 済みの 1 行なので、クラッシュ、デプロイ、Ctrl-C の後、次の実行はファイルを読み、"ok": true の ID を集め、残りだけをキューに入れます。以前失敗した項目は次の実行でリトライされ、新しい行が追記されます。結果を読むときは、ID ごとに最後の行を採用してください。
何日も続けて安定させるための習慣が 3 つあります。
- 安定した ID。 データベースのキーか入力のハッシュを使い、入力ファイルが変わるとずれる行番号は決して使いません。
finish_reasonを確認する。max_tokensで打ち切られた返信は"ok": trueでも役に立ちません。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論は max_tokens に含まれます。ランナーは BroadNet がドキュメント化しているreasoning_effort="low"を指定し、1,500 トークンの余裕を残しています。- 行ごとに使用量を記録する。
results.jsonlのusageを合計すれば実際のトークン請求額がわかり、見積もりと比べられます。
費用はどうなるか:従量課金か、プランのセッションか?
従量課金では、費用はトークンです。レビュー 10 万件、システムプロンプト 150 トークン、レビュー 150 トークン、推論を低く設定して出力 100 トークンとすると、入力 3,000 万トークン、出力 1,000 万トークンです。DeepSeek V4.1 Flash では 30 × $0.175 + 10 × $0.52 になります。システムプロンプトを先頭に置いてバイト単位で同一に保てば、キャッシュに当たった分のその 1,500 万トークンは、100 万トークンあたり $0.0055 のキャッシュ入力価格で課金されます。どれだけ当たったかは usage の行でわかります。
プランでは、トークンは無料で、コストは時間です。DeepSeek V4.1 Flash のプランのセッションは “runs one request at a time”(訳:1 度に 1 リクエストを実行する)ので、セッションごとに IN_FLIGHT=1 を設定します。セッション 1 つあたりのスループットは、1 日 86,400 ÷ 1 項目あたりの秒数です。BroadNet は標準的な速度を 毎秒約 100 トークン としていますが、レイテンシはプロンプトの長さと推論量で変わるので、50 項目で測ってください。1 項目 3 秒なら、1 セッションで 1 日 28,800 件です。
| ジョブ | セッション数 | 1 項目 3 秒での所要時間 | プラン |
|---|---|---|---|
| 100,000 項目 | 1 | 約 3.5 日 | Orbit 1 週間、セッションあたり $15 |
| 100,000 項目 | 4 | 約 21 時間 | Orbit 1 週間 × 4(セッションごとに 1 つ)、またはセッションごとに約 21 時間分の Meteor(1 時間 $1) |
| 1,000,000 項目 | 6 | 約 6 日 | Orbit 1 週間 × 6 |
プランは “best effort under fair use”(訳:フェアユースの範囲でのベストエフォート)で提供され、BroadNet はプランのキーの毎分リクエスト上限を公表していません。適用される制限はアカウントに表示されます。RPM は推測ではなく、その値に基づいて設定してください。セッションを複数のキーに分ける方法はセッション計画ガイドで説明しています。
BroadNet Inference の位置づけ
BroadNet Inference には Batch API がないので、ランナーを自分で管理して通常のトークン単価で払いたい場合や、DeepSeek V4.1 Flash のプランのセッションで費用を固定したい場合の一括ジョブに向いています。予算の限られた小さなジョブなら、100 万トークンあたり入力 $0.10、出力 $0.22 の Gemma 4 VL 26B を $5 の初回クレジットで動かせます。プロンプトと出力は各リクエストの後に保持されません。1 日待てるジョブで、必要なモデルが 50% のバッチ割引のあるプロバイダーにあるなら、そちらのほうが安いかもしれません。決める前に比較してください。プランと制限は inference.broadnet.ai/plans にあります。
