LLM のジョブの多くは、今すぐ答えが必要なわけではありません。バッチ API は、応答の速さと引き換えに、より安い価格とより大きな処理量を提供します。
しくみ
多数のリクエストを用意してまとめて送信し、結果は後で受け取ります。ドキュメントが最も整っている 2 つの例です。
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| 入力 | .jsonl ファイル、1 行に 1 リクエスト |
Messages リクエストのリスト |
| 価格 | “50% cost discount compared to synchronous APIs”(訳:同期 API と比べて 50% の割引) | “50 percent discount on all usage”(訳:すべての利用量が 50% 割引) |
| 完了までの時間 | “Each batch completes within 24 hours (and often more quickly)“(訳:各バッチは 24 時間以内に完了し、多くの場合はそれより早い) | ほとんどが 1 時間以内、24 時間以内に終わらなければ期限切れ |
| サイズ上限 | 50,000 リクエスト、入力ファイル 200 MB | 1 バッチあたり 100,000 リクエストまたは 256 MB |
| レート制限 | モデルごとの上限とは別枠 | キューに入ったバッチリクエストにも適用 |
OpenAI では、ファイルをアップロードし、completion_window: "24h" を指定してバッチを作成し、ステータスをポーリングして出力ファイルをダウンロードします。結果は入力と異なる順序で返ることがあるため、どちらの API もリクエストごとに一意の custom_id を必要とします。Anthropic は結果を 29 日間保持し、バッチの割引とプロンプトキャッシュの割引は併用できます。
なぜ重要か
向いているのは、評価、大規模データセットの分類、一括の要約、過去データの埋め戻しです。OpenAI のガイドも、評価の実行と大規模データセットの分類を典型的な用途に挙げています。ユーザーが結果を待っているものには向きません。
節約効果は本物ですが、限りがあります。これらの事業者ではバッチでトークン単価が半分になりますが、送る入力トークンと出力トークンの量が減るわけではありません。プロンプトを削ることは引き続き重要です。
バッチはレート制限の問題も回避します。429 とバックオフを自分で管理する代わりに、事業者が処理をスケジュールします。
BroadNet Inference の場合
BroadNet のドキュメントには、バッチ API、ファイルのエンドポイント、バッチ割引のいずれも記載されていません。BroadNet で大量の処理をするには、キーの上限の範囲で同期リクエストを並列に実行します。従量課金キーなら、1 分あたり 30 リクエスト、同時実行 4 件です。エラーとリトライのガイドにあるとおり、429 と 5xx の応答は上限付きの指数バックオフで処理してください。
DeepSeek V4.1 Flash での長いジョブなら、定額プランのセッションは一度に 1 リクエストを処理し、トークンの計量がないので、コストは量ではなく時間で決まります。ジョブの規模に応じた両者の比較には定額とトークン課金の計算ツールを、上限の範囲での実行時間や締め切りに必要なセッション数には LLM バッチジョブ計画ツールを使ってください。