BroadRouter
始める

バッチ API(Batch API)

更新日

バッチ API とは、多数のリクエストを通常はファイルとして一度に受け付け、すぐにではなく決められた時間枠の中で処理し、結果をまとめて返す非同期の LLM エンドポイントです。OpenAI や Anthropic などの事業者は、バッチリクエストを標準 API より割り引いた価格にしています。

別名: バッチ API、バッチ処理 API、バッチ推論、一括処理、非同期バッチ、Batch API、batch processing API、Message Batches API、OpenAI Batch API、batch inference、async batch requests

LLM のジョブの多くは、今すぐ答えが必要なわけではありません。バッチ API は、応答の速さと引き換えに、より安い価格とより大きな処理量を提供します。

しくみ

多数のリクエストを用意してまとめて送信し、結果は後で受け取ります。ドキュメントが最も整っている 2 つの例です。

OpenAI Batch API Anthropic Message Batches API
入力 .jsonl ファイル、1 行に 1 リクエスト Messages リクエストのリスト
価格 “50% cost discount compared to synchronous APIs”(訳:同期 API と比べて 50% の割引) “50 percent discount on all usage”(訳:すべての利用量が 50% 割引)
完了までの時間 “Each batch completes within 24 hours (and often more quickly)“(訳:各バッチは 24 時間以内に完了し、多くの場合はそれより早い) ほとんどが 1 時間以内、24 時間以内に終わらなければ期限切れ
サイズ上限 50,000 リクエスト、入力ファイル 200 MB 1 バッチあたり 100,000 リクエストまたは 256 MB
レート制限 モデルごとの上限とは別枠 キューに入ったバッチリクエストにも適用

OpenAI では、ファイルをアップロードし、completion_window: "24h" を指定してバッチを作成し、ステータスをポーリングして出力ファイルをダウンロードします。結果は入力と異なる順序で返ることがあるため、どちらの API もリクエストごとに一意の custom_id を必要とします。Anthropic は結果を 29 日間保持し、バッチの割引とプロンプトキャッシュの割引は併用できます。

なぜ重要か

向いているのは、評価、大規模データセットの分類、一括の要約、過去データの埋め戻しです。OpenAI のガイドも、評価の実行と大規模データセットの分類を典型的な用途に挙げています。ユーザーが結果を待っているものには向きません。

節約効果は本物ですが、限りがあります。これらの事業者ではバッチでトークン単価が半分になりますが、送る入力トークンと出力トークンの量が減るわけではありません。プロンプトを削ることは引き続き重要です。

バッチはレート制限の問題も回避します。429 とバックオフを自分で管理する代わりに、事業者が処理をスケジュールします。

BroadNet Inference の場合

BroadNet のドキュメントには、バッチ API、ファイルのエンドポイント、バッチ割引のいずれも記載されていません。BroadNet で大量の処理をするには、キーの上限の範囲で同期リクエストを並列に実行します。従量課金キーなら、1 分あたり 30 リクエスト、同時実行 4 件です。エラーとリトライのガイドにあるとおり、429 と 5xx の応答は上限付きの指数バックオフで処理してください。

DeepSeek V4.1 Flash での長いジョブなら、定額プランのセッションは一度に 1 リクエストを処理し、トークンの計量がないので、コストは量ではなく時間で決まります。ジョブの規模に応じた両者の比較には定額とトークン課金の計算ツールを、上限の範囲での実行時間や締め切りに必要なセッション数には LLM バッチジョブ計画ツールを使ってください。

よくある質問

バッチ API はどのくらい安いですか?

OpenAI と Anthropic はどちらも、標準 API と比べて 50% の割引をドキュメントに記載しています。Anthropic の割引は、入力・出力・特殊トークンのすべてに適用されます。

バッチの処理にはどのくらい時間がかかりますか?

OpenAI は、各バッチが 24 時間以内に、多くの場合はそれより早く完了するとしています。Anthropic は、ほとんどのバッチが 1 時間以内に終わり、24 時間以内に処理が終わらなければ期限切れになるとしています。

BroadNet にバッチ API はありますか?

BroadNet のドキュメントには記載がありません。キーの上限の範囲でリクエストを並列に送るか、DeepSeek V4.1 Flash の定額プランを使えば、大量のジョブを処理できます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く