BroadRouter
开始使用

批处理 API(Batch API)

更新于

批处理 API 是一种异步的大模型端点:它一次接收大量请求(通常以文件形式),在设定的时间窗口内处理而不是立即处理,最后统一返回结果。OpenAI 和 Anthropic 等服务商对批处理请求的定价低于其标准 API。

又称: 批处理 API、批量 API、批量推理、批量请求、异步批处理、离线推理、Batch API、batch processing API、Message Batches API、OpenAI Batch API、batch inference、async batch requests

很多大模型任务并不需要马上得到答案。批处理 API 用回复速度换来更低的价格和更大的处理量。

工作原理

你准备好大量请求,一次性提交,稍后再取回结果。文档最完整的两个版本:

OpenAI Batch API Anthropic Message Batches API
输入 一个 .jsonl 文件,每行一个请求 一组 Messages 请求
价格 “50% cost discount compared to synchronous APIs”(译文:与同步 API 相比成本优惠 50%) “50 percent discount on all usage”(译文:所有用量优惠 50%)
完成时间 “Each batch completes within 24 hours (and often more quickly)“(译文:每个批次在 24 小时内完成,往往更快) 大多数在 1 小时内;24 小时内未完成则过期
规模上限 50,000 个请求,输入文件 200 MB 每批 100,000 个请求或 256 MB
速率限制 与各模型的限制分开计算 同样适用于排队中的批处理请求

在 OpenAI 上,你上传文件,用 completion_window: "24h" 创建批次,轮询状态,然后下载输出文件。两个 API 都要求每个请求有唯一的 custom_id,因为结果返回的顺序可能和输入不同。Anthropic 会保留结果 29 天,而且它的批处理折扣可以和提示词缓存折扣叠加。

为什么重要

适合的场景有评测、给大型数据集分类、批量摘要和回填历史数据。OpenAI 的指南把运行评测和对大型数据集分类列为典型用途。不适合的是任何有用户在等结果的场景。

省钱是真的,但有上限。在这些服务商那里,批处理让 token 单价减半,却不会减少你发送的输入和输出 token 数量。精简提示词依然重要。

批处理还绕开了速率限制的问题。你不必自己处理 429 和退避,由服务商来调度任务。

在 BroadNet Inference 上

BroadNet 的文档没有列出批处理 API、文件端点或批处理折扣。在 BroadNet 上跑批量任务,就是在密钥限制内并行发送同步请求:按量付费密钥每分钟 30 个请求,同时进行中的请求 4 个。按照错误与重试指南的做法,用有上限的指数退避处理 429 和 5xx 响应。

对于在 DeepSeek V4.1 Flash 上运行的长任务,包月套餐的一个会话同一时间处理一个请求,没有 token 计量,所以成本由时间而不是用量决定。用包月与按 token 计费计算器比较两种方式在你的任务规模下的成本,用大模型批量任务规划器估算在你的限制下需要运行多久,以及赶上截止时间需要多少个会话。

常见问题

批处理 API 便宜多少?

OpenAI 和 Anthropic 的文档都写明,与各自的标准 API 相比优惠 50%。Anthropic 的折扣适用于输入、输出和特殊 token。

一个批处理任务要多久?

OpenAI 表示每个批次在 24 小时内完成,往往更快。Anthropic 表示大多数批次在 1 小时内完成,如果 24 小时内没有处理完就会过期。

BroadNet 有批处理 API 吗?

BroadNet 的文档没有列出。你可以在密钥限制内并行发送请求来跑批量任务,或者在包月套餐上运行 DeepSeek V4.1 Flash。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity