很多大模型任务并不需要马上得到答案。批处理 API 用回复速度换来更低的价格和更大的处理量。
工作原理
你准备好大量请求,一次性提交,稍后再取回结果。文档最完整的两个版本:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| 输入 | 一个 .jsonl 文件,每行一个请求 |
一组 Messages 请求 |
| 价格 | “50% cost discount compared to synchronous APIs”(译文:与同步 API 相比成本优惠 50%) | “50 percent discount on all usage”(译文:所有用量优惠 50%) |
| 完成时间 | “Each batch completes within 24 hours (and often more quickly)“(译文:每个批次在 24 小时内完成,往往更快) | 大多数在 1 小时内;24 小时内未完成则过期 |
| 规模上限 | 50,000 个请求,输入文件 200 MB | 每批 100,000 个请求或 256 MB |
| 速率限制 | 与各模型的限制分开计算 | 同样适用于排队中的批处理请求 |
在 OpenAI 上,你上传文件,用 completion_window: "24h" 创建批次,轮询状态,然后下载输出文件。两个 API 都要求每个请求有唯一的 custom_id,因为结果返回的顺序可能和输入不同。Anthropic 会保留结果 29 天,而且它的批处理折扣可以和提示词缓存折扣叠加。
为什么重要
适合的场景有评测、给大型数据集分类、批量摘要和回填历史数据。OpenAI 的指南把运行评测和对大型数据集分类列为典型用途。不适合的是任何有用户在等结果的场景。
省钱是真的,但有上限。在这些服务商那里,批处理让 token 单价减半,却不会减少你发送的输入和输出 token 数量。精简提示词依然重要。
批处理还绕开了速率限制的问题。你不必自己处理 429 和退避,由服务商来调度任务。
在 BroadNet Inference 上
BroadNet 的文档没有列出批处理 API、文件端点或批处理折扣。在 BroadNet 上跑批量任务,就是在密钥限制内并行发送同步请求:按量付费密钥每分钟 30 个请求,同时进行中的请求 4 个。按照错误与重试指南的做法,用有上限的指数退避处理 429 和 5xx 响应。
对于在 DeepSeek V4.1 Flash 上运行的长任务,包月套餐的一个会话同一时间处理一个请求,没有 token 计量,所以成本由时间而不是用量决定。用包月与按 token 计费计算器比较两种方式在你的任务规模下的成本,用大模型批量任务规划器估算在你的限制下需要运行多久,以及赶上截止时间需要多少个会话。