---
title: "什么是大模型批处理 API？异步任务半价处理 | BroadRouter"
description: "批处理 API 接收一个包含大量大模型请求的文件，在约定的时间窗口内异步运行，最后一次性返回全部结果，通常还有折扣。"
url: https://broadrouter.com/zh/glossary/batch-api/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/batch-api/) (2026-11-16 更新).

# 批处理 API（Batch API）

更新于 2026-11-16

批处理 API 是一种异步的大模型端点：它一次接收大量请求（通常以文件形式），在设定的时间窗口内处理而不是立即处理，最后统一返回结果。OpenAI 和 Anthropic 等服务商对批处理请求的定价低于其标准 API。

又称： 批处理 API、批量 API、批量推理、批量请求、异步批处理、离线推理、Batch API、batch processing API、Message Batches API、OpenAI Batch API、batch inference、async batch requests

很多大模型任务并不需要马上得到答案。批处理 API 用回复速度换来更低的价格和更大的处理量。

## 工作原理

你准备好大量请求，一次性提交，稍后再取回结果。文档最完整的两个版本：

|  | OpenAI Batch API | Anthropic Message Batches API |
| --- | --- | --- |
| 输入 | 一个 `.jsonl` 文件，每行一个请求 | 一组 Messages 请求 |
| 价格 | “50% cost discount compared to synchronous APIs”（译文：与同步 API 相比成本优惠 50%） | “50 percent discount on all usage”（译文：所有用量优惠 50%） |
| 完成时间 | “Each batch completes within 24 hours (and often more quickly)“（译文：每个批次在 24 小时内完成，往往更快） | 大多数在 1 小时内；24 小时内未完成则过期 |
| 规模上限 | 50,000 个请求，输入文件 200 MB | 每批 100,000 个请求或 256 MB |
| 速率限制 | 与各模型的限制分开计算 | 同样适用于排队中的批处理请求 |

在 OpenAI 上，你上传文件，用 `completion_window: "24h"` 创建批次，轮询状态，然后下载输出文件。两个 API 都要求每个请求有唯一的 `custom_id`，因为结果返回的顺序可能和输入不同。Anthropic 会保留结果 29 天，而且它的批处理折扣可以和[提示词缓存](https://broadrouter.com/zh/glossary/cached-input-tokens/)折扣叠加。

## 为什么重要

适合的场景有评测、给大型数据集分类、批量摘要和回填历史数据。OpenAI 的指南把运行评测和对大型数据集分类列为典型用途。不适合的是任何有用户在等结果的场景。

省钱是真的，但有上限。在这些服务商那里，批处理让 token 单价减半，却不会减少你发送的[输入和输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) 数量。精简提示词依然重要。

批处理还绕开了[速率限制](https://broadrouter.com/zh/glossary/rate-limit/)的问题。你不必自己处理 429 和退避，由服务商来调度任务。

## 在 BroadNet Inference 上

BroadNet 的文档没有列出批处理 API、文件端点或批处理折扣。在 BroadNet 上跑批量任务，就是在密钥限制内并行发送同步请求：按量付费密钥每分钟 30 个请求，同时进行中的请求 4 个。按照[错误与重试指南](https://broadrouter.com/zh/guides/errors-and-retries/)的做法，用有上限的指数退避处理 429 和 5xx 响应。

对于在 DeepSeek V4.1 Flash 上运行的长任务，包月套餐的一个会话同一时间处理一个请求，没有 token 计量，所以成本由时间而不是用量决定。用[包月与按 token 计费计算器](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/)比较两种方式在你的任务规模下的成本，用[大模型批量任务规划器](https://broadrouter.com/tools/llm-batch-job-planner/)估算在你的限制下需要运行多久，以及赶上截止时间需要多少个会话。

## 常见问题

### 批处理 API 便宜多少？

OpenAI 和 Anthropic 的文档都写明，与各自的标准 API 相比优惠 50%。Anthropic 的折扣适用于输入、输出和特殊 token。

### 一个批处理任务要多久？

OpenAI 表示每个批次在 24 小时内完成，往往更快。Anthropic 表示大多数批次在 1 小时内完成，如果 24 小时内没有处理完就会过期。

### BroadNet 有批处理 API 吗？

BroadNet 的文档没有列出。你可以在密钥限制内并行发送请求来跑批量任务，或者在包月套餐上运行 DeepSeek V4.1 Flash。

## 另请参阅

-   [速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/) (术语)
-   [并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/) (术语)
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/) (术语)
-   [按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/) (术语)
-   [输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) (术语)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/) (指南)
-   [大模型 API 报 429 错误怎么办：退避、抖动与并发限制](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/) (文章)
-   [上线新功能前，怎样估算大模型 API 费用](https://broadrouter.com/zh/blog/estimate-llm-api-cost-before-launch/) (文章)
-   [没有 Batch API 也能批量调用大模型：可断点续跑的执行器](https://broadrouter.com/zh/blog/llm-batch-processing-without-batch-api/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-batch-api&utm_content=page-cta) ·

**来源**

-   [OpenAI：Batch API 指南（2026-11-16 查阅）](https://developers.openai.com/api/docs/guides/batch)
-   [Anthropic：使用 Message Batches API 进行批处理（2026-11-16 查阅）](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
-   [BroadNet Inference API 参考（2026-11-16 查阅） （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-batch-api&utm_content=sources)
