---
title: "Ano ang batch API sa LLM? Async na job sa kalahating presyo"
description: "Tumatanggap ang batch API ng file ng maraming LLM request, pinapatakbo nang async sa loob ng isang time window at ibinabalik ang lahat, kadalasang may discount."
url: https://broadrouter.com/fil/glossary/batch-api/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/batch-api/) (na-update noong 2026-11-16).

# Batch API

Na-update 2026-11-16

Ang batch API ay asynchronous na LLM endpoint na tumatanggap ng maraming request nang sabay, kadalasan bilang file, pinoproseso ang mga ito sa loob ng nakatakdang window sa halip na agad-agad, at ibinabalik nang sabay-sabay ang mga resulta. May discount ang presyo ng batch request ng mga provider gaya ng OpenAI at Anthropic kumpara sa standard API nila.

Tinatawag ding: batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests, batch request, maramihang request

Maraming LLM job ang hindi kailangan ng sagot ngayon din. Ipinagpapalit ng batch API ang bilis ng sagot para sa mas mababang presyo at mas malaking volume.

## Paano ito gumagana

Maghahanda ka ng maraming request, isusumite mo nang sabay, at kukunin mo ang mga resulta mamaya. Ang dalawang bersyong pinakamahusay ang dokumentasyon:

|  | OpenAI Batch API | Anthropic Message Batches API |
| --- | --- | --- |
| Input | Isang `.jsonl` file, isang request kada linya | Listahan ng Messages request |
| Presyo | “50% cost discount compared to synchronous APIs” (Salin ng BroadRouter: “50% discount sa gastos kumpara sa synchronous API”) | “50 percent discount on all usage” (Salin ng BroadRouter: “50 porsyentong discount sa lahat ng paggamit”) |
| Tagal | “Each batch completes within 24 hours (and often more quickly)” (Salin ng BroadRouter: “Natatapos ang bawat batch sa loob ng 24 oras, at madalas ay mas mabilis”) | Karamihan sa loob ng 1 oras; nag-e-expire kung hindi tapos sa loob ng 24 oras |
| Limit sa laki | 50,000 request, 200 MB na input file | 100,000 request o 256 MB kada batch |
| Rate limit | Hiwalay sa per-model na limit | Saklaw din ang mga naka-queue na batch request |

Sa OpenAI, ia-upload mo ang file, gagawa ng batch na may `completion_window: "24h"`, titingnan ang status nito at ida-download ang output file. Parehong humihingi ang dalawang API ng natatanging `custom_id` kada request, dahil puwedeng bumalik ang mga resulta sa ibang pagkakasunod kaysa sa input. Itinatago ng Anthropic ang mga resulta nang 29 araw, at puwedeng pagsamahin ang discount ng batch nito at ng [prompt caching](https://broadrouter.com/fil/glossary/cached-input-tokens/).

## Bakit ito mahalaga

Bagay ito sa evaluations, pag-classify ng malaking dataset, maramihang summary at back-filling. Binanggit ng gabay ng OpenAI ang pagpapatakbo ng evaluations at pag-classify ng malalaking dataset bilang karaniwang gamit. Hindi ito bagay sa anumang hinihintay ng user.

Totoo ang tipid pero may hangganan. Hinahati ng batch ang presyo kada token sa mga provider na iyon; hindi nito binabawasan ang dami ng [input at output tokens](https://broadrouter.com/fil/glossary/input-and-output-tokens/) na ipinapadala mo. Mahalaga pa rin ang pagpapaikli ng prompt.

Naiiwasan din ng batch ang problema sa [rate limit](https://broadrouter.com/fil/glossary/rate-limit/). Sa halip na ikaw ang humawak sa mga 429 at backoff, ang provider ang nagsi-schedule ng trabaho.

## Sa BroadNet Inference

Walang nakalistang batch API, files endpoint o batch discount sa docs ng BroadNet. Sa BroadNet, ang bulk work ay mga synchronous request na pinapatakbo nang parallel sa loob ng limit ng key mo: 30 request kada minuto at 4 na sabay-sabay sa isang pay-as-you-go key. Hawakan ang mga 429 at 5xx response gamit ang may-hangganang exponential backoff, gaya ng ipinapakita ng [gabay sa errors at retries](https://broadrouter.com/fil/guides/errors-and-retries/).

Para sa mahahabang job sa DeepSeek V4.1 Flash, isang request lang kada pagkakataon ang pinapatakbo ng isang flat plan session at walang token meter, kaya oras ang nagtatakda ng gastos, hindi volume. Gamitin ang [flat-rate vs per-token calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) para ikumpara ang dalawa para sa laki ng job mo, at ang [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) para sa tagal ng run sa ilalim ng mga limit mo at sa dami ng session na kailangan para sa deadline.

## Mga tanong

### Gaano kamura ang batch API?

Parehong nakadokumento sa OpenAI at Anthropic ang 50% na discount kumpara sa standard API nila. Sa Anthropic, sakop ng discount ang input, output at special tokens.

### Gaano katagal ang isang batch?

Ayon sa OpenAI, natatapos ang bawat batch sa loob ng 24 oras, kadalasang mas maaga. Sabi ng Anthropic, natatapos ang karamihan ng batch sa loob ng 1 oras at nag-e-expire kung hindi tapos ang processing sa loob ng 24 oras.

### May batch API ba ang BroadNet?

Walang nakalista sa docs ng BroadNet. Puwede kang magpatakbo ng bulk job sa pamamagitan ng pagpapadala ng mga request nang parallel sa loob ng limit ng key mo, o sa flat plan para sa DeepSeek V4.1 Flash.

## Tingnan din

-   [Rate limit](https://broadrouter.com/fil/glossary/rate-limit/) (termino)
-   [Concurrency](https://broadrouter.com/fil/glossary/concurrency/) (termino)
-   [Throughput](https://broadrouter.com/fil/glossary/throughput/) (termino)
-   [Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/) (termino)
-   [Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/) (termino)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/) (gabay)
-   [Paano ayusin ang 429 error sa LLM API: backoff, jitter at limiter](https://broadrouter.com/fil/blog/handle-llm-api-429-rate-limits/) (artikulo)
-   [Paano tantiyahin ang gastos sa LLM API bago mag-launch ng feature](https://broadrouter.com/fil/blog/estimate-llm-api-cost-before-launch/) (artikulo)
-   [LLM batch processing nang walang Batch API: resumable na runner](https://broadrouter.com/fil/blog/llm-batch-processing-without-batch-api/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-batch-api&utm_content=page-cta) ·

**Mga source**

-   [OpenAI, gabay sa Batch API (sinuri noong 2026-11-16)](https://developers.openai.com/api/docs/guides/batch)
-   [Anthropic, batch processing gamit ang Message Batches API (sinuri noong 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
-   [API reference ng BroadNet Inference (sinuri noong 2026-11-16) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-batch-api&utm_content=sources)
