Maraming LLM job ang hindi kailangan ng sagot ngayon din. Ipinagpapalit ng batch API ang bilis ng sagot para sa mas mababang presyo at mas malaking volume.
Paano ito gumagana
Maghahanda ka ng maraming request, isusumite mo nang sabay, at kukunin mo ang mga resulta mamaya. Ang dalawang bersyong pinakamahusay ang dokumentasyon:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Input | Isang .jsonl file, isang request kada linya |
Listahan ng Messages request |
| Presyo | “50% cost discount compared to synchronous APIs” (Salin ng BroadRouter: “50% discount sa gastos kumpara sa synchronous API”) | “50 percent discount on all usage” (Salin ng BroadRouter: “50 porsyentong discount sa lahat ng paggamit”) |
| Tagal | “Each batch completes within 24 hours (and often more quickly)” (Salin ng BroadRouter: “Natatapos ang bawat batch sa loob ng 24 oras, at madalas ay mas mabilis”) | Karamihan sa loob ng 1 oras; nag-e-expire kung hindi tapos sa loob ng 24 oras |
| Limit sa laki | 50,000 request, 200 MB na input file | 100,000 request o 256 MB kada batch |
| Rate limit | Hiwalay sa per-model na limit | Saklaw din ang mga naka-queue na batch request |
Sa OpenAI, ia-upload mo ang file, gagawa ng batch na may completion_window: "24h", titingnan ang status nito at ida-download ang output file. Parehong humihingi ang dalawang API ng natatanging custom_id kada request, dahil puwedeng bumalik ang mga resulta sa ibang pagkakasunod kaysa sa input. Itinatago ng Anthropic ang mga resulta nang 29 araw, at puwedeng pagsamahin ang discount ng batch nito at ng prompt caching.
Bakit ito mahalaga
Bagay ito sa evaluations, pag-classify ng malaking dataset, maramihang summary at back-filling. Binanggit ng gabay ng OpenAI ang pagpapatakbo ng evaluations at pag-classify ng malalaking dataset bilang karaniwang gamit. Hindi ito bagay sa anumang hinihintay ng user.
Totoo ang tipid pero may hangganan. Hinahati ng batch ang presyo kada token sa mga provider na iyon; hindi nito binabawasan ang dami ng input at output tokens na ipinapadala mo. Mahalaga pa rin ang pagpapaikli ng prompt.
Naiiwasan din ng batch ang problema sa rate limit. Sa halip na ikaw ang humawak sa mga 429 at backoff, ang provider ang nagsi-schedule ng trabaho.
Sa BroadNet Inference
Walang nakalistang batch API, files endpoint o batch discount sa docs ng BroadNet. Sa BroadNet, ang bulk work ay mga synchronous request na pinapatakbo nang parallel sa loob ng limit ng key mo: 30 request kada minuto at 4 na sabay-sabay sa isang pay-as-you-go key. Hawakan ang mga 429 at 5xx response gamit ang may-hangganang exponential backoff, gaya ng ipinapakita ng gabay sa errors at retries.
Para sa mahahabang job sa DeepSeek V4.1 Flash, isang request lang kada pagkakataon ang pinapatakbo ng isang flat plan session at walang token meter, kaya oras ang nagtatakda ng gastos, hindi volume. Gamitin ang flat-rate vs per-token calculator para ikumpara ang dalawa para sa laki ng job mo, at ang LLM batch job planner para sa tagal ng run sa ilalim ng mga limit mo at sa dami ng session na kailangan para sa deadline.