---
title: "Apakah itu batch API untuk LLM? Kerja async separuh harga"
description: "Batch API menerima fail berisi banyak permintaan LLM, menjalankannya secara tak segerak dalam tempoh tertentu dan memulangkan semua hasil, biasanya dengan diskaun."
url: https://broadrouter.com/ms/glossary/batch-api/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/batch-api/) (dikemas kini 2026-11-16).

# API kelompok (batch API)

Dikemas kini 2026-11-16

Batch API ialah endpoint LLM tak segerak yang menerima banyak permintaan sekali gus, biasanya sebagai fail, memprosesnya dalam tempoh yang ditetapkan dan bukan serta-merta, dan memulangkan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic mengenakan harga diskaun untuk permintaan kelompok berbanding API standard mereka.

Juga dikenali sebagai: batch API, API kelompok, pemprosesan kelompok, permintaan kelompok, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Banyak kerja LLM tidak memerlukan jawapan sekarang. Batch API menukar kelajuan jawapan dengan harga lebih rendah dan volum lebih tinggi.

## Cara ia berfungsi

Anda menyediakan banyak permintaan, menghantarnya bersama-sama, dan mengambil hasilnya kemudian. Dua versi yang paling baik didokumenkan:

|  | OpenAI Batch API | Anthropic Message Batches API |
| --- | --- | --- |
| Input | Satu fail `.jsonl`, satu permintaan setiap baris | Senarai permintaan Messages |
| Harga | “50% cost discount compared to synchronous APIs” (Terjemahan BroadRouter: “diskaun kos 50% berbanding API segerak”) | “50 percent discount on all usage” (Terjemahan BroadRouter: “diskaun 50 peratus untuk semua penggunaan”) |
| Tempoh siap | “Each batch completes within 24 hours (and often more quickly)” (Terjemahan BroadRouter: “Setiap kelompok selesai dalam 24 jam, dan selalunya lebih cepat”) | Kebanyakan dalam 1 jam; tamat tempoh jika tidak selesai dalam 24 jam |
| Had saiz | 50,000 permintaan, fail input 200 MB | 100,000 permintaan atau 256 MB setiap kelompok |
| Had kadar | Berasingan daripada had setiap model | Terpakai pada permintaan kelompok dalam baris gilir juga |

Dengan OpenAI, anda memuat naik fail, mencipta kelompok dengan `completion_window: "24h"`, menyemak statusnya dan memuat turun fail output. Kedua-dua API memerlukan `custom_id` yang unik bagi setiap permintaan, kerana hasil boleh dipulangkan dalam susunan berbeza daripada input. Anthropic menyimpan hasil selama 29 hari, dan diskaun kelompoknya boleh digabungkan dengan diskaun [prompt caching](https://broadrouter.com/ms/glossary/cached-input-tokens/).

## Mengapa ia penting

Kes yang sesuai ialah penilaian, mengklasifikasikan set data besar, ringkasan pukal dan pengisian data lama (back-filling). Panduan OpenAI menamakan menjalankan penilaian dan mengklasifikasikan set data besar sebagai kegunaan biasa. Kes yang tidak sesuai ialah apa-apa sahaja yang sedang ditunggu oleh pengguna.

Penjimatannya nyata tetapi terhad. Kelompok mengurangkan separuh harga token pada penyedia tersebut; ia tidak mengurangkan bilangan [token input dan output](https://broadrouter.com/ms/glossary/input-and-output-tokens/) yang anda hantar. Memendekkan prompt masih penting.

Kelompok juga mengelakkan masalah [had kadar](https://broadrouter.com/ms/glossary/rate-limit/). Daripada anda sendiri menguruskan 429 dan backoff, penyedia yang menjadualkan kerja itu.

## Di BroadNet Inference

Dokumentasi BroadNet tidak menyenaraikan batch API, endpoint fail atau diskaun kelompok. Kerja pukal di BroadNet bermakna permintaan segerak yang dijalankan secara selari dalam had kunci anda: 30 permintaan seminit dan 4 serentak pada kunci bayar ikut guna. Kendalikan respons 429 dan 5xx dengan backoff eksponen yang terhad, seperti yang ditunjukkan dalam [panduan ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

Untuk kerja panjang pada DeepSeek V4.1 Flash, satu sesi pelan kadar tetap menjalankan satu permintaan pada satu masa tanpa meter token, jadi kos ditentukan oleh masa, bukan volum. Gunakan [kalkulator kadar tetap vs setiap token](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) untuk membandingkan kedua-duanya bagi saiz kerja anda, dan [perancang kerja kelompok LLM](https://broadrouter.com/tools/llm-batch-job-planner/) untuk masa larian di bawah had anda dan bilangan sesi yang diperlukan untuk tarikh akhir.

## Soalan lazim

### Berapakah lebih murah batch API?

OpenAI dan Anthropic kedua-duanya mendokumenkan diskaun 50% berbanding API standard mereka. Diskaun Anthropic terpakai pada token input, output dan token khas.

### Berapa lamakah satu kelompok mengambil masa?

OpenAI menyatakan setiap kelompok selesai dalam 24 jam, selalunya lebih cepat. Anthropic menyatakan kebanyakan kelompok selesai dalam 1 jam dan tamat tempoh jika pemprosesan tidak selesai dalam 24 jam.

### Adakah BroadNet mempunyai batch API?

Dokumentasi BroadNet tidak menyenaraikannya. Anda boleh menjalankan kerja pukal dengan menghantar permintaan secara selari dalam had kunci anda, atau pada pelan kadar tetap untuk DeepSeek V4.1 Flash.

## Lihat juga

-   [Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/) (istilah)
-   [Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/) (istilah)
-   [Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/) (istilah)
-   [Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/) (istilah)
-   [Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/) (istilah)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/) (artikel)
-   [Cara menganggar kos API LLM sebelum melancarkan ciri baharu](https://broadrouter.com/ms/blog/estimate-llm-api-cost-before-launch/) (artikel)
-   [Pemprosesan kelompok LLM tanpa Batch API: pelari boleh sambung](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-batch-api&utm_content=page-cta) ·

**Sumber**

-   [OpenAI, panduan Batch API (disemak 2026-11-16)](https://developers.openai.com/api/docs/guides/batch)
-   [Anthropic, pemprosesan kelompok dengan Message Batches API (disemak 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
-   [Rujukan API BroadNet Inference (disemak 2026-11-16) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-batch-api&utm_content=sources)
