---
title: "Apa itu batch API untuk LLM? Job async setengah harga"
description: "Batch API menerima file berisi banyak request LLM, menjalankannya secara asinkron dalam jangka waktu tertentu, lalu mengembalikan semua hasil, biasanya berdiskon."
url: https://broadrouter.com/id/glossary/batch-api/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/batch-api/) (diperbarui 2026-11-16).

# Batch API

Diperbarui 2026-11-16

Batch API adalah endpoint LLM asinkron yang menerima banyak request sekaligus, biasanya sebagai file, memprosesnya dalam jangka waktu tertentu alih-alih seketika, lalu mengembalikan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic memberi harga request batch dengan diskon dibanding API standar mereka.

Disebut juga: batch API, pemrosesan batch, request batch, inferensi batch, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Banyak pekerjaan LLM tidak butuh jawaban saat itu juga. Batch API menukar kecepatan balasan dengan harga lebih rendah dan volume lebih besar.

## Cara kerjanya

Anda menyiapkan banyak request, mengirimkannya bersama-sama, lalu mengambil hasilnya nanti. Dua versi yang dokumentasinya paling lengkap:

|  | OpenAI Batch API | Anthropic Message Batches API |
| --- | --- | --- |
| Input | File `.jsonl`, satu request per baris | Daftar request Messages |
| Harga | “50% cost discount compared to synchronous APIs” (terjemahan: diskon biaya 50% dibanding API sinkron) | “50 percent discount on all usage” (terjemahan: diskon 50 persen untuk semua pemakaian) |
| Waktu penyelesaian | “Each batch completes within 24 hours (and often more quickly)” (terjemahan: setiap batch selesai dalam 24 jam, dan sering lebih cepat) | Sebagian besar dalam 1 jam; kedaluwarsa jika belum selesai dalam 24 jam |
| Batas ukuran | 50.000 request, file input 200 MB | 100.000 request atau 256 MB per batch |
| Rate limit | Terpisah dari batas per model | Juga berlaku untuk request batch dalam antrean |

Di OpenAI, Anda mengunggah file, membuat batch dengan `completion_window: "24h"`, memantau statusnya, lalu mengunduh file output. Kedua API mewajibkan `custom_id` unik per request, karena hasil bisa kembali dalam urutan berbeda dari input. Anthropic menyimpan hasil selama 29 hari, dan diskon batch serta diskon [prompt caching](https://broadrouter.com/id/glossary/cached-input-tokens/) miliknya bisa digabungkan.

## Kenapa ini penting

Kasus yang cocok adalah evaluasi, klasifikasi dataset besar, ringkasan massal, dan pengisian data lama (back-filling). Panduan OpenAI menyebut menjalankan evaluasi dan mengklasifikasi dataset besar sebagai penggunaan umum. Yang tidak cocok adalah apa pun yang sedang ditunggu pengguna.

Penghematannya nyata tetapi terbatas. Batch memangkas harga token separuh di penyedia tersebut; batch tidak mengurangi jumlah [token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/) yang Anda kirim. Memangkas prompt tetap penting.

Batch juga menghindari masalah [rate limit](https://broadrouter.com/id/glossary/rate-limit/). Alih-alih mengelola 429 dan backoff sendiri, penyedia yang menjadwalkan pekerjaannya.

## Di BroadNet Inference

Dokumentasi BroadNet tidak mencantumkan batch API, endpoint file, atau diskon batch. Pekerjaan massal di BroadNet berarti request sinkron yang dijalankan paralel dalam batas kunci API Anda: 30 request per menit dan 4 request berjalan bersamaan pada kunci bayar sesuai pemakaian. Tangani respons 429 dan 5xx dengan exponential backoff yang dibatasi, seperti ditunjukkan [panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

Untuk pekerjaan panjang dengan DeepSeek V4.1 Flash, sesi paket harga tetap menjalankan satu request pada satu waktu tanpa meteran token, sehingga biaya ditentukan oleh waktu, bukan volume. Gunakan [kalkulator harga tetap vs per token](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) untuk membandingkan keduanya sesuai ukuran pekerjaan Anda, dan [perencana job batch LLM](https://broadrouter.com/tools/llm-batch-job-planner/) untuk waktu jalan dalam batas Anda serta jumlah sesi yang dibutuhkan untuk mengejar tenggat.

## Pertanyaan umum

### Seberapa murah batch API?

OpenAI dan Anthropic sama-sama mendokumentasikan diskon 50% dibanding API standar mereka. Diskon Anthropic berlaku untuk token input, output, dan token khusus.

### Berapa lama satu batch selesai?

OpenAI menyatakan setiap batch selesai dalam 24 jam, sering lebih cepat. Anthropic mengatakan sebagian besar batch selesai dalam 1 jam dan kedaluwarsa jika pemrosesan belum selesai dalam 24 jam.

### Apakah BroadNet punya batch API?

Dokumentasi BroadNet tidak mencantumkannya. Anda bisa menjalankan pekerjaan massal dengan mengirim request secara paralel dalam batas kunci API Anda, atau dengan paket harga tetap untuk DeepSeek V4.1 Flash.

## Lihat juga

-   [Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/) (istilah)
-   [Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/) (istilah)
-   [Throughput](https://broadrouter.com/id/glossary/throughput/) (istilah)
-   [Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/) (istilah)
-   [Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/) (istilah)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/) (artikel)
-   [Cara menghitung estimasi biaya API LLM sebelum meluncurkan fitur](https://broadrouter.com/id/blog/estimate-llm-api-cost-before-launch/) (artikel)
-   [Batch processing LLM tanpa Batch API: runner yang bisa dilanjutkan](https://broadrouter.com/id/blog/llm-batch-processing-without-batch-api/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-batch-api&utm_content=page-cta) ·

**Sumber**

-   [OpenAI, panduan Batch API (diperiksa 2026-11-16)](https://developers.openai.com/api/docs/guides/batch)
-   [Anthropic, pemrosesan batch dengan Message Batches API (diperiksa 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
-   [Referensi API BroadNet Inference (diperiksa 2026-11-16) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-batch-api&utm_content=sources)
