Banyak pekerjaan LLM tidak butuh jawaban saat itu juga. Batch API menukar kecepatan balasan dengan harga lebih rendah dan volume lebih besar.
Cara kerjanya
Anda menyiapkan banyak request, mengirimkannya bersama-sama, lalu mengambil hasilnya nanti. Dua versi yang dokumentasinya paling lengkap:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Input | File .jsonl, satu request per baris |
Daftar request Messages |
| Harga | “50% cost discount compared to synchronous APIs” (terjemahan: diskon biaya 50% dibanding API sinkron) | “50 percent discount on all usage” (terjemahan: diskon 50 persen untuk semua pemakaian) |
| Waktu penyelesaian | “Each batch completes within 24 hours (and often more quickly)” (terjemahan: setiap batch selesai dalam 24 jam, dan sering lebih cepat) | Sebagian besar dalam 1 jam; kedaluwarsa jika belum selesai dalam 24 jam |
| Batas ukuran | 50.000 request, file input 200 MB | 100.000 request atau 256 MB per batch |
| Rate limit | Terpisah dari batas per model | Juga berlaku untuk request batch dalam antrean |
Di OpenAI, Anda mengunggah file, membuat batch dengan completion_window: "24h", memantau statusnya, lalu mengunduh file output. Kedua API mewajibkan custom_id unik per request, karena hasil bisa kembali dalam urutan berbeda dari input. Anthropic menyimpan hasil selama 29 hari, dan diskon batch serta diskon prompt caching miliknya bisa digabungkan.
Kenapa ini penting
Kasus yang cocok adalah evaluasi, klasifikasi dataset besar, ringkasan massal, dan pengisian data lama (back-filling). Panduan OpenAI menyebut menjalankan evaluasi dan mengklasifikasi dataset besar sebagai penggunaan umum. Yang tidak cocok adalah apa pun yang sedang ditunggu pengguna.
Penghematannya nyata tetapi terbatas. Batch memangkas harga token separuh di penyedia tersebut; batch tidak mengurangi jumlah token input dan output yang Anda kirim. Memangkas prompt tetap penting.
Batch juga menghindari masalah rate limit. Alih-alih mengelola 429 dan backoff sendiri, penyedia yang menjadwalkan pekerjaannya.
Di BroadNet Inference
Dokumentasi BroadNet tidak mencantumkan batch API, endpoint file, atau diskon batch. Pekerjaan massal di BroadNet berarti request sinkron yang dijalankan paralel dalam batas kunci API Anda: 30 request per menit dan 4 request berjalan bersamaan pada kunci bayar sesuai pemakaian. Tangani respons 429 dan 5xx dengan exponential backoff yang dibatasi, seperti ditunjukkan panduan error dan percobaan ulang.
Untuk pekerjaan panjang dengan DeepSeek V4.1 Flash, sesi paket harga tetap menjalankan satu request pada satu waktu tanpa meteran token, sehingga biaya ditentukan oleh waktu, bukan volume. Gunakan kalkulator harga tetap vs per token untuk membandingkan keduanya sesuai ukuran pekerjaan Anda, dan perencana job batch LLM untuk waktu jalan dalam batas Anda serta jumlah sesi yang dibutuhkan untuk mengejar tenggat.