BroadRouter
Mulai

Batch API

Diperbarui

Batch API adalah endpoint LLM asinkron yang menerima banyak request sekaligus, biasanya sebagai file, memprosesnya dalam jangka waktu tertentu alih-alih seketika, lalu mengembalikan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic memberi harga request batch dengan diskon dibanding API standar mereka.

Disebut juga: batch API, pemrosesan batch, request batch, inferensi batch, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Banyak pekerjaan LLM tidak butuh jawaban saat itu juga. Batch API menukar kecepatan balasan dengan harga lebih rendah dan volume lebih besar.

Cara kerjanya

Anda menyiapkan banyak request, mengirimkannya bersama-sama, lalu mengambil hasilnya nanti. Dua versi yang dokumentasinya paling lengkap:

OpenAI Batch API Anthropic Message Batches API
Input File .jsonl, satu request per baris Daftar request Messages
Harga “50% cost discount compared to synchronous APIs” (terjemahan: diskon biaya 50% dibanding API sinkron) “50 percent discount on all usage” (terjemahan: diskon 50 persen untuk semua pemakaian)
Waktu penyelesaian “Each batch completes within 24 hours (and often more quickly)” (terjemahan: setiap batch selesai dalam 24 jam, dan sering lebih cepat) Sebagian besar dalam 1 jam; kedaluwarsa jika belum selesai dalam 24 jam
Batas ukuran 50.000 request, file input 200 MB 100.000 request atau 256 MB per batch
Rate limit Terpisah dari batas per model Juga berlaku untuk request batch dalam antrean

Di OpenAI, Anda mengunggah file, membuat batch dengan completion_window: "24h", memantau statusnya, lalu mengunduh file output. Kedua API mewajibkan custom_id unik per request, karena hasil bisa kembali dalam urutan berbeda dari input. Anthropic menyimpan hasil selama 29 hari, dan diskon batch serta diskon prompt caching miliknya bisa digabungkan.

Kenapa ini penting

Kasus yang cocok adalah evaluasi, klasifikasi dataset besar, ringkasan massal, dan pengisian data lama (back-filling). Panduan OpenAI menyebut menjalankan evaluasi dan mengklasifikasi dataset besar sebagai penggunaan umum. Yang tidak cocok adalah apa pun yang sedang ditunggu pengguna.

Penghematannya nyata tetapi terbatas. Batch memangkas harga token separuh di penyedia tersebut; batch tidak mengurangi jumlah token input dan output yang Anda kirim. Memangkas prompt tetap penting.

Batch juga menghindari masalah rate limit. Alih-alih mengelola 429 dan backoff sendiri, penyedia yang menjadwalkan pekerjaannya.

Di BroadNet Inference

Dokumentasi BroadNet tidak mencantumkan batch API, endpoint file, atau diskon batch. Pekerjaan massal di BroadNet berarti request sinkron yang dijalankan paralel dalam batas kunci API Anda: 30 request per menit dan 4 request berjalan bersamaan pada kunci bayar sesuai pemakaian. Tangani respons 429 dan 5xx dengan exponential backoff yang dibatasi, seperti ditunjukkan panduan error dan percobaan ulang.

Untuk pekerjaan panjang dengan DeepSeek V4.1 Flash, sesi paket harga tetap menjalankan satu request pada satu waktu tanpa meteran token, sehingga biaya ditentukan oleh waktu, bukan volume. Gunakan kalkulator harga tetap vs per token untuk membandingkan keduanya sesuai ukuran pekerjaan Anda, dan perencana job batch LLM untuk waktu jalan dalam batas Anda serta jumlah sesi yang dibutuhkan untuk mengejar tenggat.

Pertanyaan umum

Seberapa murah batch API?

OpenAI dan Anthropic sama-sama mendokumentasikan diskon 50% dibanding API standar mereka. Diskon Anthropic berlaku untuk token input, output, dan token khusus.

Berapa lama satu batch selesai?

OpenAI menyatakan setiap batch selesai dalam 24 jam, sering lebih cepat. Anthropic mengatakan sebagian besar batch selesai dalam 1 jam dan kedaluwarsa jika pemrosesan belum selesai dalam 24 jam.

Apakah BroadNet punya batch API?

Dokumentasi BroadNet tidak mencantumkannya. Anda bisa menjalankan pekerjaan massal dengan mengirim request secara paralel dalam batas kunci API Anda, atau dengan paket harga tetap untuk DeepSeek V4.1 Flash.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity