Sebagian pekerjaan LLM bukan chat. Anda punya 50.000 tiket support untuk diberi label, 200.000 deskripsi produk untuk diterjemahkan, atau sejuta ulasan untuk dinilai. Penyedia seperti OpenAI dan Anthropic menjual Batch API untuk keperluan ini. Banyak API yang kompatibel dengan OpenAI, termasuk BroadNet Inference, tidak menyediakannya. Tulisan ini menunjukkan cara menjalankan job-nya sendiri: hitung berapa lama waktunya, tulis runner yang mematuhi limit, dan buat agar aman dihentikan lalu dijalankan ulang.
BroadRouter adalah situs milik BroadNet sendiri, jadi angka contoh memakai limit yang dipublikasikan BroadNet. Metodenya berlaku di API chat completions mana pun; ganti dengan angka penyedia Anda.
Apakah BroadNet Inference punya Batch API?
Tidak. Referensi API, dicek pada 15 November 2026, mendokumentasikan POST /v1/chat/completions, POST /v1/audio/transcriptions, dan GET /v1/models (daftar model), plus endpoint akun di bawah /portal/. Tidak ada endpoint batch atau upload file dan tidak ada diskon batch. Job massal adalah loop permintaan biasa.
Inilah yang diberikan Batch API terkelola, supaya Anda tahu apa yang sedang Anda bangun ulang:
| OpenAI Batch API | Anthropic Message Batches | Runner Anda sendiri | |
|---|---|---|---|
| Harga | Diskon 50% dari sinkron | Diskon 50% | Harga normal |
| Waktu selesai | Dalam 24 jam | Sebagian besar dalam 1 jam; kedaluwarsa setelah 24 jam | Ditentukan rate limit Anda |
| Ukuran per batch | 50.000 permintaan atau 200 MB | 100.000 permintaan atau 256 MB | Berapa pun |
| Rate limit | Terpisah dari limit per model | Berlaku untuk permintaan dalam antrean | Limit kunci Anda |
| Urutan hasil | Bisa berbeda; cocokkan dengan custom_id |
Cocokkan dengan custom_id |
Anda memberi kunci hasil berdasarkan ID |
Dua pelajaran tetap berlaku. Kedua penyedia mengharuskan Anda menandai setiap permintaan dengan ID, karena hasil tidak kembali secara berurutan. Tidak ada yang menjanjikan jawaban dalam hitungan detik. Runner Anda sebaiknya bekerja dengan cara yang sama: ID di semua hal, dan rencana yang diukur dalam jam.
Jika diskon 50% lebih penting daripada waktu selesai, dan model yang Anda butuhkan tersedia di sana, Batch API terkelola mungkin pilihan yang lebih murah. Hitung keduanya dengan kalkulator biaya API LLM sebelum mulai membangun.
Berapa lama job-nya akan berjalan?
Hitung ini sebelum menulis kode. Dua limit membatasi throughput, dan yang lebih lambat yang menang:
- Limit permintaan bersamaan ÷ latensi. Dengan 4 permintaan bersamaan dan 2 detik per permintaan, Anda bisa menyelesaikan 2 per detik.
- Permintaan per menit. Pada 30 per menit, Anda hanya bisa memulai 0,5 per detik, secepat apa pun modelnya.
Kunci bayar sesuai pemakaian BroadNet mengizinkan 4 permintaan bersamaan dan 30 per menit. Dengan nilai di referensi API saat kami mengeceknya (30 per menit dan 4 bersamaan, 2026-11-15), rate limit yang menjadi pembatas kecuali setiap permintaan butuh lebih dari 8 detik, dan tabel di bawah memakai 30 per menit:
| Item | Satu item per permintaan | 20 item per permintaan |
|---|---|---|
| 10.000 | 5,6 jam | 17 menit |
| 100.000 | 2,3 hari | 2,8 jam |
| 1.000.000 | 23 hari | 28 jam |
Pada 30 permintaan per menit, satu kunci memproses 1.800 permintaan per jam, atau 43.200 per hari. Retry juga dihitung: setiap 429 yang Anda picu menghabiskan satu slot.
Kolom kedua adalah tuas terbesar. Item pendek, seperti ulasan atau subjek tiket, bisa dikirim 10 sampai 50 per permintaan sebagai daftar bernomor, dengan array JSON sebagai balasan. Pastikan array punya satu entri per input dan masing-masing membawa nomornya. Tulisan klasifikasi teks Arab menunjukkan polanya. Item panjang tidak bisa dikemas: setiap permintaan tetap harus muat di context window model, dan kualitas bisa turun saat daftar makin panjang. Uji pengemasan pada 200 item sebelum mengandalkannya.
Jangan menyebar satu job ke beberapa kunci untuk mengalahkan limit per kunci tanpa bertanya. Kebijakan Penggunaan yang Dapat Diterima BroadNet melarang mengakali rate limit, limit concurrency, atau limit anggaran. Jika butuh lebih, tanyakan ke BroadNet, atau pakai sesi paket di bawah. Perencana batch job melakukan hitungan ini untuk jumlah item, latensi, dan limit Anda.
Seperti apa runner yang bisa dilanjutkan?
Runner ini membaca items.jsonl (satu objek {"id", "text"} per baris) dan menambahkan satu baris hasil per item ke results.jsonl. Yang dibutuhkan hanya OpenAI Python SDK.
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError
client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"],
max_retries=0, # we retry ourselves, with a cap we can see
timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4")) # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30")) # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6
class Pacer:
"""Spaces request starts at least 60/RPM seconds apart, across all workers."""
def __init__(self, rpm):
self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
async def wait(self):
async with self.lock:
now = time.monotonic()
delay = max(0.0, self.next - now)
self.next = max(now, self.next) + self.gap
await asyncio.sleep(delay)
def retryable(e):
if isinstance(e, (APIConnectionError, APITimeoutError)):
return True
return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)
async def call(item, pacer):
for attempt in range(MAX_ATTEMPTS):
await pacer.wait() # every attempt counts against the rate limit
try:
r = await client.chat.completions.create(
model=MODEL, max_tokens=1500, reasoning_effort="low",
messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
{"role": "user", "content": item["text"]}])
c = r.choices[0]
return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
"output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
except Exception as e:
if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt))) # full jitter, capped
async def run(in_path, out_path):
done = set()
if os.path.exists(out_path): # resume: skip ids that already succeeded
with open(out_path) as f:
done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
print(f"{len(done)} done, {len(todo)} to go")
pacer, queue = Pacer(RPM), asyncio.Queue()
for it in todo:
queue.put_nowait(it)
with open(out_path, "a") as out:
async def worker():
while True:
try:
it = queue.get_nowait()
except asyncio.QueueEmpty:
return
res = await call(it, pacer)
out.write(json.dumps(res, ensure_ascii=False) + "\n")
out.flush() # one line per finished item = the checkpoint
await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))
if __name__ == "__main__":
import sys
asyncio.run(run(sys.argv[1], sys.argv[2]))
Jalankan dengan python batch_run.py items.jsonl results.jsonl. Kami menguji file yang persis sama ini terhadap mock server lokal yang mengembalikan 429 (8%) dan 500 (5%) secara acak serta menolak lebih dari 4 permintaan bersamaan atau 30 permintaan baru per menit. 25 item selesai dalam 55 detik dengan 28 permintaan (3 retry), dan tidak pernah lebih dari 30 permintaan baru dalam jendela 60 detik mana pun. Dengan limit mock dinaikkan ke 300 per menit untuk menghemat waktu, run 120 item yang dihentikan setelah 10 detik berlanjut dari 39 hasil tersimpan dan selesai dengan 120 ID unik tanpa duplikat.
Kenapa worker pool dan bukan asyncio.gather?
Panduan 429 memakai semaphore di sekitar asyncio.gather. Itu cukup untuk beberapa ratus panggilan. Untuk job besar, worker pool tetap yang mengambil dari antrean lebih baik:
- Memori.
gathermembuat satu task per item di awal. Pool hanya menyimpan item yang sedang berjalan. - Concurrency sama dengan ukuran pool. Empat worker tidak akan pernah punya lima permintaan terbuka.
- Hasil mengalir ke disk saat selesai, dalam urutan apa pun, dengan ID sebagai kunci.
Pacer menangani limit kedua. Semaphore saja mencegah Anda melebihi 4 permintaan bersamaan, tetapi jika permintaan butuh satu detik, empat worker akan memulai 240 per menit dan kena 429 di sebagian besarnya. Pacer memberi jarak 2 detik antar-permintaan baru, di semua worker, termasuk retry.
Bagaimana agar retry tetap aman?
Lakukan retry hanya untuk yang bisa berhasil pada percobaan kedua:
| Respons | Tindakan |
|---|---|
| 429 | Backoff lalu retry; dokumentasi BroadNet menyebut “use response details and bounded backoff” (Terjemahan BroadRouter: gunakan detail respons dan backoff terbatas) |
| 500, 502, 503, 504, timeout, koneksi terputus | Retry dengan exponential backoff terbatas |
| 400, 422 | Perbaiki permintaannya; retry hanya mengirim error yang sama |
| 401, 402, 403 | Hentikan job; kunci, saldo, atau kebijakan perlu ditangani |
| 413 | Perpendek item-nya |
Runner mematikan retry bawaan SDK (max_retries=0) sehingga hanya ada satu kebijakan retry, dengan batas yang terlihat. Backoff bersifat eksponensial dengan full jitter, dibatasi 60 detik, sehingga worker yang gagal bersamaan tidak melakukan retry bersamaan. Setelah enam percobaan, item ditulis sebagai "ok": false dan job berlanjut. Satu item bermasalah tidak akan pernah menghentikan sejuta item.
Panggilan model tidak punya efek samping, jadi pengirimannya di sini bersifat at-least-once: jika proses mati di tengah permintaan, item itu dikirim lagi saat restart, dan Anda membayarnya dua kali. Hanya itu pemborosannya. Jika job juga menulis ke sistem lain, seperti tiket atau email, buat penulisan itu idempoten berdasarkan ID item dan lakukan di tahap terpisah atas results.jsonl. Tulisan agent yang berjalan lama membahas efek samping idempoten secara mendalam.
Bagaimana checkpoint bekerja?
File output adalah checkpoint-nya. Setiap item yang selesai adalah satu baris yang sudah di-flush, jadi setelah crash, deploy, atau Ctrl-C, run berikutnya membaca file itu, mengumpulkan ID dengan "ok": true, dan hanya mengantrekan sisanya. Item yang sebelumnya gagal di-retry di run berikutnya, dan baris barunya ditambahkan. Saat membaca hasil, ambil baris terakhir per ID.
Tiga kebiasaan yang membuat ini bertahan berhari-hari:
- ID yang stabil. Gunakan kunci database atau hash dari input, jangan nomor baris yang bergeser saat file input berubah.
- Cek
finish_reason. Balasan yang terpotong dimax_tokensbernilai"ok": truetetapi tidak berguna. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab, dan penalaran dihitung dalam max_tokens. Runner ini memakaireasoning_effort="low", yang didokumentasikan BroadNet, dan menyisakan 1.500 token. - Catat usage per baris. Menjumlahkan
usagedariresults.jsonlmemberi tagihan token sebenarnya untuk dibandingkan dengan estimasi Anda.
Berapa biayanya: bayar sesuai pemakaian atau sesi paket?
Pada bayar sesuai pemakaian, biaya adalah token. Ambil 100.000 ulasan, system prompt 150 token, ulasan 150 token, dan 100 token output dengan penalaran rendah. Totalnya 30 juta token input dan 10 juta token output. Di DeepSeek V4.1 Flash biayanya 30 × $0.175 + 10 × $0.52. Taruh system prompt di depan dan biarkan identik byte demi byte, maka 15 juta token-nya bisa ditagih dengan tarif input cache $0.0055 per 1M saat cache kena. Baris usage Anda menunjukkan seberapa sering itu terjadi.
Pada paket, token gratis dan waktu adalah biayanya. Sesi paket DeepSeek V4.1 Flash “runs one request at a time” (Terjemahan BroadRouter: menjalankan satu permintaan pada satu waktu), jadi set IN_FLIGHT=1 per sesi. Throughput per sesi adalah 86.400 ÷ detik per item, per hari. BroadNet menyebut kecepatan tipikal sekitar 100 token per detik, tetapi latensi Anda bergantung pada panjang prompt dan penalaran, jadi ukur pada 50 item. Jika hasil ukur Anda 3 detik per item, satu sesi memproses 28.800 per hari:
| Job | Sesi | Waktu pada 3 dtk/item | Paket |
|---|---|---|---|
| 100.000 item | 1 | Sekitar 3,5 hari | Satu minggu Orbit, $15 per sesi |
| 100.000 item | 4 | Sekitar 21 jam | Empat minggu Orbit, satu per sesi; atau sekitar 21 jam Meteor per sesi seharga $1 per jam |
| 1.000.000 item | 6 | Sekitar 6 hari | Enam minggu Orbit |
Paket diberikan secara “best effort under fair use” (Terjemahan BroadRouter: upaya terbaik di bawah penggunaan wajar), dan BroadNet tidak memublikasikan limit permintaan per menit untuk kunci paket; akun Anda menunjukkan limit yang berlaku. Set RPM dari sana, bukan dari tebakan. Panduan perencana sesi menjelaskan cara membagi sesi ke beberapa kunci.
Posisi BroadNet Inference
BroadNet Inference tidak punya Batch API, jadi cocok untuk job massal ketika Anda lebih suka mengendalikan runner sendiri dan membayar harga per token normal, atau mengunci biaya dengan sesi paket DeepSeek V4.1 Flash. Untuk job kecil dengan anggaran terbatas, Gemma 4 VL 26B dengan harga $0.10 input dan $0.22 output per 1M bisa dijalankan dengan kredit awal $5. Prompt dan output tidak disimpan setelah setiap permintaan. Jika job Anda bisa menunggu sehari dan model yang Anda butuhkan ada di penyedia dengan diskon batch 50%, biayanya mungkin lebih rendah; bandingkan sebelum berkomitmen. Paket dan limit ada di inference.broadnet.ai/plans.
