Sesetengah tugas LLM bukan chat. Anda ada 50,000 tiket sokongan untuk dilabel, 200,000 penerangan produk untuk diterjemah, atau sejuta ulasan untuk diberi skor. Penyedia seperti OpenAI dan Anthropic menjual Batch API untuk ini. Banyak API yang serasi OpenAI, termasuk BroadNet Inference, tidak. Catatan ini menunjukkan cara menjalankan tugas itu sendiri: kira berapa lama ia akan mengambil masa, tulis pelari yang mematuhi had, dan jadikannya selamat untuk dihentikan dan dimulakan semula.
BroadRouter ialah laman web BroadNet sendiri, jadi angka contoh menggunakan had yang diterbitkan BroadNet. Kaedah ini berfungsi pada mana-mana API chat-completions; gantikan dengan angka penyedia anda.
Adakah BroadNet Inference mempunyai Batch API?
Tidak. Rujukan API, yang disemak pada 15 November 2026, mendokumenkan POST /v1/chat/completions, POST /v1/audio/transcriptions dan GET /v1/models (senarai model), serta endpoint akaun di bawah /portal/. Tiada endpoint kelompok atau muat naik fail dan tiada diskaun kelompok. Tugas pukal ialah gelung permintaan biasa.
Inilah yang diberikan oleh Batch API yang dihoskan, supaya anda tahu apa yang anda bina semula:
| Batch API OpenAI | Message Batches Anthropic | Pelari anda sendiri | |
|---|---|---|---|
| Harga | 50% lebih murah daripada segerak | 50% lebih murah | Harga biasa |
| Masa siap | Dalam 24 jam | Kebanyakan dalam 1 jam; luput selepas 24 | Ditentukan oleh had kadar anda |
| Saiz setiap kelompok | 50,000 permintaan atau 200 MB | 100,000 permintaan atau 256 MB | Sebarang saiz |
| Had kadar | Berasingan daripada had setiap model | Terpakai pada permintaan dalam baris gilir | Had kunci anda |
| Susunan hasil | Mungkin berbeza; padankan dengan custom_id |
Padankan dengan custom_id |
Anda kunci hasil dengan ID |
Dua pengajaran terpakai. Kedua-dua penyedia memaksa anda menandakan setiap permintaan dengan ID, kerana hasil tidak kembali mengikut urutan. Kedua-duanya tidak menjanjikan jawapan dalam beberapa saat. Pelari anda patut berfungsi dengan cara yang sama: ID pada semua perkara, dan rancangan yang diukur dalam jam.
Jika diskaun 50% lebih penting daripada masa siap, dan model yang anda perlukan ada di sana, Batch API yang dihoskan mungkin alat yang lebih murah. Bandingkan harga kedua-duanya dengan kalkulator kos API LLM sebelum anda membina.
Berapa lamakah tugas ini akan mengambil masa?
Kira ini sebelum anda menulis kod. Dua had mengehadkan daya pemprosesan, dan yang lebih perlahan menang:
- Had serentak ÷ kependaman. Dengan 4 permintaan serentak dan 2 saat setiap permintaan, anda boleh menyiapkan 2 sesaat.
- Permintaan seminit. Pada 30 seminit, anda boleh memulakan 0.5 sesaat, walau sepantas mana pun model.
Kunci bayar ikut guna BroadNet membenarkan 4 permintaan serentak dan 30 seminit. Pada nilai dalam rujukan API ketika kami menyemak (30 seminit dan 4 serentak, 2026-11-15), had kadar yang mengikat melainkan setiap permintaan mengambil lebih daripada 8 saat, dan jadual di bawah menggunakan 30 seminit:
| Item | Satu item setiap permintaan | 20 item setiap permintaan |
|---|---|---|
| 10,000 | 5.6 jam | 17 minit |
| 100,000 | 2.3 hari | 2.8 jam |
| 1,000,000 | 23 hari | 28 jam |
Pada 30 permintaan seminit, satu kunci memproses 1,800 permintaan sejam, atau 43,200 sehari. Cubaan semula juga dikira: setiap 429 yang anda cetuskan menggunakan satu slot.
Lajur kedua ialah tuil terbesar. Item pendek, seperti ulasan atau subjek tiket, boleh dihantar 10 hingga 50 setiap permintaan sebagai senarai bernombor, dengan tatasusunan JSON sebagai balasan. Semak bahawa tatasusunan mempunyai satu entri bagi setiap input dan setiap satu membawa nombornya. Catatan pengelasan teks Arab menunjukkan coraknya. Item panjang tidak boleh dibungkus: setiap permintaan masih perlu muat dalam tetingkap konteks model, dan kualiti boleh menurun apabila senarai memanjang. Uji pembungkusan pada 200 item sebelum anda mempercayainya.
Jangan sebarkan satu tugas merentas beberapa kunci untuk mengatasi had setiap kunci tanpa bertanya. Dasar Penggunaan Boleh Diterima BroadNet melarang pengelakan had kadar, serentak atau bajet. Jika anda memerlukan lebih, tanya BroadNet, atau gunakan sesi pelan, di bawah. Perancang tugas kelompok membuat kiraan ini untuk bilangan item, kependaman dan had anda.
Bagaimanakah rupa pelari yang boleh disambung?
Pelari ini membaca items.jsonl (satu objek {"id", "text"} setiap baris) dan menambah satu baris hasil bagi setiap item ke results.jsonl. Ia hanya memerlukan OpenAI Python SDK.
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError
client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"],
max_retries=0, # we retry ourselves, with a cap we can see
timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4")) # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30")) # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6
class Pacer:
"""Spaces request starts at least 60/RPM seconds apart, across all workers."""
def __init__(self, rpm):
self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
async def wait(self):
async with self.lock:
now = time.monotonic()
delay = max(0.0, self.next - now)
self.next = max(now, self.next) + self.gap
await asyncio.sleep(delay)
def retryable(e):
if isinstance(e, (APIConnectionError, APITimeoutError)):
return True
return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)
async def call(item, pacer):
for attempt in range(MAX_ATTEMPTS):
await pacer.wait() # every attempt counts against the rate limit
try:
r = await client.chat.completions.create(
model=MODEL, max_tokens=1500, reasoning_effort="low",
messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
{"role": "user", "content": item["text"]}])
c = r.choices[0]
return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
"output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
except Exception as e:
if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt))) # full jitter, capped
async def run(in_path, out_path):
done = set()
if os.path.exists(out_path): # resume: skip ids that already succeeded
with open(out_path) as f:
done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
print(f"{len(done)} done, {len(todo)} to go")
pacer, queue = Pacer(RPM), asyncio.Queue()
for it in todo:
queue.put_nowait(it)
with open(out_path, "a") as out:
async def worker():
while True:
try:
it = queue.get_nowait()
except asyncio.QueueEmpty:
return
res = await call(it, pacer)
out.write(json.dumps(res, ensure_ascii=False) + "\n")
out.flush() # one line per finished item = the checkpoint
await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))
if __name__ == "__main__":
import sys
asyncio.run(run(sys.argv[1], sys.argv[2]))
Jalankannya dengan python batch_run.py items.jsonl results.jsonl. Kami menguji fail ini sendiri terhadap pelayan olok-olok tempatan yang memulangkan 429 (8%) dan 500 (5%) secara rawak dan menolak apa-apa melebihi 4 serentak atau 30 permulaan seminit. 25 item selesai dalam 55 saat dengan 28 permintaan (3 cubaan semula), dan tidak pernah lebih daripada 30 permulaan dalam mana-mana tetingkap 60 saat. Dengan had olok-olok dinaikkan kepada 300 seminit untuk menjimatkan masa, larian 120 item yang dihentikan selepas 10 saat bersambung daripada 39 hasil yang disimpan dan selesai dengan 120 ID unik tanpa pendua.
Mengapakah kumpulan pekerja dan bukan asyncio.gather?
Panduan 429 menggunakan semaphore di sekeliling asyncio.gather. Itu memadai untuk beberapa ratus panggilan. Untuk tugas besar, kumpulan pekerja tetap yang mengambil daripada baris gilir lebih baik:
- Memori.
gathermencipta satu tugas bagi setiap item di awal. Kumpulan hanya memegang item yang sedang berjalan. - Keserentakan ialah saiz kumpulan. Empat pekerja tidak boleh mempunyai lima permintaan terbuka.
- Hasil distrim ke cakera sebaik selesai, dalam apa jua susunan, dikunci dengan ID.
Pacer mengendalikan had kedua. Semaphore sahaja menghalang anda melebihi 4 serentak, tetapi jika permintaan mengambil sesaat, empat pekerja akan memulakan 240 seminit dan terkena 429 pada kebanyakannya. Pacer menjarakkan permulaan 2 saat, merentas semua pekerja, termasuk cubaan semula.
Bagaimanakah cubaan semula kekal selamat?
Cuba semula hanya apa yang boleh berjaya pada percubaan kedua:
| Respons | Tindakan |
|---|---|
| 429 | Undur dan cuba semula; dokumentasi BroadNet menyebut “use response details and bounded backoff” (Terjemahan: gunakan butiran respons dan backoff terhad) |
| 500, 502, 503, 504, tamat masa, sambungan terputus | Cuba semula dengan backoff eksponen terhad |
| 400, 422 | Baiki permintaan; cubaan semula menghantar ralat yang sama |
| 401, 402, 403 | Hentikan tugas; kunci, baki atau dasar perlu diberi perhatian |
| 413 | Pendekkan item |
Pelari mematikan cubaan semula SDK sendiri (max_retries=0) supaya hanya ada satu dasar cubaan semula, dengan had yang kelihatan. Backoff adalah eksponen dengan jitter penuh, dihadkan pada 60 saat, supaya pekerja yang gagal bersama tidak mencuba semula bersama. Selepas enam percubaan, item ditulis sebagai "ok": false dan tugas diteruskan. Satu item buruk tidak sekali-kali menghentikan sejuta.
Panggilan model tiada kesan sampingan, jadi penghantaran di sini sekurang-kurangnya sekali: jika proses mati di tengah permintaan, item itu dihantar semula semasa dimulakan semula, dan anda membayarnya dua kali. Itulah satu-satunya pembaziran. Jika tugas juga menulis ke sistem lain, seperti tiket atau e-mel, jadikan penulisan itu idempoten mengikut ID item dan lakukannya dalam laluan berasingan ke atas results.jsonl. Catatan ejen berjalan lama membincangkan kesan sampingan idempoten secara mendalam.
Bagaimanakah checkpoint berfungsi?
Fail output ialah checkpoint. Setiap item yang selesai ialah satu baris yang telah di-flush, jadi selepas ranap, deploy atau Ctrl-C, larian seterusnya membaca fail itu, mengumpul ID dengan "ok": true dan hanya memasukkan selebihnya ke dalam baris gilir. Item yang gagal sebelum ini dicuba semula pada larian seterusnya, dan baris baharunya ditambah. Apabila anda membaca hasil, ambil baris terakhir bagi setiap ID.
Tiga tabiat memastikan ini tahan selama berhari-hari:
- ID yang stabil. Gunakan kunci pangkalan data atau cincangan input, jangan sekali-kali nombor baris yang beralih apabila fail input berubah.
- Semak
finish_reason. Balasan yang terpotong padamax_tokensialah"ok": truetetapi tidak berguna. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam max_tokens. Pelari menetapkanreasoning_effort="low", yang didokumenkan BroadNet, dan memberi 1,500 token. - Log penggunaan setiap baris. Menjumlahkan
usagedaripadaresults.jsonlmemberi bil token sebenar untuk dibandingkan dengan anggaran anda.
Berapakah kosnya: bayar ikut guna atau sesi pelan?
Pada bayar ikut guna, kos ialah token. Ambil 100,000 ulasan, system prompt 150 token, ulasan 150 token dan 100 token output dengan penaakulan rendah. Itu 30 juta token input dan 10 juta token output. Pada DeepSeek V4.1 Flash kosnya 30 × $0.175 + 10 × $0.52. Kekalkan system prompt di hadapan dan sama bait demi bait, dan 15 juta tokennya boleh dibilkan pada kadar input cache $0.0055 setiap 1M apabila cache mengena. Baris usage anda menunjukkan berapa kerap ia berlaku.
Pada pelan, token percuma dan masa ialah kosnya. Sesi pelan DeepSeek V4.1 Flash “runs one request at a time” (Terjemahan: menjalankan satu permintaan pada satu masa), jadi tetapkan IN_FLIGHT=1 bagi setiap sesi. Daya pemprosesan setiap sesi ialah 86,400 ÷ saat setiap item, sehari. BroadNet menyebut kelajuan biasa sebagai kira-kira 100 token sesaat, tetapi kependaman anda bergantung pada panjang prompt dan penaakulan, jadi ukurnya pada 50 item. Jika anda mengukur 3 saat setiap item, satu sesi memproses 28,800 sehari:
| Tugas | Sesi | Masa pada 3 s/item | Pelan |
|---|---|---|---|
| 100,000 item | 1 | Kira-kira 3.5 hari | Satu minggu Orbit, $15 setiap sesi |
| 100,000 item | 4 | Kira-kira 21 jam | Empat minggu Orbit, satu bagi setiap sesi; atau kira-kira 21 jam Meteor bagi setiap sesi pada $1 setiap satu |
| 1,000,000 item | 6 | Kira-kira 6 hari | Enam minggu Orbit |
Pelan disediakan “best effort under fair use” (Terjemahan: secara usaha terbaik di bawah penggunaan saksama), dan BroadNet tidak menerbitkan had permintaan seminit untuk kunci pelan; akaun anda menunjukkan had yang terpakai. Tetapkan RPM berdasarkan had itu, bukan tekaan. Panduan perancang sesi menerangkan cara membahagikan sesi merentas kunci.
Di mana BroadNet Inference sesuai
BroadNet Inference tiada Batch API, jadi ia sesuai untuk tugas pukal apabila anda lebih suka mengawal pelari sendiri dan membayar harga per token biasa, atau menetapkan kos dengan sesi pelan DeepSeek V4.1 Flash. Untuk tugas kecil dengan bajet terhad, Gemma 4 VL 26B pada $0.10 input dan $0.22 output setiap 1M berjalan dengan kredit permulaan $5. Prompt dan output tidak disimpan selepas setiap permintaan. Jika tugas anda boleh menunggu sehari dan model yang anda perlukan ada pada penyedia dengan diskaun kelompok 50%, itu mungkin lebih murah; bandingkan sebelum anda komited. Pelan dan had ada di inference.broadnet.ai/plans.
