BroadRouter
Mulakan

Pemprosesan kelompok LLM tanpa Batch API: pelari boleh sambung

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan · Dikemas kini

Tanpa Batch API, jalankan tugas itu sendiri: baca item daripada fail JSONL, hadkan permintaan serentak pada had kunci, jarakkan permulaan permintaan di bawah had seminit, cuba semula 429 dan 5xx dengan backoff terhad, dan tambah setiap hasil bersama ID-nya. Semasa dimulakan semula, langkau ID yang sudah selesai. Biasanya had kadar, bukan model, yang menentukan bila ia selesai.

Sesetengah tugas LLM bukan chat. Anda ada 50,000 tiket sokongan untuk dilabel, 200,000 penerangan produk untuk diterjemah, atau sejuta ulasan untuk diberi skor. Penyedia seperti OpenAI dan Anthropic menjual Batch API untuk ini. Banyak API yang serasi OpenAI, termasuk BroadNet Inference, tidak. Catatan ini menunjukkan cara menjalankan tugas itu sendiri: kira berapa lama ia akan mengambil masa, tulis pelari yang mematuhi had, dan jadikannya selamat untuk dihentikan dan dimulakan semula.

BroadRouter ialah laman web BroadNet sendiri, jadi angka contoh menggunakan had yang diterbitkan BroadNet. Kaedah ini berfungsi pada mana-mana API chat-completions; gantikan dengan angka penyedia anda.

Adakah BroadNet Inference mempunyai Batch API?

Tidak. Rujukan API, yang disemak pada 15 November 2026, mendokumenkan POST /v1/chat/completions, POST /v1/audio/transcriptions dan GET /v1/models (senarai model), serta endpoint akaun di bawah /portal/. Tiada endpoint kelompok atau muat naik fail dan tiada diskaun kelompok. Tugas pukal ialah gelung permintaan biasa.

Inilah yang diberikan oleh Batch API yang dihoskan, supaya anda tahu apa yang anda bina semula:

Batch API OpenAI Message Batches Anthropic Pelari anda sendiri
Harga 50% lebih murah daripada segerak 50% lebih murah Harga biasa
Masa siap Dalam 24 jam Kebanyakan dalam 1 jam; luput selepas 24 Ditentukan oleh had kadar anda
Saiz setiap kelompok 50,000 permintaan atau 200 MB 100,000 permintaan atau 256 MB Sebarang saiz
Had kadar Berasingan daripada had setiap model Terpakai pada permintaan dalam baris gilir Had kunci anda
Susunan hasil Mungkin berbeza; padankan dengan custom_id Padankan dengan custom_id Anda kunci hasil dengan ID

Dua pengajaran terpakai. Kedua-dua penyedia memaksa anda menandakan setiap permintaan dengan ID, kerana hasil tidak kembali mengikut urutan. Kedua-duanya tidak menjanjikan jawapan dalam beberapa saat. Pelari anda patut berfungsi dengan cara yang sama: ID pada semua perkara, dan rancangan yang diukur dalam jam.

Jika diskaun 50% lebih penting daripada masa siap, dan model yang anda perlukan ada di sana, Batch API yang dihoskan mungkin alat yang lebih murah. Bandingkan harga kedua-duanya dengan kalkulator kos API LLM sebelum anda membina.

Berapa lamakah tugas ini akan mengambil masa?

Kira ini sebelum anda menulis kod. Dua had mengehadkan daya pemprosesan, dan yang lebih perlahan menang:

  • Had serentak ÷ kependaman. Dengan 4 permintaan serentak dan 2 saat setiap permintaan, anda boleh menyiapkan 2 sesaat.
  • Permintaan seminit. Pada 30 seminit, anda boleh memulakan 0.5 sesaat, walau sepantas mana pun model.

Kunci bayar ikut guna BroadNet membenarkan 4 permintaan serentak dan 30 seminit. Pada nilai dalam rujukan API ketika kami menyemak (30 seminit dan 4 serentak, 2026-11-15), had kadar yang mengikat melainkan setiap permintaan mengambil lebih daripada 8 saat, dan jadual di bawah menggunakan 30 seminit:

Item Satu item setiap permintaan 20 item setiap permintaan
10,000 5.6 jam 17 minit
100,000 2.3 hari 2.8 jam
1,000,000 23 hari 28 jam

Pada 30 permintaan seminit, satu kunci memproses 1,800 permintaan sejam, atau 43,200 sehari. Cubaan semula juga dikira: setiap 429 yang anda cetuskan menggunakan satu slot.

Lajur kedua ialah tuil terbesar. Item pendek, seperti ulasan atau subjek tiket, boleh dihantar 10 hingga 50 setiap permintaan sebagai senarai bernombor, dengan tatasusunan JSON sebagai balasan. Semak bahawa tatasusunan mempunyai satu entri bagi setiap input dan setiap satu membawa nombornya. Catatan pengelasan teks Arab menunjukkan coraknya. Item panjang tidak boleh dibungkus: setiap permintaan masih perlu muat dalam tetingkap konteks model, dan kualiti boleh menurun apabila senarai memanjang. Uji pembungkusan pada 200 item sebelum anda mempercayainya.

Jangan sebarkan satu tugas merentas beberapa kunci untuk mengatasi had setiap kunci tanpa bertanya. Dasar Penggunaan Boleh Diterima BroadNet melarang pengelakan had kadar, serentak atau bajet. Jika anda memerlukan lebih, tanya BroadNet, atau gunakan sesi pelan, di bawah. Perancang tugas kelompok membuat kiraan ini untuk bilangan item, kependaman dan had anda.

Bagaimanakah rupa pelari yang boleh disambung?

Pelari ini membaca items.jsonl (satu objek {"id", "text"} setiap baris) dan menambah satu baris hasil bagi setiap item ke results.jsonl. Ia hanya memerlukan OpenAI Python SDK.

import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))

Jalankannya dengan python batch_run.py items.jsonl results.jsonl. Kami menguji fail ini sendiri terhadap pelayan olok-olok tempatan yang memulangkan 429 (8%) dan 500 (5%) secara rawak dan menolak apa-apa melebihi 4 serentak atau 30 permulaan seminit. 25 item selesai dalam 55 saat dengan 28 permintaan (3 cubaan semula), dan tidak pernah lebih daripada 30 permulaan dalam mana-mana tetingkap 60 saat. Dengan had olok-olok dinaikkan kepada 300 seminit untuk menjimatkan masa, larian 120 item yang dihentikan selepas 10 saat bersambung daripada 39 hasil yang disimpan dan selesai dengan 120 ID unik tanpa pendua.

Mengapakah kumpulan pekerja dan bukan asyncio.gather?

Panduan 429 menggunakan semaphore di sekeliling asyncio.gather. Itu memadai untuk beberapa ratus panggilan. Untuk tugas besar, kumpulan pekerja tetap yang mengambil daripada baris gilir lebih baik:

  • Memori. gather mencipta satu tugas bagi setiap item di awal. Kumpulan hanya memegang item yang sedang berjalan.
  • Keserentakan ialah saiz kumpulan. Empat pekerja tidak boleh mempunyai lima permintaan terbuka.
  • Hasil distrim ke cakera sebaik selesai, dalam apa jua susunan, dikunci dengan ID.

Pacer mengendalikan had kedua. Semaphore sahaja menghalang anda melebihi 4 serentak, tetapi jika permintaan mengambil sesaat, empat pekerja akan memulakan 240 seminit dan terkena 429 pada kebanyakannya. Pacer menjarakkan permulaan 2 saat, merentas semua pekerja, termasuk cubaan semula.

Bagaimanakah cubaan semula kekal selamat?

Cuba semula hanya apa yang boleh berjaya pada percubaan kedua:

Respons Tindakan
429 Undur dan cuba semula; dokumentasi BroadNet menyebut “use response details and bounded backoff” (Terjemahan: gunakan butiran respons dan backoff terhad)
500, 502, 503, 504, tamat masa, sambungan terputus Cuba semula dengan backoff eksponen terhad
400, 422 Baiki permintaan; cubaan semula menghantar ralat yang sama
401, 402, 403 Hentikan tugas; kunci, baki atau dasar perlu diberi perhatian
413 Pendekkan item

Pelari mematikan cubaan semula SDK sendiri (max_retries=0) supaya hanya ada satu dasar cubaan semula, dengan had yang kelihatan. Backoff adalah eksponen dengan jitter penuh, dihadkan pada 60 saat, supaya pekerja yang gagal bersama tidak mencuba semula bersama. Selepas enam percubaan, item ditulis sebagai "ok": false dan tugas diteruskan. Satu item buruk tidak sekali-kali menghentikan sejuta.

Panggilan model tiada kesan sampingan, jadi penghantaran di sini sekurang-kurangnya sekali: jika proses mati di tengah permintaan, item itu dihantar semula semasa dimulakan semula, dan anda membayarnya dua kali. Itulah satu-satunya pembaziran. Jika tugas juga menulis ke sistem lain, seperti tiket atau e-mel, jadikan penulisan itu idempoten mengikut ID item dan lakukannya dalam laluan berasingan ke atas results.jsonl. Catatan ejen berjalan lama membincangkan kesan sampingan idempoten secara mendalam.

Bagaimanakah checkpoint berfungsi?

Fail output ialah checkpoint. Setiap item yang selesai ialah satu baris yang telah di-flush, jadi selepas ranap, deploy atau Ctrl-C, larian seterusnya membaca fail itu, mengumpul ID dengan "ok": true dan hanya memasukkan selebihnya ke dalam baris gilir. Item yang gagal sebelum ini dicuba semula pada larian seterusnya, dan baris baharunya ditambah. Apabila anda membaca hasil, ambil baris terakhir bagi setiap ID.

Tiga tabiat memastikan ini tahan selama berhari-hari:

  1. ID yang stabil. Gunakan kunci pangkalan data atau cincangan input, jangan sekali-kali nombor baris yang beralih apabila fail input berubah.
  2. Semak finish_reason. Balasan yang terpotong pada max_tokens ialah "ok": true tetapi tidak berguna. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam max_tokens. Pelari menetapkan reasoning_effort="low", yang didokumenkan BroadNet, dan memberi 1,500 token.
  3. Log penggunaan setiap baris. Menjumlahkan usage daripada results.jsonl memberi bil token sebenar untuk dibandingkan dengan anggaran anda.

Berapakah kosnya: bayar ikut guna atau sesi pelan?

Pada bayar ikut guna, kos ialah token. Ambil 100,000 ulasan, system prompt 150 token, ulasan 150 token dan 100 token output dengan penaakulan rendah. Itu 30 juta token input dan 10 juta token output. Pada DeepSeek V4.1 Flash kosnya 30 × $0.175 + 10 × $0.52. Kekalkan system prompt di hadapan dan sama bait demi bait, dan 15 juta tokennya boleh dibilkan pada kadar input cache $0.0055 setiap 1M apabila cache mengena. Baris usage anda menunjukkan berapa kerap ia berlaku.

Pada pelan, token percuma dan masa ialah kosnya. Sesi pelan DeepSeek V4.1 Flash “runs one request at a time” (Terjemahan: menjalankan satu permintaan pada satu masa), jadi tetapkan IN_FLIGHT=1 bagi setiap sesi. Daya pemprosesan setiap sesi ialah 86,400 ÷ saat setiap item, sehari. BroadNet menyebut kelajuan biasa sebagai kira-kira 100 token sesaat, tetapi kependaman anda bergantung pada panjang prompt dan penaakulan, jadi ukurnya pada 50 item. Jika anda mengukur 3 saat setiap item, satu sesi memproses 28,800 sehari:

Tugas Sesi Masa pada 3 s/item Pelan
100,000 item 1 Kira-kira 3.5 hari Satu minggu Orbit, $15 setiap sesi
100,000 item 4 Kira-kira 21 jam Empat minggu Orbit, satu bagi setiap sesi; atau kira-kira 21 jam Meteor bagi setiap sesi pada $1 setiap satu
1,000,000 item 6 Kira-kira 6 hari Enam minggu Orbit

Pelan disediakan “best effort under fair use” (Terjemahan: secara usaha terbaik di bawah penggunaan saksama), dan BroadNet tidak menerbitkan had permintaan seminit untuk kunci pelan; akaun anda menunjukkan had yang terpakai. Tetapkan RPM berdasarkan had itu, bukan tekaan. Panduan perancang sesi menerangkan cara membahagikan sesi merentas kunci.

Di mana BroadNet Inference sesuai

BroadNet Inference tiada Batch API, jadi ia sesuai untuk tugas pukal apabila anda lebih suka mengawal pelari sendiri dan membayar harga per token biasa, atau menetapkan kos dengan sesi pelan DeepSeek V4.1 Flash. Untuk tugas kecil dengan bajet terhad, Gemma 4 VL 26B pada $0.10 input dan $0.22 output setiap 1M berjalan dengan kredit permulaan $5. Prompt dan output tidak disimpan selepas setiap permintaan. Jika tugas anda boleh menunggu sehari dan model yang anda perlukan ada pada penyedia dengan diskaun kelompok 50%, itu mungkin lebih murah; bandingkan sebelum anda komited. Pelan dan had ada di inference.broadnet.ai/plans.

Soalan lazim

Adakah BroadNet Inference mempunyai Batch API?

Tidak. Rujukan API-nya, yang disemak pada 15 November 2026, mendokumenkan POST /v1/chat/completions, POST /v1/audio/transcriptions dan GET /v1/models, tanpa endpoint kelompok atau muat naik fail dan tanpa diskaun kelompok. Jalankan tugas pukal sebagai permintaan biasa dalam had kunci anda.

Bagaimanakah saya memproses 100,000 prompt dengan API LLM?

Letakkan item dalam fail JSONL dengan ID bagi setiap satu. Jalankan bilangan pekerja tetap yang sama dengan had serentak kunci, jarakkan permulaan permintaan di bawah had seminit, cuba semula 429 dan 5xx dengan backoff terhad, dan tambah setiap hasil ke fail output yang dikunci dengan ID supaya tugas boleh disambung.

Berapa lamakah kelompok sejuta permintaan akan mengambil masa?

Bahagikan item dengan kadar sebenar anda. Pada 30 permintaan seminit dan satu item setiap permintaan, satu kunci memproses 43,200 sehari, jadi sejuta mengambil kira-kira 23 hari. Membungkus 20 item pendek setiap permintaan memendekkannya kepada kira-kira 28 jam, jika model mengendalikan prompt yang lebih panjang dengan baik.

Patutkah saya menggunakan asyncio.gather atau kumpulan pekerja untuk panggilan LLM kelompok?

Untuk puluhan ribu item, gunakan kumpulan pekerja tetap yang mengambil daripada baris gilir. gather dengan semaphore berfungsi untuk tugas kecil, tetapi ia mencipta setiap tugas di awal dan menyukarkan penyambungan semula dan penjejakan kemajuan.

Bolehkah saya menggunakan beberapa kunci API untuk menjadi lebih pantas?

Semak dahulu. Dasar Penggunaan Boleh Diterima BroadNet melarang pengelakan had kadar atau serentak, jadi tanya BroadNet sebelum anda membahagikan satu tugas merentas kunci untuk melepasi had setiap kunci. Membungkus lebih banyak item setiap permintaan dan sesi pelan ialah cara yang didokumenkan untuk menambah daya pemprosesan.

Adakah pelan kadar rata sesuai untuk tugas kelompok?

Boleh, untuk DeepSeek V4.1 Flash. Sesi menjalankan satu permintaan pada satu masa tanpa meter token, jadi kos tetap dan persoalannya ialah masa. Ukur saat setiap item, kemudian beli sesi yang cukup untuk selesai dalam tempoh itu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity