---
title: "Pemprosesan kelompok LLM tanpa Batch API: pelari dan masa"
description: "Jalankan 10,000 hingga 1,000,000 prompt melalui API chat-completions tanpa Batch API: had serentak, kadar permintaan, cubaan semula, checkpoint dan kiraan masa."
url: https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/llm-batch-processing-without-batch-api/) (dikemas kini 2026-11-16).

# Pemprosesan kelompok LLM tanpa Batch API: pelari boleh sambung

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan 2026-11-15 · Dikemas kini 2026-11-16

Tanpa Batch API, jalankan tugas itu sendiri: baca item daripada fail JSONL, hadkan permintaan serentak pada had kunci, jarakkan permulaan permintaan di bawah had seminit, cuba semula 429 dan 5xx dengan backoff terhad, dan tambah setiap hasil bersama ID-nya. Semasa dimulakan semula, langkau ID yang sudah selesai. Biasanya had kadar, bukan model, yang menentukan bila ia selesai.

## Perkara utama

-   BroadNet Inference mendokumenkan chat completions dan transkripsi sahaja. Tiada Batch API dan tiada diskaun kelompok, jadi tugas pukal ialah gelung permintaan biasa.
-   Masa siap ialah item ÷ kadar yang lebih perlahan antara dua: had serentak ÷ kependaman, atau permintaan seminit. Kunci bayar ikut guna membenarkan 4 serentak dan 30 seminit, jadi satu item setiap permintaan mencapai maksimum 43,200 sehari.
-   Tulis satu baris hasil bagi setiap item, dikunci dengan ID, dan flush. Baris itu ialah checkpoint: ranap hanya merugikan permintaan yang sedang berjalan.
-   Sesi pelan menjalankan satu permintaan pada satu masa. Daya pemprosesannya ialah 86,400 ÷ saat setiap item yang anda ukur, sehari, bagi setiap sesi.
-   Jika kerja boleh menunggu sehari dan diskaun kelompok 50% penting, Batch API OpenAI dan Anthropic mungkin alat yang lebih murah. Bandingkan harga kedua-duanya.

**Dalam halaman ini**

1.  Adakah BroadNet Inference mempunyai Batch API?
2.  Berapa lamakah tugas ini akan mengambil masa?
3.  Bagaimanakah rupa pelari yang boleh disambung?
4.  Mengapakah kumpulan pekerja dan bukan asyncio.gather?
5.  Bagaimanakah cubaan semula kekal selamat?
6.  Bagaimanakah checkpoint berfungsi?
7.  Berapakah kosnya: bayar ikut guna atau sesi pelan?
8.  Di mana BroadNet Inference sesuai

Sesetengah tugas LLM bukan chat. Anda ada 50,000 tiket sokongan untuk dilabel, 200,000 penerangan produk untuk diterjemah, atau sejuta ulasan untuk diberi skor. Penyedia seperti OpenAI dan Anthropic menjual [Batch API](https://broadrouter.com/ms/glossary/batch-api/) untuk ini. Banyak API yang serasi OpenAI, termasuk BroadNet Inference, tidak. Catatan ini menunjukkan cara menjalankan tugas itu sendiri: kira berapa lama ia akan mengambil masa, tulis pelari yang mematuhi had, dan jadikannya selamat untuk dihentikan dan dimulakan semula.

BroadRouter ialah laman web BroadNet sendiri, jadi angka contoh menggunakan had yang diterbitkan BroadNet. Kaedah ini berfungsi pada mana-mana API chat-completions; gantikan dengan angka penyedia anda.

## Adakah BroadNet Inference mempunyai Batch API?

Tidak. [Rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-batch-processing-without-batch-api&utm_content=body), yang disemak pada 15 November 2026, mendokumenkan `POST /v1/chat/completions`, `POST /v1/audio/transcriptions` dan `GET /v1/models` (senarai model), serta endpoint akaun di bawah `/portal/`. Tiada endpoint kelompok atau muat naik fail dan tiada diskaun kelompok. Tugas pukal ialah gelung permintaan biasa.

Inilah yang diberikan oleh Batch API yang dihoskan, supaya anda tahu apa yang anda bina semula:

|  | Batch API OpenAI | Message Batches Anthropic | Pelari anda sendiri |
| --- | --- | --- | --- |
| Harga | 50% lebih murah daripada segerak | 50% lebih murah | Harga biasa |
| Masa siap | Dalam 24 jam | Kebanyakan dalam 1 jam; luput selepas 24 | Ditentukan oleh had kadar anda |
| Saiz setiap kelompok | 50,000 permintaan atau 200 MB | 100,000 permintaan atau 256 MB | Sebarang saiz |
| Had kadar | Berasingan daripada had setiap model | Terpakai pada permintaan dalam baris gilir | Had kunci anda |
| Susunan hasil | Mungkin berbeza; padankan dengan `custom_id` | Padankan dengan `custom_id` | Anda kunci hasil dengan ID |

Dua pengajaran terpakai. Kedua-dua penyedia memaksa anda menandakan setiap permintaan dengan ID, kerana hasil tidak kembali mengikut urutan. Kedua-duanya tidak menjanjikan jawapan dalam beberapa saat. Pelari anda patut berfungsi dengan cara yang sama: ID pada semua perkara, dan rancangan yang diukur dalam jam.

Jika diskaun 50% lebih penting daripada masa siap, dan model yang anda perlukan ada di sana, Batch API yang dihoskan mungkin alat yang lebih murah. Bandingkan harga kedua-duanya dengan [kalkulator kos API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) sebelum anda membina.

## Berapa lamakah tugas ini akan mengambil masa?

Kira ini sebelum anda menulis kod. Dua had mengehadkan daya pemprosesan, dan yang lebih perlahan menang:

-   **Had serentak ÷ kependaman.** Dengan 4 permintaan serentak dan 2 saat setiap permintaan, anda boleh menyiapkan 2 sesaat.
-   **Permintaan seminit.** Pada 30 seminit, anda boleh memulakan 0.5 sesaat, walau sepantas mana pun model.

Kunci [bayar ikut guna](https://broadrouter.com/ms/glossary/pay-as-you-go/) BroadNet membenarkan 4 permintaan serentak dan 30 seminit. Pada nilai dalam rujukan API ketika kami menyemak (30 seminit dan 4 serentak, 2026-11-15), [had kadar](https://broadrouter.com/ms/glossary/rate-limit/) yang mengikat melainkan setiap permintaan mengambil lebih daripada 8 saat, dan jadual di bawah menggunakan 30 seminit:

| Item | Satu item setiap permintaan | 20 item setiap permintaan |
| --- | --- | --- |
| 10,000 | 5.6 jam | 17 minit |
| 100,000 | 2.3 hari | 2.8 jam |
| 1,000,000 | 23 hari | 28 jam |

Pada 30 permintaan seminit, satu kunci memproses 1,800 permintaan sejam, atau 43,200 sehari. Cubaan semula juga dikira: setiap 429 yang anda cetuskan menggunakan satu slot.

Lajur kedua ialah tuil terbesar. Item pendek, seperti ulasan atau subjek tiket, boleh dihantar 10 hingga 50 setiap permintaan sebagai senarai bernombor, dengan tatasusunan JSON sebagai balasan. Semak bahawa tatasusunan mempunyai satu entri bagi setiap input dan setiap satu membawa nombornya. [Catatan pengelasan teks Arab](https://broadrouter.com/ms/blog/arabic-text-classification-llm/) menunjukkan coraknya. Item panjang tidak boleh dibungkus: setiap permintaan masih perlu muat dalam [tetingkap konteks](https://broadrouter.com/ms/glossary/context-window/) model, dan kualiti boleh menurun apabila senarai memanjang. Uji pembungkusan pada 200 item sebelum anda mempercayainya.

Jangan sebarkan satu tugas merentas beberapa kunci untuk mengatasi had setiap kunci tanpa bertanya. [Dasar Penggunaan Boleh Diterima](https://www.broadnet.ai/aup) BroadNet melarang pengelakan had kadar, serentak atau bajet. Jika anda memerlukan lebih, tanya BroadNet, atau gunakan sesi pelan, di bawah. [Perancang tugas kelompok](https://broadrouter.com/tools/llm-batch-job-planner/) membuat kiraan ini untuk bilangan item, kependaman dan had anda.

## Bagaimanakah rupa pelari yang boleh disambung?

Pelari ini membaca `items.jsonl` (satu objek `{"id", "text"}` setiap baris) dan menambah satu baris hasil bagi setiap item ke `results.jsonl`. Ia hanya memerlukan OpenAI Python SDK.

```python
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))
```

Jalankannya dengan `python batch_run.py items.jsonl results.jsonl`. Kami menguji fail ini sendiri terhadap pelayan olok-olok tempatan yang memulangkan 429 (8%) dan 500 (5%) secara rawak dan menolak apa-apa melebihi 4 serentak atau 30 permulaan seminit. 25 item selesai dalam 55 saat dengan 28 permintaan (3 cubaan semula), dan tidak pernah lebih daripada 30 permulaan dalam mana-mana tetingkap 60 saat. Dengan had olok-olok dinaikkan kepada 300 seminit untuk menjimatkan masa, larian 120 item yang dihentikan selepas 10 saat bersambung daripada 39 hasil yang disimpan dan selesai dengan 120 ID unik tanpa pendua.

## Mengapakah kumpulan pekerja dan bukan asyncio.gather?

[Panduan 429](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/) menggunakan semaphore di sekeliling `asyncio.gather`. Itu memadai untuk beberapa ratus panggilan. Untuk tugas besar, kumpulan pekerja tetap yang mengambil daripada baris gilir lebih baik:

-   **Memori.** `gather` mencipta satu tugas bagi setiap item di awal. Kumpulan hanya memegang item yang sedang berjalan.
-   **Keserentakan ialah saiz kumpulan.** Empat pekerja tidak boleh mempunyai lima permintaan terbuka.
-   **Hasil distrim ke cakera** sebaik selesai, dalam apa jua susunan, dikunci dengan ID.

`Pacer` mengendalikan had kedua. Semaphore sahaja menghalang anda melebihi 4 serentak, tetapi jika permintaan mengambil sesaat, empat pekerja akan memulakan 240 seminit dan terkena 429 pada kebanyakannya. Pacer menjarakkan permulaan 2 saat, merentas semua pekerja, termasuk cubaan semula.

## Bagaimanakah cubaan semula kekal selamat?

Cuba semula hanya apa yang boleh berjaya pada percubaan kedua:

| Respons | Tindakan |
| --- | --- |
| 429 | Undur dan cuba semula; dokumentasi BroadNet menyebut “use response details and bounded backoff” (Terjemahan: gunakan butiran respons dan backoff terhad) |
| 500, 502, 503, 504, tamat masa, sambungan terputus | Cuba semula dengan backoff eksponen terhad |
| 400, 422 | Baiki permintaan; cubaan semula menghantar ralat yang sama |
| 401, 402, 403 | Hentikan tugas; kunci, baki atau dasar perlu diberi perhatian |
| 413 | Pendekkan item |

Pelari mematikan cubaan semula SDK sendiri (`max_retries=0`) supaya hanya ada satu dasar cubaan semula, dengan had yang kelihatan. Backoff adalah [eksponen](https://broadrouter.com/ms/glossary/exponential-backoff/) dengan jitter penuh, dihadkan pada 60 saat, supaya pekerja yang gagal bersama tidak mencuba semula bersama. Selepas enam percubaan, item ditulis sebagai `"ok": false` dan tugas diteruskan. Satu item buruk tidak sekali-kali menghentikan sejuta.

Panggilan model tiada kesan sampingan, jadi penghantaran di sini sekurang-kurangnya sekali: jika proses mati di tengah permintaan, item itu dihantar semula semasa dimulakan semula, dan anda membayarnya dua kali. Itulah satu-satunya pembaziran. Jika tugas juga menulis ke sistem lain, seperti tiket atau e-mel, jadikan penulisan itu [idempoten](https://broadrouter.com/ms/glossary/idempotency-key/) mengikut ID item dan lakukannya dalam laluan berasingan ke atas `results.jsonl`. [Catatan ejen berjalan lama](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/) membincangkan kesan sampingan idempoten secara mendalam.

## Bagaimanakah checkpoint berfungsi?

Fail output ialah checkpoint. Setiap item yang selesai ialah satu baris yang telah di-flush, jadi selepas ranap, deploy atau Ctrl-C, larian seterusnya membaca fail itu, mengumpul ID dengan `"ok": true` dan hanya memasukkan selebihnya ke dalam baris gilir. Item yang gagal sebelum ini dicuba semula pada larian seterusnya, dan baris baharunya ditambah. Apabila anda membaca hasil, ambil baris terakhir bagi setiap ID.

Tiga tabiat memastikan ini tahan selama berhari-hari:

1.  **ID yang stabil.** Gunakan kunci pangkalan data atau cincangan input, jangan sekali-kali nombor baris yang beralih apabila fail input berubah.
2.  **Semak `finish_reason`.** Balasan yang terpotong pada `max_tokens` ialah `"ok": true` tetapi tidak berguna. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan [penaakulan dikira dalam max\_tokens](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/). Pelari menetapkan `reasoning_effort="low"`, yang didokumenkan BroadNet, dan memberi 1,500 token.
3.  **Log penggunaan setiap baris.** Menjumlahkan `usage` daripada `results.jsonl` memberi bil token sebenar untuk dibandingkan dengan anggaran anda.

## Berapakah kosnya: bayar ikut guna atau sesi pelan?

Pada bayar ikut guna, kos ialah token. Ambil 100,000 ulasan, system prompt 150 token, ulasan 150 token dan 100 token output dengan penaakulan rendah. Itu 30 juta token input dan 10 juta token output. Pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) kosnya 30 × $0.175 + 10 × $0.52. Kekalkan system prompt di hadapan dan sama bait demi bait, dan 15 juta tokennya boleh dibilkan pada kadar [input cache](https://broadrouter.com/ms/blog/cached-input-tokens-explained/) $0.0055 setiap 1M apabila cache mengena. Baris `usage` anda menunjukkan berapa kerap ia berlaku.

Pada pelan, token percuma dan masa ialah kosnya. Sesi pelan DeepSeek V4.1 Flash “runs one request at a time” (Terjemahan: menjalankan satu permintaan pada satu masa), jadi tetapkan `IN_FLIGHT=1` bagi setiap sesi. Daya pemprosesan setiap sesi ialah 86,400 ÷ saat setiap item, sehari. BroadNet menyebut kelajuan biasa sebagai kira-kira 100 token sesaat, tetapi kependaman anda bergantung pada panjang prompt dan penaakulan, jadi ukurnya pada 50 item. Jika anda mengukur 3 saat setiap item, satu sesi memproses 28,800 sehari:

| Tugas | Sesi | Masa pada 3 s/item | Pelan |
| --- | --- | --- | --- |
| 100,000 item | 1 | Kira-kira 3.5 hari | Satu minggu Orbit, $15 setiap sesi |
| 100,000 item | 4 | Kira-kira 21 jam | Empat minggu Orbit, satu bagi setiap sesi; atau kira-kira 21 jam Meteor bagi setiap sesi pada $1 setiap satu |
| 1,000,000 item | 6 | Kira-kira 6 hari | Enam minggu Orbit |

Pelan disediakan “best effort under fair use” (Terjemahan: secara usaha terbaik di bawah penggunaan saksama), dan BroadNet tidak menerbitkan had permintaan seminit untuk kunci pelan; akaun anda menunjukkan had yang terpakai. Tetapkan `RPM` berdasarkan had itu, bukan tekaan. [Panduan perancang sesi](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) menerangkan cara membahagikan sesi merentas kunci.

## Di mana BroadNet Inference sesuai

BroadNet Inference tiada Batch API, jadi ia sesuai untuk tugas pukal apabila anda lebih suka mengawal pelari sendiri dan membayar harga per token biasa, atau menetapkan kos dengan sesi pelan DeepSeek V4.1 Flash. Untuk tugas kecil dengan bajet terhad, [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) pada $0.10 input dan $0.22 output setiap 1M berjalan dengan kredit permulaan $5. Prompt dan output tidak disimpan selepas setiap permintaan. Jika tugas anda boleh menunggu sehari dan model yang anda perlukan ada pada penyedia dengan diskaun kelompok 50%, itu mungkin lebih murah; bandingkan sebelum anda komited. Pelan dan had ada di [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-batch-processing-without-batch-api&utm_content=body).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[API kelompok (batch API)](https://broadrouter.com/ms/glossary/batch-api/)

Batch API ialah endpoint LLM tak segerak yang menerima banyak permintaan sekali gus, biasanya sebagai fail, memprosesnya dalam tempoh yang ditetapkan dan bukan serta-merta, dan memulangkan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic mengenakan harga diskaun untuk permintaan kelompok berbanding API standard mereka.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Prompt sistem (system prompt)](https://broadrouter.com/ms/glossary/system-prompt/)

Prompt sistem ialah teks arahan yang dihantar oleh aplikasi kepada model bahasa sebelum perbualan, biasanya sebagai mesej dengan peranan system atau developer. Ia menetapkan peranan, peraturan, nada dan format output model, dan model sepatutnya mengutamakannya berbanding mesej pengguna yang bercanggah.

[Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/)

Token input ialah token yang dibaca oleh model bahasa dalam satu permintaan, termasuk prompt sistem, sejarah perbualan, definisi alatan dan imej. Token output ialah token yang dijananya sebagai balasan, termasuk sebarang penaakulan. API LLM biasanya meletakkan harga berasingan, dan output biasanya lebih mahal.

[Backoff eksponen (exponential backoff)](https://broadrouter.com/ms/glossary/exponential-backoff/)

Backoff eksponen ialah strategi cuba semula di mana klien menunggu lebih lama selepas setiap percubaan yang gagal, biasanya menggandakan kelewatan sehingga had tertentu, sebelum mencuba lagi. Menambah jitter rawak pada setiap penantian menyebarkan cubaan semula daripada banyak klien supaya mereka tidak mengenai pelayan pada saat yang sama.

## Soalan lazim

### Adakah BroadNet Inference mempunyai Batch API?

Tidak. Rujukan API-nya, yang disemak pada 15 November 2026, mendokumenkan POST /v1/chat/completions, POST /v1/audio/transcriptions dan GET /v1/models, tanpa endpoint kelompok atau muat naik fail dan tanpa diskaun kelompok. Jalankan tugas pukal sebagai permintaan biasa dalam had kunci anda.

### Bagaimanakah saya memproses 100,000 prompt dengan API LLM?

Letakkan item dalam fail JSONL dengan ID bagi setiap satu. Jalankan bilangan pekerja tetap yang sama dengan had serentak kunci, jarakkan permulaan permintaan di bawah had seminit, cuba semula 429 dan 5xx dengan backoff terhad, dan tambah setiap hasil ke fail output yang dikunci dengan ID supaya tugas boleh disambung.

### Berapa lamakah kelompok sejuta permintaan akan mengambil masa?

Bahagikan item dengan kadar sebenar anda. Pada 30 permintaan seminit dan satu item setiap permintaan, satu kunci memproses 43,200 sehari, jadi sejuta mengambil kira-kira 23 hari. Membungkus 20 item pendek setiap permintaan memendekkannya kepada kira-kira 28 jam, jika model mengendalikan prompt yang lebih panjang dengan baik.

### Patutkah saya menggunakan asyncio.gather atau kumpulan pekerja untuk panggilan LLM kelompok?

Untuk puluhan ribu item, gunakan kumpulan pekerja tetap yang mengambil daripada baris gilir. gather dengan semaphore berfungsi untuk tugas kecil, tetapi ia mencipta setiap tugas di awal dan menyukarkan penyambungan semula dan penjejakan kemajuan.

### Bolehkah saya menggunakan beberapa kunci API untuk menjadi lebih pantas?

Semak dahulu. Dasar Penggunaan Boleh Diterima BroadNet melarang pengelakan had kadar atau serentak, jadi tanya BroadNet sebelum anda membahagikan satu tugas merentas kunci untuk melepasi had setiap kunci. Membungkus lebih banyak item setiap permintaan dan sesi pelan ialah cara yang didokumenkan untuk menambah daya pemprosesan.

### Adakah pelan kadar rata sesuai untuk tugas kelompok?

Boleh, untuk DeepSeek V4.1 Flash. Sesi menjalankan satu permintaan pada satu masa tanpa meter token, jadi kos tetap dan persoalannya ialah masa. Ukur saat setiap item, kemudian beli sesi yang cukup untuk selesai dalam tempoh itu.

## Teruskan membaca

-   [Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/)
-   [Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/)
-   [Pengelasan teks bahasa Arab dengan LLM: sentimen, niat, triaj](https://broadrouter.com/ms/blog/arabic-text-classification-llm/)
-   [Cara menjalankan ejen pengekodan selari pada API LLM kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/)
-   [Pelan LLM mingguan untuk projek pendek: Orbit vs sejam vs sebulan](https://broadrouter.com/ms/blog/weekly-llm-plan-short-projects/)
-   [Cara menganggar kos API LLM sebelum melancarkan ciri baharu](https://broadrouter.com/ms/blog/estimate-llm-api-cost-before-launch/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Cara pelan API LLM tanpa had berfungsi untuk ejen](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-batch-processing-without-batch-api&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference: endpoint, had bayar ikut guna (30 seminit, 4 serentak), had kunci sejam, panduan cubaan semula 429 dan 5xx, reasoning\_effort (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-batch-processing-without-batch-api&utm_content=sources)
-   [Halaman pelan BroadNet Inference: satu permintaan pada satu masa bagi setiap sesi, kelajuan biasa, harga pelan (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-batch-processing-without-batch-api&utm_content=sources)
-   [Dasar Penggunaan Boleh Diterima BroadNet, seksyen 3 dan 4: tiada pengelakan had kadar atau serentak; pelan secara usaha terbaik di bawah penggunaan saksama (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/aup)
-   [Panduan Batch API OpenAI: diskaun 50%, tetingkap 24 jam, 50,000 permintaan atau 200 MB setiap kelompok, susunan output mungkin berbeza, custom\_id (disemak 2026-11-15)](https://developers.openai.com/api/docs/guides/batch)
-   [Dokumentasi Message Batches API Anthropic: diskaun 50%, 100,000 permintaan atau 256 MB, kebanyakan kelompok dalam 1 jam, luput selepas 24 jam (disemak 2026-11-15)](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
