---
title: "Xử lý LLM hàng loạt không cần Batch API: runner và tính toán"
description: "Chạy 10.000 đến 1.000.000 prompt qua API chat completions khi không có Batch API: giới hạn đồng thời, điều tốc, retry, checkpoint chạy tiếp và tính thời gian."
url: https://broadrouter.com/vi/blog/llm-batch-processing-without-batch-api/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/llm-batch-processing-without-batch-api/) (cập nhật ngày 2026-11-16).

# Xử lý LLM hàng loạt không cần Batch API: runner chạy tiếp được

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày 2026-11-15 · Cập nhật 2026-11-16

Không có Batch API thì hãy tự chạy job: đọc mục từ file JSONL, giới hạn request đồng thời theo hạn mức của key, giãn thời điểm bắt đầu request dưới giới hạn mỗi phút, retry 429 và 5xx với backoff có trần, rồi ghi nối từng kết quả kèm ID. Khi chạy lại, bỏ qua ID đã xong. Thời gian hoàn thành thường do giới hạn tốc độ quyết định, không phải model.

## Ý chính

-   Tài liệu BroadNet Inference chỉ có chat completions và chép lời. Không có Batch API và không có giảm giá batch, nên một job hàng loạt là một vòng lặp các request thông thường.
-   Thời gian hoàn thành = số mục ÷ tốc độ chậm hơn trong hai tốc độ: giới hạn đồng thời ÷ độ trễ, hoặc số request mỗi phút. Key trả theo mức dùng cho phép 4 request đồng thời và 30 request mỗi phút, nên với một mục mỗi request thì tối đa 43.200 mục mỗi ngày.
-   Ghi một dòng kết quả cho mỗi mục, gắn theo ID, và flush ngay. Dòng đó chính là checkpoint: một lần sập chỉ mất tối đa các request đang chạy.
-   Một phiên của gói chạy một request mỗi lúc. Thông lượng của nó là 86.400 ÷ số giây đo được cho mỗi mục, mỗi ngày, mỗi phiên.
-   Nếu công việc chờ được một ngày và khoản giảm 50% cho batch là quan trọng, Batch API của OpenAI và Anthropic có thể là công cụ rẻ hơn. Hãy tính giá cả hai.

**Trong trang này**

1.  BroadNet Inference có Batch API không?
2.  Job sẽ mất bao lâu?
3.  Một runner chạy tiếp được trông thế nào?
4.  Vì sao dùng worker pool mà không dùng asyncio.gather?
5.  Làm sao để retry luôn an toàn?
6.  Checkpoint hoạt động thế nào?
7.  Chi phí bao nhiêu: trả theo mức dùng hay phiên của gói?
8.  BroadNet Inference phù hợp ở đâu

Không phải job LLM nào cũng là chat. Bạn có 50.000 ticket hỗ trợ cần gắn nhãn, 200.000 mô tả sản phẩm cần dịch, hay một triệu đánh giá cần chấm điểm. Các nhà cung cấp như OpenAI và Anthropic bán [Batch API](https://broadrouter.com/vi/glossary/batch-api/) cho việc này. Nhiều API tương thích OpenAI, trong đó có BroadNet Inference, thì không. Bài này cho thấy cách tự chạy job: tính xem mất bao lâu, viết một runner tôn trọng các giới hạn, và làm cho nó dừng rồi chạy lại an toàn.

BroadRouter là website của chính BroadNet, nên các con số minh họa dùng giới hạn BroadNet công bố. Phương pháp này áp dụng cho mọi API chat completions; hãy thay bằng số liệu của nhà cung cấp bạn dùng.

## BroadNet Inference có Batch API không?

Không. [Tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-batch-processing-without-batch-api&utm_content=body), kiểm tra ngày 15/11/2026, có `POST /v1/chat/completions`, `POST /v1/audio/transcriptions` và `GET /v1/models` (danh sách model), cùng các endpoint tài khoản dưới `/portal/`. Không có endpoint batch hay tải file lên, và không có giảm giá batch. Một job hàng loạt là một vòng lặp các request bình thường.

Đây là những gì một Batch API có sẵn mang lại, để bạn biết mình đang dựng lại thứ gì:

|  | OpenAI Batch API | Anthropic Message Batches | Runner của bạn |
| --- | --- | --- | --- |
| Giá | Giảm 50% so với gọi đồng bộ | Giảm 50% | Giá thường |
| Thời gian trả kết quả | Trong vòng 24 giờ | Phần lớn trong 1 giờ; hết hạn sau 24 giờ | Do giới hạn tốc độ của bạn quyết định |
| Kích thước mỗi batch | 50.000 request hoặc 200 MB | 100.000 request hoặc 256 MB | Bất kỳ |
| Giới hạn tốc độ | Tách riêng khỏi giới hạn theo model | Áp dụng cho request đang xếp hàng | Giới hạn của key |
| Thứ tự kết quả | Có thể khác; khớp theo `custom_id` | Khớp theo `custom_id` | Bạn gắn kết quả theo ID |

Có hai bài học dùng lại được. Cả hai nhà cung cấp đều bắt bạn gắn ID cho mỗi request, vì kết quả không trả về theo thứ tự. Không ai hứa có câu trả lời trong vài giây. Runner của bạn nên làm giống vậy: gắn ID cho mọi thứ, và lên kế hoạch tính bằng giờ.

Nếu khoản giảm 50% quan trọng hơn thời gian trả kết quả, và các model bạn cần có ở đó, Batch API có sẵn có thể là công cụ rẻ hơn. Hãy tính giá cả hai bằng [công cụ tính chi phí API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) trước khi bắt tay xây dựng.

## Job sẽ mất bao lâu?

Hãy tính trước khi viết code. Hai giới hạn chặn thông lượng, và giới hạn chậm hơn sẽ thắng:

-   **Giới hạn đồng thời ÷ độ trễ.** Với 4 request đồng thời và 2 giây mỗi request, bạn xong được 2 request mỗi giây.
-   **Số request mỗi phút.** Ở mức 30 mỗi phút, bạn chỉ bắt đầu được 0,5 request mỗi giây, dù model nhanh đến đâu.

Một key [trả theo mức dùng](https://broadrouter.com/vi/glossary/pay-as-you-go/) của BroadNet cho phép 4 request đồng thời và 30 request mỗi phút. Với các giá trị trong tài liệu tham chiếu API khi chúng tôi kiểm tra (30 request mỗi phút và 4 request đồng thời, 2026-11-15), [giới hạn tốc độ](https://broadrouter.com/vi/glossary/rate-limit/) là nút thắt trừ khi mỗi request mất hơn 8 giây, và bảng dưới đây dùng mức 30 request mỗi phút:

| Số mục | Một mục mỗi request | 20 mục mỗi request |
| --- | --- | --- |
| 10.000 | 5,6 giờ | 17 phút |
| 100.000 | 2,3 ngày | 2,8 giờ |
| 1.000.000 | 23 ngày | 28 giờ |

Ở mức 30 request mỗi phút, một key chạy được 1.800 request mỗi giờ, tức 43.200 mỗi ngày. Retry cũng được tính: mỗi lần dính 429 là tốn một lượt.

Cột thứ hai là đòn bẩy lớn nhất. Các mục ngắn, như đánh giá hay tiêu đề ticket, có thể gửi 10 đến 50 mục mỗi request dưới dạng danh sách đánh số, nhận về một mảng JSON. Hãy kiểm tra mảng có đúng một phần tử cho mỗi input và mỗi phần tử mang số thứ tự của nó. [Bài phân loại văn bản tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-text-classification-llm/) có mẫu này. Mục dài thì không gộp được: mỗi request vẫn phải vừa [cửa sổ context](https://broadrouter.com/vi/glossary/context-window/) của model, và chất lượng có thể giảm khi danh sách dài ra. Hãy test việc gộp trên 200 mục trước khi tin tưởng.

Đừng chia một job qua nhiều key để vượt giới hạn mỗi key mà không hỏi trước. [Chính sách sử dụng chấp nhận được](https://www.broadnet.ai/aup) của BroadNet cấm lách giới hạn tốc độ, đồng thời hay ngân sách. Nếu cần nhiều hơn, hãy hỏi BroadNet, hoặc dùng phiên của gói như bên dưới. [Công cụ lập kế hoạch job batch](https://broadrouter.com/tools/llm-batch-job-planner/) làm phép tính này theo số mục, độ trễ và giới hạn của bạn.

## Một runner chạy tiếp được trông thế nào?

Runner này đọc `items.jsonl` (mỗi dòng một object `{"id", "text"}`) và ghi nối một dòng kết quả cho mỗi mục vào `results.jsonl`. Nó chỉ cần OpenAI Python SDK.

```python
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))
```

Chạy bằng `python batch_run.py items.jsonl results.jsonl`. Chúng tôi đã test đúng file này với một mock server cục bộ trả về 429 (8%) và 500 (5%) ngẫu nhiên, và từ chối mọi thứ vượt 4 request đồng thời hoặc 30 lần bắt đầu mỗi phút. 25 mục xong trong 55 giây với 28 request (3 lần retry), và không có khung 60 giây nào vượt 30 lần bắt đầu. Khi nâng giới hạn của mock lên 300 mỗi phút cho đỡ mất thời gian, một lần chạy 120 mục bị kill sau 10 giây đã chạy tiếp từ 39 kết quả đã lưu và kết thúc với 120 ID duy nhất, không trùng lặp.

## Vì sao dùng worker pool mà không dùng asyncio.gather?

[Hướng dẫn xử lý 429](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/) dùng semaphore bọc quanh `asyncio.gather`. Cách đó ổn với vài trăm lệnh gọi. Với job lớn, một pool worker cố định lấy việc từ hàng đợi sẽ tốt hơn:

-   **Bộ nhớ.** `gather` tạo một task cho mỗi mục ngay từ đầu. Pool chỉ giữ các mục đang chạy.
-   **Mức đồng thời chính là kích thước pool.** Bốn worker không bao giờ mở được năm request.
-   **Kết quả chảy xuống đĩa** ngay khi xong, theo bất kỳ thứ tự nào, gắn theo ID.

`Pacer` xử lý giới hạn thứ hai. Chỉ semaphore thì ngăn bạn vượt 4 request đồng thời, nhưng nếu mỗi request mất một giây, bốn worker sẽ bắt đầu 240 request mỗi phút và dính 429 ở phần lớn trong số đó. Pacer giãn các lần bắt đầu cách nhau 2 giây trên tất cả worker, tính cả retry.

## Làm sao để retry luôn an toàn?

Chỉ retry những gì có thể thành công ở lần thử thứ hai:

| Phản hồi | Hành động |
| --- | --- |
| 429 | Backoff rồi retry; tài liệu BroadNet ghi “use response details and bounded backoff” (bản dịch: dùng chi tiết trong phản hồi và backoff có giới hạn) |
| 500, 502, 503, 504, timeout, mất kết nối | Retry với exponential backoff có giới hạn |
| 400, 422 | Sửa request; retry chỉ nhận lại cùng lỗi |
| 401, 402, 403 | Dừng job; key, số dư hoặc chính sách cần được xem lại |
| 413 | Rút ngắn mục |

Runner tắt retry riêng của SDK (`max_retries=0`) để chỉ có đúng một chính sách retry, với mức trần nhìn thấy được. Backoff là [exponential](https://broadrouter.com/vi/glossary/exponential-backoff/) với full jitter, trần 60 giây, để các worker lỗi cùng lúc không retry cùng lúc. Sau sáu lần thử, mục được ghi là `"ok": false` và job đi tiếp. Một mục hỏng không bao giờ làm dừng cả triệu mục.

Lệnh gọi model không có tác dụng phụ, nên việc gửi ở đây là ít nhất một lần (at least once): nếu tiến trình chết giữa request, mục đó sẽ được gửi lại khi chạy lại, và bạn trả tiền hai lần. Đó là lãng phí duy nhất. Nếu job còn ghi vào hệ thống khác, như ticket hay email, hãy làm thao tác ghi đó [idempotent](https://broadrouter.com/vi/glossary/idempotency-key/) theo ID mục và thực hiện trong một lượt riêng trên `results.jsonl`. [Bài về agent chạy dài](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/) nói kỹ về tác dụng phụ idempotent.

## Checkpoint hoạt động thế nào?

File output chính là checkpoint. Mỗi mục xong là một dòng đã flush, nên sau một lần sập, một lần deploy hay Ctrl-C, lần chạy tiếp theo đọc file, gom các ID có `"ok": true` và chỉ đưa phần còn lại vào hàng đợi. Các mục lỗi trước đó được retry ở lần chạy sau, và dòng mới của chúng được ghi nối thêm. Khi đọc kết quả, hãy lấy dòng cuối cùng cho mỗi ID.

Ba thói quen giúp cách này trụ được qua nhiều ngày:

1.  **ID ổn định.** Dùng khóa trong database hoặc hash của input, không bao giờ dùng số dòng, vì số dòng thay đổi khi file input thay đổi.
2.  **Kiểm tra `finish_reason`.** Một câu trả lời bị cắt ở `max_tokens` vẫn là `"ok": true` nhưng vô dụng. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và [phần suy luận được tính vào max\_tokens](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/). Runner đặt `reasoning_effort="low"`, tham số có trong tài liệu BroadNet, và chừa 1.500 token.
3.  **Ghi usage trên mỗi dòng.** Cộng `usage` từ `results.jsonl` cho bạn hóa đơn token thật để so với ước tính.

## Chi phí bao nhiêu: trả theo mức dùng hay phiên của gói?

Khi trả theo mức dùng, chi phí là token. Lấy 100.000 đánh giá, system prompt 150 token, mỗi đánh giá 150 token và 100 token output với mức suy luận thấp. Tổng là 30 triệu token input và 10 triệu token output. Trên [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/), chi phí là 30 × $0.175 + 10 × $0.52. Giữ system prompt ở đầu và giống hệt từng byte, thì 15 triệu token của nó có thể được tính theo giá [input đã cache](https://broadrouter.com/vi/blog/cached-input-tokens-explained/) là $0.0055 mỗi 1M ở những chỗ trúng cache. Các dòng `usage` cho bạn biết tần suất trúng.

Với gói, token miễn phí và thời gian là chi phí. Một phiên gói DeepSeek V4.1 Flash “runs one request at a time” (bản dịch: chạy một request mỗi lúc), nên hãy đặt `IN_FLIGHT=1` cho mỗi phiên. Thông lượng mỗi phiên là 86.400 ÷ số giây cho mỗi mục, mỗi ngày. BroadNet đưa ra tốc độ điển hình là khoảng 100 token mỗi giây, nhưng độ trễ của bạn phụ thuộc độ dài prompt và phần suy luận, nên hãy đo trên 50 mục. Nếu đo được 3 giây mỗi mục, một phiên xử lý 28.800 mục mỗi ngày:

| Job | Số phiên | Thời gian ở mức 3 giây/mục | Gói |
| --- | --- | --- | --- |
| 100.000 mục | 1 | Khoảng 3,5 ngày | Một tuần Orbit, $15 mỗi phiên |
| 100.000 mục | 4 | Khoảng 21 giờ | Bốn tuần Orbit (mỗi phiên một), hoặc khoảng 21 giờ Meteor mỗi phiên, mỗi giờ $1 |
| 1.000.000 mục | 6 | Khoảng 6 ngày | Sáu tuần Orbit (mỗi phiên một) |

Các gói được cung cấp “best effort under fair use” (bản dịch: theo khả năng tốt nhất trong mức sử dụng hợp lý), và BroadNet không công bố giới hạn request mỗi phút cho key của gói; tài khoản của bạn hiển thị các giới hạn đang áp dụng. Hãy đặt `RPM` theo đó, đừng đoán. [Hướng dẫn lập kế hoạch phiên](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) giải thích cách chia phiên qua các key.

## BroadNet Inference phù hợp ở đâu

BroadNet Inference không có Batch API, nên nó hợp với job hàng loạt khi bạn muốn tự kiểm soát runner và trả giá theo token thông thường, hoặc cố định chi phí bằng các phiên gói DeepSeek V4.1 Flash. Với job nhỏ, ngân sách hạn chế, [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) giá $0.10 input và $0.22 output mỗi 1M chạy được bằng tín dụng ban đầu $5. Prompt và output không được lưu giữ sau mỗi request. Nếu job của bạn chờ được một ngày và các model bạn cần có ở nhà cung cấp giảm 50% cho batch, lựa chọn đó có thể rẻ hơn; hãy so sánh trước khi cam kết. Gói và giới hạn có tại [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-batch-processing-without-batch-api&utm_content=body).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Batch API](https://broadrouter.com/vi/glossary/batch-api/)

Batch API là endpoint LLM bất đồng bộ nhận nhiều request cùng lúc, thường dưới dạng file, xử lý chúng trong một khung thời gian định sẵn thay vì ngay lập tức, rồi trả kết quả cùng nhau. Các nhà cung cấp như OpenAI và Anthropic tính giá batch thấp hơn API tiêu chuẩn.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/)

Exponential backoff là chiến lược thử lại trong đó client chờ lâu hơn sau mỗi lần thất bại trước khi thử tiếp, thường nhân đôi độ trễ cho tới một mức trần. Thêm jitter ngẫu nhiên vào mỗi lần chờ giúp dàn trải các lần thử lại từ nhiều client để chúng không đổ dồn vào server cùng lúc.

## Câu hỏi thường gặp

### BroadNet Inference có Batch API không?

Không. Tài liệu tham chiếu API, kiểm tra ngày 15/11/2026, có POST /v1/chat/completions, POST /v1/audio/transcriptions và GET /v1/models, không có endpoint batch hay tải file lên, và không có giảm giá batch. Hãy chạy job hàng loạt bằng request thông thường trong giới hạn của key.

### Làm sao xử lý 100.000 prompt bằng API LLM?

Đưa các mục vào file JSONL, mỗi mục có một ID. Chạy số worker cố định bằng giới hạn đồng thời của key, giãn thời điểm bắt đầu request dưới giới hạn mỗi phút, retry 429 và 5xx với backoff có trần, và ghi nối từng kết quả vào file output theo ID để job có thể chạy tiếp.

### Một batch một triệu request mất bao lâu?

Chia số mục cho tốc độ thực tế. Ở mức 30 request mỗi phút và một mục mỗi request, một key xử lý 43.200 mục mỗi ngày, nên một triệu mục mất khoảng 23 ngày. Gộp 20 mục ngắn vào mỗi request rút xuống còn khoảng 28 giờ, nếu model xử lý tốt prompt dài hơn.

### Nên dùng asyncio.gather hay worker pool cho lệnh gọi LLM hàng loạt?

Với hàng chục nghìn mục, hãy dùng một pool worker cố định lấy việc từ hàng đợi. gather kèm semaphore ổn với job nhỏ, nhưng nó tạo mọi task ngay từ đầu và khiến việc chạy tiếp và theo dõi tiến độ khó hơn.

### Có thể dùng nhiều API key để chạy nhanh hơn không?

Hãy kiểm tra trước. Chính sách sử dụng chấp nhận được của BroadNet cấm lách giới hạn tốc độ hay đồng thời, nên hãy hỏi BroadNet trước khi chia một job qua nhiều key để vượt giới hạn mỗi key. Gộp nhiều mục hơn vào mỗi request và dùng phiên của gói là các cách tăng thông lượng có trong tài liệu.

### Gói giá cố định có hợp với job hàng loạt không?

Có thể, với DeepSeek V4.1 Flash. Một phiên chạy một request mỗi lúc và không đo token, nên chi phí cố định và câu hỏi còn lại là thời gian. Hãy đo số giây cho mỗi mục, rồi mua đủ phiên để xong trong thời hạn.

## Đọc tiếp

-   [Cách xử lý lỗi 429 của API LLM: backoff, jitter và giới hạn đồng thời](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/)
-   [Agent chạy dài: timeout, retry và checkpoint đứng vững](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/)
-   [Phân loại văn bản tiếng Ả Rập bằng LLM: cảm xúc, ý định, ticket](https://broadrouter.com/vi/blog/arabic-text-classification-llm/)
-   [Cách chạy coding agent song song trên API LLM giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/)
-   [Gói LLM theo tuần cho dự án ngắn: Orbit, theo giờ hay theo tháng](https://broadrouter.com/vi/blog/weekly-llm-plan-short-projects/)
-   [Cách ước tính chi phí API LLM trước khi ra mắt một tính năng](https://broadrouter.com/vi/blog/estimate-llm-api-cost-before-launch/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Hướng dẫn: Gói LLM API không giới hạn cho agent hoạt động thế nào?](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-batch-processing-without-batch-api&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API BroadNet Inference: endpoint, giới hạn trả theo mức dùng (30 mỗi phút, 4 đồng thời), giới hạn key theo giờ, hướng dẫn retry 429 và 5xx, reasoning\_effort (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-batch-processing-without-batch-api&utm_content=sources)
-   [Trang gói của BroadNet Inference: một request mỗi lúc cho mỗi phiên, tốc độ điển hình, giá gói (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-batch-processing-without-batch-api&utm_content=sources)
-   [Chính sách sử dụng chấp nhận được của BroadNet, mục 3 và 4: không lách giới hạn tốc độ hay đồng thời; gói phục vụ theo khả năng tốt nhất trong mức sử dụng hợp lý (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/aup)
-   [Hướng dẫn Batch API của OpenAI: giảm 50%, khung 24 giờ, 50.000 request hoặc 200 MB mỗi batch, thứ tự output có thể khác, custom\_id (kiểm tra ngày 2026-11-15)](https://developers.openai.com/api/docs/guides/batch)
-   [Tài liệu Message Batches API của Anthropic: giảm 50%, 100.000 request hoặc 256 MB, phần lớn batch xong trong 1 giờ, hết hạn sau 24 giờ (kiểm tra ngày 2026-11-15)](https://platform.claude.com/docs/en/build-with-claude/batch-processing)
