BroadRouter
Bắt đầu

Xử lý LLM hàng loạt không cần Batch API: runner chạy tiếp được

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày · Cập nhật

Không có Batch API thì hãy tự chạy job: đọc mục từ file JSONL, giới hạn request đồng thời theo hạn mức của key, giãn thời điểm bắt đầu request dưới giới hạn mỗi phút, retry 429 và 5xx với backoff có trần, rồi ghi nối từng kết quả kèm ID. Khi chạy lại, bỏ qua ID đã xong. Thời gian hoàn thành thường do giới hạn tốc độ quyết định, không phải model.

Không phải job LLM nào cũng là chat. Bạn có 50.000 ticket hỗ trợ cần gắn nhãn, 200.000 mô tả sản phẩm cần dịch, hay một triệu đánh giá cần chấm điểm. Các nhà cung cấp như OpenAI và Anthropic bán Batch API cho việc này. Nhiều API tương thích OpenAI, trong đó có BroadNet Inference, thì không. Bài này cho thấy cách tự chạy job: tính xem mất bao lâu, viết một runner tôn trọng các giới hạn, và làm cho nó dừng rồi chạy lại an toàn.

BroadRouter là website của chính BroadNet, nên các con số minh họa dùng giới hạn BroadNet công bố. Phương pháp này áp dụng cho mọi API chat completions; hãy thay bằng số liệu của nhà cung cấp bạn dùng.

BroadNet Inference có Batch API không?

Không. Tài liệu tham chiếu API, kiểm tra ngày 15/11/2026, có POST /v1/chat/completions, POST /v1/audio/transcriptions và GET /v1/models (danh sách model), cùng các endpoint tài khoản dưới /portal/. Không có endpoint batch hay tải file lên, và không có giảm giá batch. Một job hàng loạt là một vòng lặp các request bình thường.

Đây là những gì một Batch API có sẵn mang lại, để bạn biết mình đang dựng lại thứ gì:

OpenAI Batch API Anthropic Message Batches Runner của bạn
Giá Giảm 50% so với gọi đồng bộ Giảm 50% Giá thường
Thời gian trả kết quả Trong vòng 24 giờ Phần lớn trong 1 giờ; hết hạn sau 24 giờ Do giới hạn tốc độ của bạn quyết định
Kích thước mỗi batch 50.000 request hoặc 200 MB 100.000 request hoặc 256 MB Bất kỳ
Giới hạn tốc độ Tách riêng khỏi giới hạn theo model Áp dụng cho request đang xếp hàng Giới hạn của key
Thứ tự kết quả Có thể khác; khớp theo custom_id Khớp theo custom_id Bạn gắn kết quả theo ID

Có hai bài học dùng lại được. Cả hai nhà cung cấp đều bắt bạn gắn ID cho mỗi request, vì kết quả không trả về theo thứ tự. Không ai hứa có câu trả lời trong vài giây. Runner của bạn nên làm giống vậy: gắn ID cho mọi thứ, và lên kế hoạch tính bằng giờ.

Nếu khoản giảm 50% quan trọng hơn thời gian trả kết quả, và các model bạn cần có ở đó, Batch API có sẵn có thể là công cụ rẻ hơn. Hãy tính giá cả hai bằng công cụ tính chi phí API LLM trước khi bắt tay xây dựng.

Job sẽ mất bao lâu?

Hãy tính trước khi viết code. Hai giới hạn chặn thông lượng, và giới hạn chậm hơn sẽ thắng:

  • Giới hạn đồng thời ÷ độ trễ. Với 4 request đồng thời và 2 giây mỗi request, bạn xong được 2 request mỗi giây.
  • Số request mỗi phút. Ở mức 30 mỗi phút, bạn chỉ bắt đầu được 0,5 request mỗi giây, dù model nhanh đến đâu.

Một key trả theo mức dùng của BroadNet cho phép 4 request đồng thời và 30 request mỗi phút. Với các giá trị trong tài liệu tham chiếu API khi chúng tôi kiểm tra (30 request mỗi phút và 4 request đồng thời, 2026-11-15), giới hạn tốc độ là nút thắt trừ khi mỗi request mất hơn 8 giây, và bảng dưới đây dùng mức 30 request mỗi phút:

Số mục Một mục mỗi request 20 mục mỗi request
10.000 5,6 giờ 17 phút
100.000 2,3 ngày 2,8 giờ
1.000.000 23 ngày 28 giờ

Ở mức 30 request mỗi phút, một key chạy được 1.800 request mỗi giờ, tức 43.200 mỗi ngày. Retry cũng được tính: mỗi lần dính 429 là tốn một lượt.

Cột thứ hai là đòn bẩy lớn nhất. Các mục ngắn, như đánh giá hay tiêu đề ticket, có thể gửi 10 đến 50 mục mỗi request dưới dạng danh sách đánh số, nhận về một mảng JSON. Hãy kiểm tra mảng có đúng một phần tử cho mỗi input và mỗi phần tử mang số thứ tự của nó. Bài phân loại văn bản tiếng Ả Rập có mẫu này. Mục dài thì không gộp được: mỗi request vẫn phải vừa cửa sổ context của model, và chất lượng có thể giảm khi danh sách dài ra. Hãy test việc gộp trên 200 mục trước khi tin tưởng.

Đừng chia một job qua nhiều key để vượt giới hạn mỗi key mà không hỏi trước. Chính sách sử dụng chấp nhận được của BroadNet cấm lách giới hạn tốc độ, đồng thời hay ngân sách. Nếu cần nhiều hơn, hãy hỏi BroadNet, hoặc dùng phiên của gói như bên dưới. Công cụ lập kế hoạch job batch làm phép tính này theo số mục, độ trễ và giới hạn của bạn.

Một runner chạy tiếp được trông thế nào?

Runner này đọc items.jsonl (mỗi dòng một object {"id", "text"}) và ghi nối một dòng kết quả cho mỗi mục vào results.jsonl. Nó chỉ cần OpenAI Python SDK.

import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))

Chạy bằng python batch_run.py items.jsonl results.jsonl. Chúng tôi đã test đúng file này với một mock server cục bộ trả về 429 (8%) và 500 (5%) ngẫu nhiên, và từ chối mọi thứ vượt 4 request đồng thời hoặc 30 lần bắt đầu mỗi phút. 25 mục xong trong 55 giây với 28 request (3 lần retry), và không có khung 60 giây nào vượt 30 lần bắt đầu. Khi nâng giới hạn của mock lên 300 mỗi phút cho đỡ mất thời gian, một lần chạy 120 mục bị kill sau 10 giây đã chạy tiếp từ 39 kết quả đã lưu và kết thúc với 120 ID duy nhất, không trùng lặp.

Vì sao dùng worker pool mà không dùng asyncio.gather?

Hướng dẫn xử lý 429 dùng semaphore bọc quanh asyncio.gather. Cách đó ổn với vài trăm lệnh gọi. Với job lớn, một pool worker cố định lấy việc từ hàng đợi sẽ tốt hơn:

  • Bộ nhớ. gather tạo một task cho mỗi mục ngay từ đầu. Pool chỉ giữ các mục đang chạy.
  • Mức đồng thời chính là kích thước pool. Bốn worker không bao giờ mở được năm request.
  • Kết quả chảy xuống đĩa ngay khi xong, theo bất kỳ thứ tự nào, gắn theo ID.

Pacer xử lý giới hạn thứ hai. Chỉ semaphore thì ngăn bạn vượt 4 request đồng thời, nhưng nếu mỗi request mất một giây, bốn worker sẽ bắt đầu 240 request mỗi phút và dính 429 ở phần lớn trong số đó. Pacer giãn các lần bắt đầu cách nhau 2 giây trên tất cả worker, tính cả retry.

Làm sao để retry luôn an toàn?

Chỉ retry những gì có thể thành công ở lần thử thứ hai:

Phản hồi Hành động
429 Backoff rồi retry; tài liệu BroadNet ghi “use response details and bounded backoff” (bản dịch: dùng chi tiết trong phản hồi và backoff có giới hạn)
500, 502, 503, 504, timeout, mất kết nối Retry với exponential backoff có giới hạn
400, 422 Sửa request; retry chỉ nhận lại cùng lỗi
401, 402, 403 Dừng job; key, số dư hoặc chính sách cần được xem lại
413 Rút ngắn mục

Runner tắt retry riêng của SDK (max_retries=0) để chỉ có đúng một chính sách retry, với mức trần nhìn thấy được. Backoff là exponential với full jitter, trần 60 giây, để các worker lỗi cùng lúc không retry cùng lúc. Sau sáu lần thử, mục được ghi là "ok": false và job đi tiếp. Một mục hỏng không bao giờ làm dừng cả triệu mục.

Lệnh gọi model không có tác dụng phụ, nên việc gửi ở đây là ít nhất một lần (at least once): nếu tiến trình chết giữa request, mục đó sẽ được gửi lại khi chạy lại, và bạn trả tiền hai lần. Đó là lãng phí duy nhất. Nếu job còn ghi vào hệ thống khác, như ticket hay email, hãy làm thao tác ghi đó idempotent theo ID mục và thực hiện trong một lượt riêng trên results.jsonl. Bài về agent chạy dài nói kỹ về tác dụng phụ idempotent.

Checkpoint hoạt động thế nào?

File output chính là checkpoint. Mỗi mục xong là một dòng đã flush, nên sau một lần sập, một lần deploy hay Ctrl-C, lần chạy tiếp theo đọc file, gom các ID có "ok": true và chỉ đưa phần còn lại vào hàng đợi. Các mục lỗi trước đó được retry ở lần chạy sau, và dòng mới của chúng được ghi nối thêm. Khi đọc kết quả, hãy lấy dòng cuối cùng cho mỗi ID.

Ba thói quen giúp cách này trụ được qua nhiều ngày:

  1. ID ổn định. Dùng khóa trong database hoặc hash của input, không bao giờ dùng số dòng, vì số dòng thay đổi khi file input thay đổi.
  2. Kiểm tra finish_reason. Một câu trả lời bị cắt ở max_tokens vẫn là "ok": true nhưng vô dụng. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Runner đặt reasoning_effort="low", tham số có trong tài liệu BroadNet, và chừa 1.500 token.
  3. Ghi usage trên mỗi dòng. Cộng usage từ results.jsonl cho bạn hóa đơn token thật để so với ước tính.

Chi phí bao nhiêu: trả theo mức dùng hay phiên của gói?

Khi trả theo mức dùng, chi phí là token. Lấy 100.000 đánh giá, system prompt 150 token, mỗi đánh giá 150 token và 100 token output với mức suy luận thấp. Tổng là 30 triệu token input và 10 triệu token output. Trên DeepSeek V4.1 Flash, chi phí là 30 × $0.175 + 10 × $0.52. Giữ system prompt ở đầu và giống hệt từng byte, thì 15 triệu token của nó có thể được tính theo giá input đã cache là $0.0055 mỗi 1M ở những chỗ trúng cache. Các dòng usage cho bạn biết tần suất trúng.

Với gói, token miễn phí và thời gian là chi phí. Một phiên gói DeepSeek V4.1 Flash “runs one request at a time” (bản dịch: chạy một request mỗi lúc), nên hãy đặt IN_FLIGHT=1 cho mỗi phiên. Thông lượng mỗi phiên là 86.400 ÷ số giây cho mỗi mục, mỗi ngày. BroadNet đưa ra tốc độ điển hình là khoảng 100 token mỗi giây, nhưng độ trễ của bạn phụ thuộc độ dài prompt và phần suy luận, nên hãy đo trên 50 mục. Nếu đo được 3 giây mỗi mục, một phiên xử lý 28.800 mục mỗi ngày:

Job Số phiên Thời gian ở mức 3 giây/mục Gói
100.000 mục 1 Khoảng 3,5 ngày Một tuần Orbit, $15 mỗi phiên
100.000 mục 4 Khoảng 21 giờ Bốn tuần Orbit (mỗi phiên một), hoặc khoảng 21 giờ Meteor mỗi phiên, mỗi giờ $1
1.000.000 mục 6 Khoảng 6 ngày Sáu tuần Orbit (mỗi phiên một)

Các gói được cung cấp “best effort under fair use” (bản dịch: theo khả năng tốt nhất trong mức sử dụng hợp lý), và BroadNet không công bố giới hạn request mỗi phút cho key của gói; tài khoản của bạn hiển thị các giới hạn đang áp dụng. Hãy đặt RPM theo đó, đừng đoán. Hướng dẫn lập kế hoạch phiên giải thích cách chia phiên qua các key.

BroadNet Inference phù hợp ở đâu

BroadNet Inference không có Batch API, nên nó hợp với job hàng loạt khi bạn muốn tự kiểm soát runner và trả giá theo token thông thường, hoặc cố định chi phí bằng các phiên gói DeepSeek V4.1 Flash. Với job nhỏ, ngân sách hạn chế, Gemma 4 VL 26B giá $0.10 input và $0.22 output mỗi 1M chạy được bằng tín dụng ban đầu $5. Prompt và output không được lưu giữ sau mỗi request. Nếu job của bạn chờ được một ngày và các model bạn cần có ở nhà cung cấp giảm 50% cho batch, lựa chọn đó có thể rẻ hơn; hãy so sánh trước khi cam kết. Gói và giới hạn có tại inference.broadnet.ai/plans.

Câu hỏi thường gặp

BroadNet Inference có Batch API không?

Không. Tài liệu tham chiếu API, kiểm tra ngày 15/11/2026, có POST /v1/chat/completions, POST /v1/audio/transcriptions và GET /v1/models, không có endpoint batch hay tải file lên, và không có giảm giá batch. Hãy chạy job hàng loạt bằng request thông thường trong giới hạn của key.

Làm sao xử lý 100.000 prompt bằng API LLM?

Đưa các mục vào file JSONL, mỗi mục có một ID. Chạy số worker cố định bằng giới hạn đồng thời của key, giãn thời điểm bắt đầu request dưới giới hạn mỗi phút, retry 429 và 5xx với backoff có trần, và ghi nối từng kết quả vào file output theo ID để job có thể chạy tiếp.

Một batch một triệu request mất bao lâu?

Chia số mục cho tốc độ thực tế. Ở mức 30 request mỗi phút và một mục mỗi request, một key xử lý 43.200 mục mỗi ngày, nên một triệu mục mất khoảng 23 ngày. Gộp 20 mục ngắn vào mỗi request rút xuống còn khoảng 28 giờ, nếu model xử lý tốt prompt dài hơn.

Nên dùng asyncio.gather hay worker pool cho lệnh gọi LLM hàng loạt?

Với hàng chục nghìn mục, hãy dùng một pool worker cố định lấy việc từ hàng đợi. gather kèm semaphore ổn với job nhỏ, nhưng nó tạo mọi task ngay từ đầu và khiến việc chạy tiếp và theo dõi tiến độ khó hơn.

Có thể dùng nhiều API key để chạy nhanh hơn không?

Hãy kiểm tra trước. Chính sách sử dụng chấp nhận được của BroadNet cấm lách giới hạn tốc độ hay đồng thời, nên hãy hỏi BroadNet trước khi chia một job qua nhiều key để vượt giới hạn mỗi key. Gộp nhiều mục hơn vào mỗi request và dùng phiên của gói là các cách tăng thông lượng có trong tài liệu.

Gói giá cố định có hợp với job hàng loạt không?

Có thể, với DeepSeek V4.1 Flash. Một phiên chạy một request mỗi lúc và không đo token, nên chi phí cố định và câu hỏi còn lại là thời gian. Hãy đo số giây cho mỗi mục, rồi mua đủ phiên để xong trong thời hạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity