---
title: "Xử lý lỗi 429 API LLM: backoff, jitter, hàng đợi | BroadRouter"
description: "429 khác 5xx thế nào, exponential backoff với full jitter, giới hạn đồng thời và hàng đợi cho API LLM, kèm code Python và Node có thể đưa thẳng vào production."
url: https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/handle-llm-api-429-rate-limits/) (cập nhật ngày 2026-11-15).

# Cách xử lý lỗi 429 của API LLM: backoff, jitter và giới hạn đồng thời

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-15

Lỗi 429 nghĩa là bạn chạm giới hạn tốc độ, đồng thời hoặc chi tiêu. Hãy retry bằng exponential backoff có trần và jitter ngẫu nhiên, và tuân theo Retry-After nếu có. Sau đó phòng tránh phần lớn lỗi 429: dùng semaphore giới hạn số request đang chạy theo hạn mức của key và đưa phần còn lại vào hàng đợi. Retry 5xx theo cùng cách; các lỗi 4xx khác thì phải sửa.

## Ý chính

-   Retry 429 và 5xx bằng exponential backoff có giới hạn. Đừng retry 400, 401, 403, 413 hay 422: hãy sửa request hoặc tài khoản.
-   Full jitter (thời gian chờ ngẫu nhiên từ 0 đến mức trần lũy thừa) ngăn nhiều client cùng retry vào đúng một thời điểm.
-   Phần lớn lỗi 429 đến từ số request đồng thời, không phải tổng lượng request. Một semaphore đặt bằng hạn mức request đang chạy của key sẽ loại bỏ chúng tận gốc.
-   Key trả theo mức dùng của BroadNet cho phép 30 request mỗi phút và 4 request đồng thời; phiên của gói chạy một request tại một thời điểm.
-   Mỗi lần retry là một lần inference mới. Khi tính phí theo token, mỗi lần đều bị tính lại, nên hãy giới hạn số lần thử.

**Trong trang này**

1.  429 khác 5xx thế nào?
2.  Những giới hạn nào gây ra lỗi 429?
3.  Viết backoff có jitter như thế nào?
4.  Làm sao ngăn lỗi 429 trước khi nó xảy ra?
5.  Khi nào cần một hàng đợi thật sự?
6.  Những sai lầm retry nào biến lỗi 429 thành sự cố?
7.  BroadNet Inference phù hợp ở đâu?

Lỗi 429 nghĩa là traffic của bạn đã vượt một [giới hạn tốc độ](https://broadrouter.com/vi/glossary/rate-limit/): số request mỗi phút, số request đang chạy, số token mỗi phút hoặc chi tiêu. Hãy xử lý theo hai nửa. **Retry cho đúng**: exponential backoff có trần kèm jitter ngẫu nhiên, tuân theo `Retry-After`. **Gửi ít hơn cùng lúc**: một semaphore đặt bằng hạn mức request đang chạy của key, cộng với một hàng đợi. Cả hai đều có ở bên dưới, kèm code.

Để xem bảng mã trạng thái đầy đủ, hãy đọc [hướng dẫn lỗi và retry](https://broadrouter.com/vi/guides/errors-and-retries/); với agent chạy nhiều giờ có checkpoint và timeout, xem [agent chạy dài: timeout và retry](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/).

## 429 khác 5xx thế nào?

| Trạng thái | Vấn đề của ai | Retry? | Cách làm |
| --- | --- | --- | --- |
| 429 | Traffic của bạn vượt giới hạn | Có | Backoff có jitter; tuân theo `Retry-After`; giảm số request đồng thời |
| 500 / 502 / 503 / 504 | Phía server | Có | Exponential backoff có giới hạn |
| Kết nối bị reset, timeout | Mạng hoặc server | Thường là có | Backoff; với stream, chỉ khi chấp nhận bị tính phí lại |
| 400 / 422 | Request sai | Không | Sửa payload |
| 401 / 402 / 403 | Key, số dư hoặc chính sách | Không | Sửa key, nạp tiền vào tài khoản, sửa danh sách cho phép |
| 413 | Request quá lớn | Không | Thu nhỏ request |

Trên BroadNet Inference, lỗi 429 có thể đến từ bất kỳ giới hạn nào trong bốn loại: tốc độ, đồng thời, tốc độ token hoặc chi tiêu. Giới hạn chi tiêu sẽ không tự hết sau 30 giây. Tài liệu của BroadNet không nói trường nào trong body lỗi cho biết giới hạn nào, nên hãy ghi log body và so với các giới hạn hiển thị trong chi tiết key của bạn.

Bộ dữ liệu mở [gói miễn phí và giới hạn tốc độ của API LLM](https://broadrouter.com/data/llm-api-free-tiers-and-rate-limits/) so sánh những gì 14 nhà cung cấp công bố về quyền dùng miễn phí, giới hạn tốc độ ban đầu, yêu cầu thẻ và việc dùng dữ liệu gói miễn phí để huấn luyện, kèm nguồn và ngày cho từng giá trị.

## Những giới hạn nào gây ra lỗi 429?

Hãy biết rõ những con số bạn đang phải tính tới. Trên BroadNet Inference:

| Loại key | Request / phút | Đồng thời | Khác |
| --- | --- | --- | --- |
| Trả theo mức dùng | 30 | 4 | Ngân sách chi tiêu dùng chung |
| Key theo giờ | 120 | 1 stream | 300,000 token / phút |
| Phiên của gói không giới hạn | — | 1 request mỗi phiên | Không đo token |

Với LLM, số request đang chạy là quan trọng nhất. Một câu trả lời streaming giữ slot cho tới khi token cuối cùng về, nên một câu trả lời dài sẽ chiếm slot suốt thời gian model viết nó (BroadNet công bố tốc độ điển hình là khoảng 100 token mỗi giây). Gửi nhiều lệnh gọi song song hơn số 4 slot của key thì các lệnh dư sẽ bị 429, dù bạn chỉ gửi vài request trong phút đó. Đó là vấn đề [đồng thời](https://broadrouter.com/vi/glossary/concurrency/), và chỉ riêng backoff xử lý nó rất kém. Để tính số worker theo giới hạn trước khi chạy, hãy dùng [công cụ tính giới hạn tốc độ LLM](https://broadrouter.com/tools/llm-rate-limit-calculator/) miễn phí. Với một job cố định gồm nhiều mục, [công cụ lập kế hoạch job batch LLM](https://broadrouter.com/tools/llm-batch-job-planner/) chuyển cùng các giới hạn đó thành thời gian chạy. Các nhà cung cấp khác đếm theo cách khác (token mỗi phút, request mỗi ngày hoặc request đang chạy); bài [giới hạn tốc độ API LLM theo nhà cung cấp](https://broadrouter.com/vi/blog/llm-api-rate-limits-by-provider/) so sánh 13 nhà cung cấp dựa trên tài liệu của chính họ.

## Viết backoff có jitter như thế nào?

[Exponential backoff](https://broadrouter.com/vi/glossary/exponential-backoff/) thông thường chờ 1, 2, 4, 8 giây. Nếu một trăm worker bị chặn cùng một lúc, chúng sẽ cùng quay lại một lúc. Mô phỏng của AWS với 100 client tranh chấp cho thấy full jitter giảm số lệnh gọi xuống hơn một nửa và hoàn thành sớm hơn so với backoff không có jitter. Phiên bản đơn giản nhất, **full jitter**, chờ một khoảng thời gian ngẫu nhiên từ 0 đến mức trần lũy thừa:

```python
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)
```

`max_retries=0` tắt cơ chế retry riêng của SDK để bạn không retry hai lần. Nếu bạn hài lòng với hành vi có sẵn của SDK, làm ngược lại cũng được: bỏ vòng lặp của bạn đi và đặt `max_retries=4` trên client, như [hướng dẫn Python SDK](https://broadrouter.com/vi/guides/openai-python-sdk/) trình bày. SDK Python và Node chính thức mặc định retry lỗi kết nối, 408, 409, 429 và 5xx hai lần.

`Retry-After` là một header chuẩn (RFC 9110), có thể chứa số giây hoặc một ngày giờ. Tài liệu của BroadNet không cam kết gửi header này, nên code coi nó là tùy chọn.

## Làm sao ngăn lỗi 429 trước khi nó xảy ra?

Giới hạn số request đang chạy theo hạn mức của key. Trong Python, một `asyncio.Semaphore` làm việc này chỉ với một object và một khối `async with`. Đoạn code dùng 4 làm ví dụ; hãy đặt nó bằng giới hạn request đang chạy của key (4 với key trả theo mức dùng của BroadNet):

```python
import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
```

`gather` khởi động mọi tác vụ, nhưng chỉ có số tác vụ mà semaphore cho phép chạy cùng lúc. Phần còn lại chờ trong hàng đợi của semaphore. Trong Node, package `p-limit` làm điều tương tự, cũng với giá trị ví dụ là 4:

```javascript
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
```

Nếu cần thêm trần theo phút, hãy thêm một token bucket cấp một lượt mỗi 60 / rpm giây, trong đó rpm là giới hạn request mỗi phút của key (30 với key trả theo mức dùng của BroadNet).

## Khi nào cần một hàng đợi thật sự?

Semaphore chỉ sống trong một process. Khi nhiều worker hoặc server dùng chung một key, giới hạn cũng bị dùng chung trong khi mỗi process chỉ thấy traffic của chính nó. Lúc đó:

1.  Đưa job vào một hàng đợi dùng chung (Redis, SQS, một bảng cơ sở dữ liệu).
2.  Chạy một số consumer cố định bằng đúng hạn mức request đang chạy của key.
3.  Gán ID cho mỗi job và lưu kết quả theo ID, để job được retry không bị chạy hai lần.
4.  Cho traffic tương tác và traffic batch đi qua các key riêng hoặc hàng đợi riêng, để batch tồn đọng không bao giờ chặn người dùng đang chờ câu trả lời.

Với job khối lượng lớn hàng nghìn mục mà không có Batch API, xem [trình chạy batch có thể tiếp tục](https://broadrouter.com/vi/blog/llm-batch-processing-without-batch-api/).

## Những sai lầm retry nào biến lỗi 429 thành sự cố?

-   **Retry không giới hạn.** Một vòng retry không có trần trong lúc sự cố kéo dài sẽ nhân tải của bạn lên nhiều lần, và khi tính phí theo token thì nhân cả hóa đơn.
-   **Retry mù quáng một stream đang dở.** Nếu stream đã trả về token, retry là một lần inference mới và người dùng có thể thấy văn bản hai lần. Xem [bài về streaming](https://broadrouter.com/vi/blog/llm-streaming-sse-explained/) để biết cách phát hiện stream chưa hoàn chỉnh.
-   **Retry lỗi tài khoản.** Lỗi 401 do hết hạn mức trả theo mức dùng hay 402 do không đủ số dư sẽ không tự hết.

Hãy ghi log mọi lần retry kèm trạng thái, thời gian chờ và header phản hồi `X-Request-ID`, header mà tài liệu của BroadNet yêu cầu bạn giữ lại để được hỗ trợ. Tỷ lệ retry tăng là cảnh báo sớm nhất rằng bạn cần thêm năng lực xử lý; bài [ghi log mức dùng](https://broadrouter.com/vi/blog/llm-api-usage-logging/) chỉ cách ghi lại.

## BroadNet Inference phù hợp ở đâu?

Các giới hạn của BroadNet được công bố và đủ nhỏ để thiết kế quanh chúng: 4 request đồng thời trên một key trả theo mức dùng. Mức này hợp với ứng dụng và agent, nhưng quá chật cho một job khối lượng lớn muốn hàng trăm lệnh gọi song song trên một key. Với agent, [gói không giới hạn](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) không đo token và chạy một request tại một thời điểm cho mỗi phiên; bạn thêm phiên cho công việc song song, như mô tả trong bài [chạy song song nhiều coding agent](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/). Giới hạn hiện hành có trong [tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-handle-llm-api-429-rate-limits&utm_content=body#limits).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/)

Exponential backoff là chiến lược thử lại trong đó client chờ lâu hơn sau mỗi lần thất bại trước khi thử tiếp, thường nhân đôi độ trễ cho tới một mức trần. Thêm jitter ngẫu nhiên vào mỗi lần chờ giúp dàn trải các lần thử lại từ nhiều client để chúng không đổ dồn vào server cùng lúc.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)

Gói LLM giá cố định tính một mức giá cố định cho mỗi kỳ, ví dụ một tháng, để dùng API mô hình ngôn ngữ thay vì tính theo token. Gói này thường giới hạn thứ khác, như số request đồng thời, tốc độ, model hay khung giờ sử dụng, nên giới hạn quan trọng không kém giá.

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

## Câu hỏi thường gặp

### Lỗi HTTP 429 trên API LLM nghĩa là gì?

Too Many Requests. Bạn đã vượt một giới hạn về số request mỗi phút, số request đang chạy, số token mỗi phút hoặc chi tiêu. Request chưa được xử lý, nên gửi lại sau một lúc chờ là an toàn.

### Nên chờ bao lâu trước khi retry lỗi 429?

Dùng Retry-After nếu server gửi về. Nếu không, hãy bắt đầu khoảng một giây, nhân đôi sau mỗi lần thử, đặt trần khoảng 30 đến 60 giây, và chọn thời gian chờ ngẫu nhiên từ 0 đến mức trần đó. Dừng lại sau bốn đến sáu lần thử.

### Có nên retry lỗi 500 và 503 từ API LLM không?

Có, với cùng kiểu backoff có giới hạn. Đó là lỗi phía server. Lỗi 400, 401, 403 hay 422 sẽ thất bại y như cũ mỗi lần, nên hãy sửa nguyên nhân.

### OpenAI SDK có tự động retry lỗi 429 không?

Có. SDK Python và Node chính thức mặc định retry lỗi kết nối, 408, 409, 429 và 5xx hai lần với exponential backoff ngắn. Hãy tăng max\_retries cho các job batch và tự thêm giới hạn đồng thời.

### Vì sao tôi bị 429 dù chưa vượt giới hạn request mỗi phút?

Thường là do giới hạn đồng thời. Các phản hồi streaming dài ở trạng thái đang chạy trong nhiều giây, nên chỉ vài lệnh gọi song song cũng có thể chạm trần request đồng thời trong khi số request mỗi phút trông vẫn thấp.

## Đọc tiếp

-   [Agent chạy dài: timeout, retry và checkpoint đứng vững](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/)
-   [Giải thích streaming LLM: chunk SSE, delta, usage và hủy](https://broadrouter.com/vi/blog/llm-streaming-sse-explained/)
-   [Cách chạy coding agent song song trên API LLM giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/)
-   [Ghi log sử dụng API LLM: chi phí theo người dùng, tính năng, ẩn PII](https://broadrouter.com/vi/blog/llm-api-usage-logging/)
-   [Xử lý LLM hàng loạt không cần Batch API: runner chạy tiếp được](https://broadrouter.com/vi/blog/llm-batch-processing-without-batch-api/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Hướng dẫn: Gói LLM API không giới hạn cho agent hoạt động thế nào?](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-handle-llm-api-429-rate-limits&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API BroadNet Inference, lỗi và giới hạn (truy cập ngày 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-handle-llm-api-429-rate-limits&utm_content=sources#errors)
-   [AWS Architecture Blog, Exponential Backoff and Jitter (truy cập ngày 2026-11-14)](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)
-   [RFC 6585, mã trạng thái 429 Too Many Requests (truy cập ngày 2026-11-14)](https://www.rfc-editor.org/rfc/rfc6585#section-4)
-   [RFC 9110, header Retry-After (truy cập ngày 2026-11-14)](https://www.rfc-editor.org/rfc/rfc9110#field.retry-after)
-   [README của openai-python, tự động retry (truy cập ngày 2026-11-14)](https://github.com/openai/openai-python)
-   [README của openai-node, retry (truy cập ngày 2026-11-14)](https://github.com/openai/openai-node)
