---
title: "LiteLLM với provider tương thích OpenAI qua api_base"
description: "Gọi BroadNet Inference qua LiteLLM bằng tiền tố model openai/ và api_base, trong Python SDK hoặc config.yaml của proxy, với giới hạn tần suất khớp key."
url: https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (cập nhật ngày 2026-11-16).

# Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)

Cập nhật 2026-11-16

Trong LiteLLM, thêm tiền tố openai/ trước model ID của BroadNet, như openai/broadnet/glm-5.3, và đặt api\_base là https://inference.broadnet.ai/v1 với key BroadNet làm api\_key. Trong proxy, đặt các giá trị đó dưới litellm\_params trong config.yaml và gán cho model một model\_name ngắn.

LiteLLM cung cấp một giao diện chung cho nhiều nhà cung cấp LLM, dưới dạng Python SDK và proxy server. Để kết nối một API tương thích OpenAI, tài liệu của nó yêu cầu hai việc: thêm `openai/` trước tên model, và đặt `api_base`. BroadNet Inference dùng route này.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

Như chú thích trong code, token suy luận cũng được tính vào `max_tokens`.

`openai/` chọn route; LiteLLM gửi `broadnet/glm-5.3` tới BroadNet. Đừng thêm gì vào base URL; client OpenAI của LiteLLM tự thêm đường dẫn endpoint.

Tài liệu LiteLLM lưu ý rằng route `openai` dùng thư viện OpenAI Python chính thức, vốn cần API key cho mỗi request. Hãy truyền `api_key` một cách tường minh như trên, để LiteLLM không bao giờ dùng tạm một `OPENAI_API_KEY` vốn dành cho chính OpenAI. Phản hồi trả về theo cấu trúc OpenAI, nên phần còn lại của code không cần đổi.

## Khi nào nên dùng proxy

Trong một ứng dụng Python, SDK là đủ. Proxy hữu ích khi nhiều ứng dụng hoặc nhiều ngôn ngữ cần cùng các model: tất cả gọi một endpoint kiểu OpenAI với tên model ngắn, còn proxy giữ key BroadNet, áp giới hạn tần suất và ghi log usage. Khi đó ứng dụng của bạn hoàn toàn không cần thiết lập riêng cho BroadNet.

## 2\. Proxy server

Cài phần bổ sung cho proxy và viết `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Khởi động proxy và gọi nó như bất kỳ endpoint OpenAI nào:

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

Lệnh `curl` chạy trong một terminal thứ hai, như chú thích trong code.

`os.environ/BROADNET_API_KEY_GLM` báo LiteLLM đọc key đó từ biến môi trường. Mỗi mục dùng một key trả theo mức dùng riêng của BroadNet, nên `rpm: 30`, giới hạn tần suất tùy chọn của LiteLLM cho từng deployment, khớp với giới hạn của từng key. Nếu nhiều mục dùng chung một key, chúng dùng chung giới hạn đó, nên hãy chia con số cho các mục. `master_key` buộc proxy yêu cầu key ở mọi lệnh gọi; tài liệu LiteLLM nói key này phải bắt đầu bằng `sk-`. Hãy export `LITELLM_MASTER_KEY` trước khi khởi động proxy.

## Chọn model nào

| model\_name | Model BroadNet | Mục đích |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) | Tool, đầu ra có cấu trúc, context 1 triệu token |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) | Context dài; model của gói không giới hạn |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) | Hình ảnh, tool, tiếng Ả Rập |
| (thêm nếu cần) | [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) | Giá theo token thấp; dùng được với $5 tín dụng ban đầu |

Giá có trên [trang giá](https://broadrouter.com/vi/pricing/). Nếu bạn chuyển từ một gateway khác, [checklist chuyển đổi](https://broadrouter.com/vi/blog/openai-compatible-api-migration-checklist/) liệt kê những gì cần kiểm thử.

## Xử lý sự cố

-   **401.** Key BroadNet sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu lỗi 401 đến từ chính proxy, hãy kiểm tra key LiteLLM bạn đã gửi.
-   **Not Found.** Kiểm tra `api_base` là `https://inference.broadnet.ai/v1`, có `/v1`. Nếu base URL đúng, hãy kiểm tra model ID sau `openai/` khớp chính xác với ID của BroadNet.
-   **Model bị từ chối trên tài khoản mới.** GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền trước; $5 tín dụng ban đầu chỉ dùng được cho `broadnet/gemma-4-26b-a4b` và hai model Transcribe.
-   **Content rỗng.** Suy luận được tính vào `max_tokens`. Hãy tăng nó hoặc gửi `reasoning_effort="low"`. [Vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **429.** Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. `rpm` của LiteLLM giúp với giới hạn thứ nhất; hãy giữ số bên gọi đồng thời ở mức 4 hoặc ít hơn cho mỗi key. Xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).
-   **Agent song song trên key của gói.** Một [phiên của gói](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) chạy một request tại một thời điểm. Chạy nhiều agent qua proxy trên một phiên sẽ khiến chúng xếp hàng; hãy mua mỗi agent song song một phiên.

## Thuật ngữ trong hướng dẫn này

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

[API key (khóa API)](https://broadrouter.com/vi/glossary/api-key/)

API key là một chuỗi bí mật dùng để xác định và cấp quyền cho client gọi API. API LLM thường yêu cầu nó trong header Authorization: Bearer, và bất kỳ ai giữ key đều có thể gửi request được tính phí vào tài khoản sở hữu key đó.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

## Câu hỏi thường gặp

### Vì sao LiteLLM trả về lỗi Not Found?

Tài liệu LiteLLM yêu cầu api\_base phải kết thúc bằng /v1. Hãy dùng https://inference.broadnet.ai/v1 và đừng thêm /chat/completions.

### Vì sao tên model là openai/broadnet/glm-5.3?

Tiền tố openai/ báo cho LiteLLM gọi một endpoint /chat/completions kiểu OpenAI. LiteLLM dùng tiền tố để chọn route và gửi phần còn lại, broadnet/glm-5.3, chính là model ID của BroadNet.

### Có thể đặt key gói không giới hạn của BroadNet sau một proxy LiteLLM dùng chung không?

Key của gói không được dùng chung hay bán lại, và một phiên chạy một request tại một thời điểm. Hãy dùng chúng cho agent của riêng bạn. Với proxy cho cả nhóm, hãy dùng key trả theo mức dùng.

### LiteLLM có cần OPENAI\_API\_KEY để gọi BroadNet không?

Route openai cần một key cho mỗi request, lấy từ api\_key hoặc OPENAI\_API\_KEY. Hãy truyền key BroadNet làm api\_key, hoặc os.environ/BROADNET\_API\_KEY trong proxy, để LiteLLM không gửi key OpenAI thật tới BroadNet.

## Hướng dẫn liên quan

-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Dùng LangChain với BroadNet Inference](https://broadrouter.com/vi/guides/langchain-openai-base-url/)
-   [Mọi công cụ dùng được với BroadNet Inference (tiếng Anh)](https://broadrouter.com/integrations/): SDK, agent lập trình, giao diện chat và công cụ tự động hóa, kèm cấu hình chính xác cho từng công cụ

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu LiteLLM, endpoint tương thích OpenAI (kiểm tra ngày 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [Tài liệu LiteLLM, config.yaml của proxy (kiểm tra ngày 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [Tài liệu tham chiếu API BroadNet Inference (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-litellm-proxy-custom-provider&utm_content=sources)
