LlamaIndex là framework Python cho RAG và agent. Với mọi API tương thích OpenAI không phải chính OpenAI, nó cung cấp lớp OpenAILike. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu tham chiếu API LlamaIndex cho llama-index-llms-openai-like 0.9.0.
Cài đặt
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Kết nối và chạy thử
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Có câu trả lời được in ra nghĩa là key, URL và model ID đều đúng.
Bốn cài đặt quan trọng
| Tham số | Đặt thành | Mặc định nếu không đặt |
|---|---|---|
is_chat_model |
True |
False, tức dùng endpoint completions cũ; BroadNet phục vụ chat completions |
context_window |
Context thật của model | 3.900 token |
is_function_calling_model |
True chỉ cho GLM 5.3 hoặc Qwen3.8 27B |
False |
max_tokens |
1.000 trở lên | None (không gửi đi, nên server tự quyết định) |
is_chat_model quan trọng nhất. Tài liệu tham chiếu API viết rằng nó “controls whether the model uses the chat or completion endpoint” (Bản dịch: quyết định model dùng endpoint chat hay completion), và mặc định là false. Tài liệu BroadNet liệt kê /v1/chat/completions, không có endpoint completions cũ.
Dùng trên toàn ứng dụng
from llama_index.core import Settings
Settings.llm = llm
Khi đó query engine, chat engine và agent đều dùng BroadNet. Embedding là chuyện riêng: tài liệu tham chiếu API của BroadNet không liệt kê endpoint embedding, nên hãy giữ một model embedding khác để đánh index.
Context window
| Model | ID | context_window |
Tool |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Có |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Không ghi |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Có |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Không ghi |
Context 1 triệu token cho phép query engine truyền nhiều chunk truy xuất hơn hẳn trong mỗi lệnh gọi. Điều đó không phải lúc nào cũng tốt hơn; xem context dài hay RAG.
Xử lý sự cố
- 401. Key sai, đã hết hạn hoặc hết hạn mức.
- 404.
api_basephải kết thúc bằng/v1, vàis_chat_modelphải làTrue. Sau đó kiểm tra model ID. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. - Câu trả lời rỗng. Phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng
max_tokens. Vì sao câu trả lời trả về rỗng. - Agent không bao giờ gọi tool. Đặt
is_function_calling_model=Truevà dùngbroadnet/glm-5.3hoặcbroadnet/qwen3.8-27b. - 429 khi nạp dữ liệu (ingestion) hoặc chạy truy vấn hàng loạt. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. OpenAILike mặc định thử lại 3 lần (
max_retries). Xem lỗi và thử lại.
