BroadRouter

Dùng LlamaIndex với BroadNet Inference qua OpenAILike

Cập nhật

Cài llama-index-llms-openai-like và tạo OpenAILike với model là một ID BroadNet như broadnet/glm-5.3, api_base là https://inference.broadnet.ai/v1, key BroadNet của bạn, context_window bằng context thật của model, is_chat_model=True, và is_function_calling_model=True chỉ cho GLM 5.3 hoặc Qwen3.8 27B. Gán nó cho Settings.llm để dùng ở mọi nơi.

LlamaIndex là framework Python cho RAG và agent. Với mọi API tương thích OpenAI không phải chính OpenAI, nó cung cấp lớp OpenAILike. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu tham chiếu API LlamaIndex cho llama-index-llms-openai-like 0.9.0.

Cài đặt

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Kết nối và chạy thử

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Có câu trả lời được in ra nghĩa là key, URL và model ID đều đúng.

Bốn cài đặt quan trọng

Tham số Đặt thành Mặc định nếu không đặt
is_chat_model True False, tức dùng endpoint completions cũ; BroadNet phục vụ chat completions
context_window Context thật của model 3.900 token
is_function_calling_model True chỉ cho GLM 5.3 hoặc Qwen3.8 27B False
max_tokens 1.000 trở lên None (không gửi đi, nên server tự quyết định)

is_chat_model quan trọng nhất. Tài liệu tham chiếu API viết rằng nó “controls whether the model uses the chat or completion endpoint” (Bản dịch: quyết định model dùng endpoint chat hay completion), và mặc định là false. Tài liệu BroadNet liệt kê /v1/chat/completions, không có endpoint completions cũ.

Dùng trên toàn ứng dụng

from llama_index.core import Settings

Settings.llm = llm

Khi đó query engine, chat engine và agent đều dùng BroadNet. Embedding là chuyện riêng: tài liệu tham chiếu API của BroadNet không liệt kê endpoint embedding, nên hãy giữ một model embedding khác để đánh index.

Context window

Model ID context_window Tool
GLM 5.3 broadnet/glm-5.3 1048576 Có
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Không ghi
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Có
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Không ghi

Context 1 triệu token cho phép query engine truyền nhiều chunk truy xuất hơn hẳn trong mỗi lệnh gọi. Điều đó không phải lúc nào cũng tốt hơn; xem context dài hay RAG.

Xử lý sự cố

  • 401. Key sai, đã hết hạn hoặc hết hạn mức.
  • 404. api_base phải kết thúc bằng /v1, và is_chat_model phải là True. Sau đó kiểm tra model ID. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Câu trả lời rỗng. Phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng max_tokens. Vì sao câu trả lời trả về rỗng.
  • Agent không bao giờ gọi tool. Đặt is_function_calling_model=True và dùng broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b.
  • 429 khi nạp dữ liệu (ingestion) hoặc chạy truy vấn hàng loạt. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. OpenAILike mặc định thử lại 3 lần (max_retries). Xem lỗi và thử lại.

Câu hỏi thường gặp

Sao không dùng lớp OpenAI của LlamaIndex với api_base khác?

Chính trang OpenAI của LlamaIndex hướng dẫn dùng tích hợp OpenAILike cho mọi API tương thích OpenAI không phải API chính thức của OpenAI. OpenAILike cũng cho bạn tự khai báo context window và khả năng hỗ trợ tool.

Điều gì xảy ra nếu tôi bỏ qua context_window?

OpenAILike mặc định 3.900 token, nên LlamaIndex cắt prompt và các chunk truy xuất xuống thấp hơn rất nhiều so với mức model BroadNet nhận được. Đặt 1048576 cho GLM 5.3 và DeepSeek V4.1 Flash, hoặc 262144 cho Qwen3.8 27B.

FunctionAgent của LlamaIndex có dùng được BroadNet không?

Được, với is_function_calling_model=True trên một model BroadNet ghi hỗ trợ tool là GLM 5.3 hoặc Qwen3.8 27B. Để False cho DeepSeek V4.1 Flash, vì tài liệu BroadNet không ghi khả năng gọi tool cho model này.

BroadNet có cung cấp embedding cho index LlamaIndex không?

Tài liệu tham chiếu API của BroadNet liệt kê chat completions và chép lời âm thanh, không có embedding. Hãy dùng một model embedding riêng cho index và dùng BroadNet làm LLM.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity