LlamaIndex 是一个用于 RAG 和智能体的 Python 框架。对于不是 OpenAI 本身的 OpenAI 兼容 API,它提供了 OpenAILike 类。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的 chat completions。BroadRouter 是 BroadNet 自己的网站;本文依据的是 llama-index-llms-openai-like 0.9.0 的 LlamaIndex API 参考。
安装
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
连接并测试
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
打印出回答,就说明密钥、URL 和模型 ID 都没问题。
最关键的四个参数
| 参数 | 设为 | 不设置时的默认值 |
|---|---|---|
is_chat_model |
True |
False,会使用旧版 completions 端点;BroadNet 提供的是 chat completions |
context_window |
模型的真实上下文长度 | 3,900 token |
is_function_calling_model |
仅 GLM 5.3 或 Qwen3.8 27B 设为 True |
False |
max_tokens |
1,000 或更高 | None(不发送,由服务器决定) |
is_chat_model 最重要。API 参考说它“controls whether the model uses the chat or completion endpoint”(译文:控制模型使用 chat 端点还是 completion 端点),默认为 false。BroadNet 的文档列出的是 /v1/chat/completions,而不是旧版 completions 端点。
在整个应用中使用
from llama_index.core import Settings
Settings.llm = llm
这样查询引擎、聊天引擎和智能体都会使用 BroadNet。embedding 是另一回事:BroadNet 的 API 参考文档没有列出 embeddings 端点,所以建索引时请保留另一个 embedding 模型。
上下文窗口
| 模型 | ID | context_window |
工具 |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | 支持 |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | 未列出 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | 支持 |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | 未列出 |
1M token 的上下文让查询引擎每次调用可以传入多得多的检索文本块。但这并不总是更好;参见长上下文还是 RAG。
故障排查
- 401。 密钥错误、已过期,或者额度已用完。
- 404。
api_base必须以/v1结尾,is_chat_model必须为True。然后检查模型 ID。付费模型需要先充值;$5 初始额度只覆盖broadnet/gemma-4-26b-a4b和两个 Transcribe 模型。 - 回答为空。 输出预算被思考用光了。调高
max_tokens。为什么回答会是空的。 - 智能体从不调用工具。 设置
is_function_calling_model=True,并使用broadnet/glm-5.3或broadnet/qwen3.8-27b。 - 数据导入或批量查询时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。OpenAILike 默认重试 3 次(
max_retries)。参见错误码与重试。
