---
title: "LlamaIndex OpenAILike 配置自定义 api_base | BroadRouter"
description: "用 OpenAILike 类把 LlamaIndex 接入 BroadNet Inference，并正确设置 api_base、context_window、is_chat_model 和 is_function_calling_model。"
url: https://broadrouter.com/zh/guides/llamaindex-openailike/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/llamaindex-openailike/)（2026-11-16 更新）。

# 通过 OpenAILike 在 LlamaIndex 中使用 BroadNet Inference

更新于 2026-11-16

安装 llama-index-llms-openai-like，创建 OpenAILike：model 设为 BroadNet 模型 ID（例如 broadnet/glm-5.3），api\_base 设为 https://inference.broadnet.ai/v1，填入 BroadNet 密钥，context\_window 设为模型的真实上下文长度，is\_chat\_model=True，仅在 GLM 5.3 或 Qwen3.8 27B 上设置 is\_function\_calling\_model=True。把它设为 Settings.llm 即可全局使用。

LlamaIndex 是一个用于 RAG 和智能体的 Python 框架。对于不是 OpenAI 本身的 OpenAI 兼容 API，它提供了 `OpenAILike` 类。BroadNet Inference 在 `https://inference.broadnet.ai/v1` 上提供标准的 chat completions。BroadRouter 是 BroadNet 自己的网站；本文依据的是 `llama-index-llms-openai-like` 0.9.0 的 LlamaIndex API 参考。

## 安装

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## 连接并测试

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

打印出回答，就说明密钥、URL 和模型 ID 都没问题。

## 最关键的四个参数

| 参数 | 设为 | 不设置时的默认值 |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`，会使用旧版 completions 端点；BroadNet 提供的是 chat completions |
| `context_window` | 模型的真实上下文长度 | 3,900 token |
| `is_function_calling_model` | 仅 GLM 5.3 或 Qwen3.8 27B 设为 `True` | `False` |
| `max_tokens` | 1,000 或更高 | None（不发送，由服务器决定） |

`is_chat_model` 最重要。API 参考说它“controls whether the model uses the chat or completion endpoint”（译文：控制模型使用 chat 端点还是 completion 端点），默认为 false。BroadNet 的文档列出的是 `/v1/chat/completions`，而不是旧版 completions 端点。

## 在整个应用中使用

```python
from llama_index.core import Settings

Settings.llm = llm
```

这样查询引擎、聊天引擎和智能体都会使用 BroadNet。embedding 是另一回事：BroadNet 的 API 参考文档没有列出 embeddings 端点，所以建索引时请保留另一个 embedding 模型。

## 上下文窗口

| 模型 | ID | `context_window` | 工具 |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | 支持 |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | 未列出 |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | 支持 |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | 未列出 |

1M token 的上下文让查询引擎每次调用可以传入多得多的检索文本块。但这并不总是更好；参见[长上下文还是 RAG](https://broadrouter.com/zh/blog/long-context-vs-rag/)。

## 故障排查

-   **401。** 密钥错误、已过期，或者额度已用完。
-   **404。** `api_base` 必须以 `/v1` 结尾，`is_chat_model` 必须为 `True`。然后检查模型 ID。付费模型需要先充值；$5 初始额度只覆盖 `broadnet/gemma-4-26b-a4b` 和两个 Transcribe 模型。
-   **回答为空。** 输出预算被思考用光了。调高 `max_tokens`。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **智能体从不调用工具。** 设置 `is_function_calling_model=True`，并使用 `broadnet/glm-5.3` 或 `broadnet/qwen3.8-27b`。
-   **数据导入或批量查询时出现 429。** 按量付费密钥每分钟允许 30 个请求，同时最多 4 个进行中的请求。OpenAILike 默认重试 3 次（`max_retries`）。参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 本指南涉及的术语

[嵌入向量（embeddings）](https://broadrouter.com/zh/glossary/embeddings/)

嵌入向量（embeddings）是模型为一段文本、一张图片或其他输入生成的浮点数列表（向量）。意思相近的输入会得到彼此接近的向量，因此可以用向量之间的距离来给搜索结果排序、对文档聚类或查找相关条目。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)

上下文窗口是语言模型在单次请求中能处理的最大 token 数。它涵盖提示词、对话历史、工具定义、图片以及生成的输出（包括思考 token）。放不下的内容必须删减、摘要，或拆分到多个请求中。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

## 常见问题

### 为什么不直接用 LlamaIndex 的 OpenAI 类再改 api\_base？

LlamaIndex 自己的 OpenAI 页面说，凡是不是 OpenAI 官方 API 的 OpenAI 兼容 API，都应使用 OpenAILike 集成。OpenAILike 还允许你自己声明上下文窗口和工具支持。

### 不设置 context\_window 会怎样？

OpenAILike 默认是 3,900 token，于是 LlamaIndex 会把提示词和检索到的文本块裁剪到远低于 BroadNet 模型可接受的长度。GLM 5.3 和 DeepSeek V4.1 Flash 设为 1048576，Qwen3.8 27B 设为 262144。

### LlamaIndex 的 FunctionAgent 能用 BroadNet 吗？

可以，前提是在 BroadNet 列出了工具的模型（GLM 5.3 或 Qwen3.8 27B）上设置 is\_function\_calling\_model=True。DeepSeek V4.1 Flash 请保持 False，BroadNet 的文档没有为它列出工具调用。

### BroadNet 能为 LlamaIndex 索引提供 embedding 吗？

BroadNet 的 API 参考文档列出的是 chat completions 和音频转写，没有 embedding。索引请使用单独的 embedding 模型，LLM 则用 BroadNet。

## 相关指南

-   [在 LangChain 中调用 BroadNet Inference](https://broadrouter.com/zh/guides/langchain-openai-base-url/)
-   [在 BroadNet Inference 上使用 Pydantic AI（OpenAICompatibleProvider）](https://broadrouter.com/zh/guides/pydantic-ai-openai-compatible/)
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [所有可与 BroadNet Inference 配合使用的工具（英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-llamaindex-openailike&utm_content=page-cta) ·

**来源**

-   [LlamaIndex API 参考：OpenAILike（核对于 2026-11-15）](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [LlamaIndex 文档：OpenAILike 示例（Grok 集成页面）（核对于 2026-11-15）](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [LlamaIndex 文档：OpenAI LLM 页面（建议兼容 API 使用 OpenAILike）（核对于 2026-11-15）](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI：llama-index-llms-openai-like 0.9.0，Python 3.11+（核对于 2026-11-15）](https://pypi.org/project/llama-index-llms-openai-like/)
-   [LlamaIndex 源代码：OpenAI LLM 的 max\_tokens 默认值与请求负载（核对于 2026-11-16）](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [BroadNet Inference API 参考文档（核对于 2026-11-15）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-llamaindex-openailike&utm_content=sources)
