---
title: "DSPy dspy.LM 配置 OpenAI 兼容 api_base | BroadRouter"
description: "为 BroadNet Inference 配置 dspy.LM：使用 openai/ 前缀、api_base 和 model_type=\"chat\"，因为 DSPy 3.5 会把 OpenAI 模型发到 Responses API。"
url: https://broadrouter.com/zh/guides/dspy-openai-compatible/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/dspy-openai-compatible/)（2026-11-16 更新）。

# 在 DSPy 中使用 BroadNet Inference（设置 model\_type="chat"）

更新于 2026-11-16

用模型 "openai/broadnet/glm-5.3"、model\_type="chat"、api\_base 设为 https://inference.broadnet.ai/v1 和你的 BroadNet api\_key 创建 dspy.LM，再传给 dspy.configure。关键在 model\_type="chat"：DSPy 3.5 默认让带 openai 前缀的模型走 Responses API，而 BroadNet 不提供它。在我们的模拟服务器测试中，省略它会把调用发到 /v1/responses 并得到 404；BroadNet 的线上端点对这个路径同样返回 404。

DSPy 是一个 Python 框架，用签名和模块来对语言模型编程，并优化背后的提示词。通过 `dspy.LM` 把它连接到模型。DSPy 的文档把 OpenAI 兼容服务器写成带 `api_base` 的 `openai/` 模型。对于在 `https://inference.broadnet.ai/v1` 上提供 chat completions 的 BroadNet Inference，还需要加上 `model_type="chat"`。BroadRouter 是 BroadNet 自己的网站；本文依据 DSPy 3.5 的文档。

## 安装

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## 连接

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`** 告诉 DSPy 使用它的 OpenAI 客户端。字符串的其余部分 `broadnet/glm-5.3` 是发送给 BroadNet 的模型 ID。
-   **`model_type="chat"`** 让 DSPy 保持使用 `/v1/chat/completions`。DSPy 的 LM 参考文档说，默认值 `'auto'` 会让 OpenAI 模型 “use Responses”（译文：使用 Responses）。
-   **`max_tokens`** 为思考留出空间。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答，思考内容计入这个上限。

## 不设置 model\_type 会怎样

DSPy 安装页面上 OpenAI 兼容服务器的示例没有写 `model_type`。我们用 DSPy 3.5.0 测试时，这会把请求连同 `max_output_tokens` 发到 `/v1/responses`，调用失败：

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

这个错误来自我们的模拟服务器。我们在 2026-11-16 核对时，BroadNet 的线上端点对 `/v1/responses` 同样返回 404。加上 `model_type="chat"` 后问题解决。

## 模块与模型

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| DSPy 用法 | 模型 |
| --- | --- |
| `Predict`、`ChainOfThought`、优化器运行 | `broadnet/deepseek-v4.1-flash`（按 token 计价低；有固定价格套餐） |
| `ReAct` 及其他调用工具的模块 | `broadnet/glm-5.3` 或 `broadnet/qwen3.8-27b` |
| 用初始额度试用 DSPy | `broadnet/gemma-4-26b-a4b`（32,768 token 上下文） |

BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。程序和优化器可以各用一个模型，各自配一个 `dspy.LM`。[所有模型的价格](https://broadrouter.com/zh/pricing/)。

## 我们是怎么测试的

2026-11-15，我们在一个干净的虚拟环境中安装了 dspy 3.5.0，让 `dspy.Predict` 调用一个本地模拟服务器。这个服务器按 BroadNet 的 chat completions 格式应答，对 `/v1/responses` 返回 404。不设置 `model_type` 时，DSPy 调用了 `/v1/responses` 并失败。设置 `model_type="chat"` 后，它带着模型 ID `broadnet/glm-5.3` 和 Bearer 密钥调用了 `/v1/chat/completions`，并解析出了 answer 字段。我们观察到 DSPy 以 `max_completion_tokens` 发送输出上限。BroadNet 的 API 参考文档描述的是 `max_tokens`，没有提到 `max_completion_tokens`，所以我们无法确认 BroadNet 会应用以这种方式发送的上限。我们是对模拟服务器测试的，没有使用 BroadNet 密钥，所以没有核对真实的模型输出。

## 故障排查

-   **/v1/responses 返回 404。** 加上 `model_type="chat"`。
-   **/v1/chat/completions 返回 404。** `api_base` 必须以 `/v1` 结尾，模型字符串必须是 `openai/` 加上完整的 BroadNet ID。付费模型需要先充值；$5 额度只覆盖 `broadnet/gemma-4-26b-a4b` 和两个 Transcribe 模型。
-   **“Expected to find output fields”。** 回答为空或被截断，通常是思考用完了输出额度。调高 `max_tokens`。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **优化时出现 429。** 按量付费密钥每分钟允许 30 个请求，同时最多 4 个进行中的请求。降低优化器的线程数，并参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 本指南涉及的术语

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

## 常见问题

### DSPy 为什么在 BroadNet 上调用 /v1/responses？

DSPy 3.5 的 dspy.LM 参考文档说，model\_type 的默认值 'auto' 会让 OpenAI 模型使用 Responses API。带自定义 api\_base 的 openai/ 模型也会被同样对待。传入 model\_type="chat" 改用 chat completions，这正是 BroadNet 提供的接口。

### 在 DSPy 里怎么写 BroadNet 的模型 ID？

在 BroadNet ID 前面加上 openai/，例如 openai/broadnet/glm-5.3。DSPy 用 openai/ 选择客户端；在我们的测试中，它发送的模型是 broadnet/glm-5.3。

### DSPy 优化器适合用哪个 BroadNet 模型？

优化器会发出大量调用，所以费用和速率限制很重要。DeepSeek V4.1 Flash 按 token 计价低，也是 BroadNet 固定价格套餐里的模型，这些套餐不按 token 计量。调用工具的模块（例如 ReAct）请用 GLM 5.3 或 Qwen3.8 27B。

### DSPy 的缓存对使用 BroadNet 有影响吗？

DSPy 默认缓存 LM 调用（cache=True），所以重复同一个调用不产生费用。检查连接时请设置 cache=False，否则你看到的可能是缓存的回答。

## 相关指南

-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [用 LiteLLM 路由到 BroadNet Inference（SDK 与代理）](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [所有可与 BroadNet Inference 配合使用的工具（英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-dspy-openai-compatible&utm_content=page-cta) ·

**来源**

-   [DSPy 文档：安装与语言模型设置（页面日期 2026-11-10，核对于 2026-11-15）](https://dspy.ai/current/getting-started/installation/)
-   [DSPy 文档：dspy.LM API 参考（model\_type）（核对于 2026-11-15）](https://dspy.ai/current/api/models/LM/)
-   [PyPI：dspy 3.5.0（核对于 2026-11-15）](https://pypi.org/project/dspy/)
-   [BroadNet Inference API 参考文档（核对于 2026-11-16）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-dspy-openai-compatible&utm_content=sources)
