BroadRouter

在 BroadNet Inference 上使用 Spring AI(OpenAI base-url)

更新于

添加 spring-ai-starter-model-openai,然后把 spring.ai.openai.base-url 设为 https://inference.broadnet.ai/v1,spring.ai.openai.api-key 设为 BroadNet 密钥,spring.ai.openai.chat.model 设为 BroadNet ID(如 broadnet/glm-5.3)。设置 spring.ai.openai.chat.max-tokens 时给思考留出空间。Spring AI 2.x 使用 openai-java SDK,它会在 base URL 后追加 /chat/completions。

Spring AI 是 Spring 项目推出的 Java AI 框架。它的 OpenAI chat starter 会读取 base-url,因此可以调用任何 OpenAI 兼容服务器。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的对话补全。BroadRouter 是 BroadNet 自己的网站;本文依据 Spring AI 2.0.2 参考文档。

添加 starter

在已引入 Spring AI BOM 的前提下(见 Spring AI 的依赖管理文档):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

配置

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

URL 中要保留 /v1。在 Spring AI 2.x 中,这个值原样传给 openai-java 客户端(OpenAiSetup.calculateBaseUrl 直接返回它),由该客户端加上 /chat/completions。它替换掉的默认值是 https://api.openai.com/v1。

调用并测试

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

启动应用。能打印出回答,就说明密钥、URL 和模型 ID 都正确。

对 BroadNet 重要的设置

  • 用 max-tokens,不用 max-completion-tokens。 Spring AI 的文档说两者互斥,同时设置会报错。BroadNet 的 API 参考文档描述的是 max_tokens。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考,思考内容计入这个上限。
  • 思考文本。 对于会返回 reasoning_content 的 OpenAI 兼容服务器,Spring AI 可以把它暴露出来。BroadNet 的 API 参考文档在 usage 中报告思考 token 数,但没有承诺返回思考文本本身,所以不要依赖它。
  • 只覆盖对话模型。 对于对话模型,spring.ai.openai.chat.base-url 和 spring.ai.openai.chat.api-key 优先于共享属性。如果其他 Spring AI OpenAI 模型(例如 embeddings)必须继续使用 OpenAI,就用这两个属性。
  • 重试。 spring.ai.retry.max-attempts 默认为 10,并采用指数退避。在按量付费密钥上,这可能很快耗尽每分钟的请求限额;可以考虑调低。

选哪个模型

用途 spring.ai.openai.chat.model
工具调用、结构化输出 broadnet/glm-5.3
图片或阿拉伯语文本 broadnet/qwen3.8-27b
长文档、固定价格套餐 broadnet/deepseek-v4.1-flash
免费初始额度 broadnet/gemma-4-26b-a4b

各模型价格。

故障排查

  • 401。 密钥错误、已过期或额度已用完,或者 JVM 中没有设置 BROADNET_API_KEY。
  • 404。 base URL 缺少 /v1,或者模型 ID 错误。付费模型需要先充值;$5 额度只能用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • content() 为空。 思考用掉了输出预算。调高 max-tokens。为什么回答会是空的。
  • 同时设置了两种 token 上限,返回 400。 删除 max-completion-tokens。
  • 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个在处理中。参见错误码与重试。

常见问题

spring.ai.openai.base-url 要不要带 /v1?

要。在 Spring AI 2.x 中,这个值会原样传给 openai-java 客户端,而该客户端自己的默认值是 https://api.openai.com/v1。请使用 https://inference.broadnet.ai/v1。

接 BroadNet 该用 max-tokens 还是 max-completion-tokens?

用 max-tokens。Spring AI 的文档说两者互斥。BroadNet 的 API 参考文档描述的是 max_tokens 字段,思考内容计入其中,所以请留出 1,000 token 或更多。

Spring AI 的工具调用在 BroadNet 上能用吗?

请使用 BroadNet 列出了工具支持的 GLM 5.3 或 Qwen3.8 27B。BroadNet 的文档没有为 DeepSeek V4.1 Flash 列出工具调用。

能否 embeddings 继续用 OpenAI,对话改用 BroadNet?

可以。spring.ai.openai.chat.base-url 和 spring.ai.openai.chat.api-key 只对对话模型覆盖共享属性。BroadNet 的 API 参考文档没有列出 embeddings 端点。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity