Spring AI 是 Spring 项目推出的 Java AI 框架。它的 OpenAI chat starter 会读取 base-url,因此可以调用任何 OpenAI 兼容服务器。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的对话补全。BroadRouter 是 BroadNet 自己的网站;本文依据 Spring AI 2.0.2 参考文档。
添加 starter
在已引入 Spring AI BOM 的前提下(见 Spring AI 的依赖管理文档):
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
配置
application.properties:
spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'
URL 中要保留 /v1。在 Spring AI 2.x 中,这个值原样传给 openai-java 客户端(OpenAiSetup.calculateBaseUrl 直接返回它),由该客户端加上 /chat/completions。它替换掉的默认值是 https://api.openai.com/v1。
调用并测试
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;
@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
return args -> {
ChatClient chat = builder.build();
System.out.println(chat.prompt().user("Say hello in five words.").call().content());
};
}
启动应用。能打印出回答,就说明密钥、URL 和模型 ID 都正确。
对 BroadNet 重要的设置
- 用
max-tokens,不用max-completion-tokens。 Spring AI 的文档说两者互斥,同时设置会报错。BroadNet 的 API 参考文档描述的是max_tokens。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考,思考内容计入这个上限。 - 思考文本。 对于会返回
reasoning_content的 OpenAI 兼容服务器,Spring AI 可以把它暴露出来。BroadNet 的 API 参考文档在usage中报告思考 token 数,但没有承诺返回思考文本本身,所以不要依赖它。 - 只覆盖对话模型。 对于对话模型,
spring.ai.openai.chat.base-url和spring.ai.openai.chat.api-key优先于共享属性。如果其他 Spring AI OpenAI 模型(例如 embeddings)必须继续使用 OpenAI,就用这两个属性。 - 重试。
spring.ai.retry.max-attempts默认为 10,并采用指数退避。在按量付费密钥上,这可能很快耗尽每分钟的请求限额;可以考虑调低。
选哪个模型
| 用途 | spring.ai.openai.chat.model |
|---|---|
| 工具调用、结构化输出 | broadnet/glm-5.3 |
| 图片或阿拉伯语文本 | broadnet/qwen3.8-27b |
| 长文档、固定价格套餐 | broadnet/deepseek-v4.1-flash |
| 免费初始额度 | broadnet/gemma-4-26b-a4b |
