BroadRouter

Spring AI で BroadNet Inference を使う(OpenAI base-url)

更新日

spring-ai-starter-model-openai を追加し、spring.ai.openai.base-url を https://inference.broadnet.ai/v1、spring.ai.openai.api-key を BroadNet のキー、spring.ai.openai.chat.model を broadnet/glm-5.3 などの BroadNet の ID にします。spring.ai.openai.chat.max-tokens は推論の分の余裕を持たせます。Spring AI 2.x は openai-java SDK を使い、base URL に /chat/completions を付け足します。

Spring AI は、Spring プロジェクトによる Java 向けの AI フレームワークです。OpenAI のチャットスターターは base-url を読み込むので、任意の OpenAI 互換サーバーを呼び出せます。BroadNet Inference は https://inference.broadnet.ai/v1 で標準の chat completions を提供しています。BroadRouter は BroadNet 自身のサイトです。このガイドは Spring AI 2.0.2 のリファレンスに基づいています。

スターターを追加する

Spring AI の BOM を設定したうえで(Spring AI の依存関係管理のドキュメントを参照)、次を追加します。

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

設定する

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

URL の /v1 は残してください。Spring AI 2.x では、この値はそのまま openai-java クライアントに渡され(OpenAiSetup.calculateBaseUrl がそのまま返します)、クライアントが /chat/completions を付け足します。置き換えられるデフォルト値は https://api.openai.com/v1 です。

呼び出してテストする

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

アプリを起動します。回答が出力されれば、キー、URL、モデル ID は正しく設定されています。

BroadNet で重要な設定

  • max-completion-tokens ではなく max-tokens。 Spring AI のドキュメントによると、この 2 つは同時に使えず、両方を設定するとエラーになります。BroadNet の API リファレンスが説明しているのは max_tokens です。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は先に推論し、推論はこの上限に含まれます。
  • 推論のテキスト。 Spring AI は、reasoning_content を返す OpenAI 互換サーバーからそれを取り出せます。BroadNet の API リファレンスは usage で推論トークン数を報告しますが、推論のテキストそのものを返すとは約束していないので、それに頼らないでください。
  • チャットだけの上書き。 チャットモデルについては、spring.ai.openai.chat.base-url と spring.ai.openai.chat.api-key が共通のプロパティより優先されます。Spring AI のほかの OpenAI モデル(埋め込みなど)を OpenAI のまま使う必要がある場合に使ってください。
  • リトライ。 spring.ai.retry.max-attempts のデフォルトは 10 で、指数バックオフを使います。従量課金のキーでは 1 分あたりの上限をすぐに使い切ってしまうことがあるので、下げることを検討してください。

モデルの選び方

用途 spring.ai.openai.chat.model
ツール呼び出し、構造化出力 broadnet/glm-5.3
画像やアラビア語のテキスト broadnet/qwen3.8-27b
長いドキュメント、定額プラン broadnet/deepseek-v4.1-flash
無料の初回クレジット broadnet/gemma-4-26b-a4b

全モデルの料金。

トラブルシューティング

  • 401。 キーが間違っているか、期限切れか、利用枠を使い切っています。または JVM に BROADNET_API_KEY が設定されていません。
  • 404。 base URL に /v1 がないか、モデル ID が間違っています。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • content() が空。 推論が出力の枠を使い切りました。max-tokens を上げてください。回答が空で返ってくる理由。
  • 両方のトークン上限を設定して 400 になる。 max-completion-tokens を削除してください。
  • 429。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。エラーとリトライを参照してください。

よくある質問

spring.ai.openai.base-url に /v1 は含めますか?

はい。Spring AI 2.x ではこの値がそのまま openai-java クライアントに渡され、クライアント自体のデフォルトは https://api.openai.com/v1 です。https://inference.broadnet.ai/v1 を使ってください。

BroadNet では max-tokens と max-completion-tokens のどちらを使いますか?

max-tokens です。Spring AI のドキュメントによると、この 2 つは同時に使えません。BroadNet の API リファレンスは max_tokens フィールドを説明しており、推論もこれに含まれるので、1,000 トークン以上を確保してください。

Spring AI のツール呼び出しは BroadNet で動きますか?

BroadNet がツール対応として記載している GLM 5.3 か Qwen3.8 27B を使ってください。BroadNet のドキュメントには DeepSeek V4.1 Flash のツール呼び出しの記載がありません。

埋め込みは OpenAI のまま、チャットだけ BroadNet にできますか?

できます。spring.ai.openai.chat.base-url と spring.ai.openai.chat.api-key は、チャットモデルに限って共通のプロパティを上書きします。BroadNet の API リファレンスには埋め込みのエンドポイントは記載されていません。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く