BroadRouter

Guna Spring AI dengan BroadNet Inference (OpenAI base-url)

Dikemas kini

Tambah spring-ai-starter-model-openai, kemudian tetapkan spring.ai.openai.base-url kepada https://inference.broadnet.ai/v1, spring.ai.openai.api-key kepada kunci BroadNet anda dan spring.ai.openai.chat.model kepada ID BroadNet seperti broadnet/glm-5.3. Tetapkan spring.ai.openai.chat.max-tokens dengan ruang untuk penaakulan. Spring AI 2.x menggunakan SDK openai-java, yang menambah /chat/completions pada base URL.

Spring AI ialah rangka kerja projek Spring untuk AI dalam Java. Starter chat OpenAInya membaca base-url, jadi ia boleh memanggil mana-mana pelayan serasi OpenAI. BroadNet Inference menyediakan chat completions standard di https://inference.broadnet.ai/v1. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut rujukan Spring AI 2.0.2.

Tambah starter

Dengan Spring AI BOM sudah disediakan (lihat dokumentasi pengurusan kebergantungan Spring AI):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Konfigurasi

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Kekalkan /v1 dalam URL. Dalam Spring AI 2.x, nilai itu dihantar kepada klien openai-java tanpa diubah (OpenAiSetup.calculateBaseUrl memulangkannya seadanya), dan klien itu menambah /chat/completions. Nilai lalai yang digantikannya ialah https://api.openai.com/v1.

Panggil dan uji

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Mulakan aplikasi. Jawapan yang dicetak bermakna kunci, URL dan ID model adalah betul.

Tetapan yang penting untuk BroadNet

  • max-tokens, bukan max-completion-tokens. Dokumentasi Spring AI menyatakan kedua-duanya tidak boleh digunakan bersama dan menetapkan kedua-duanya ialah ralat. Rujukan API BroadNet menerangkan max_tokens. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu, dan penaakulan dikira dalam had itu.
  • Teks penaakulan. Spring AI boleh mendedahkan reasoning_content daripada pelayan serasi OpenAI yang memulangkannya. Rujukan API BroadNet melaporkan bilangan token penaakulan dalam usage tetapi tidak menjanjikan teks penaakulan itu sendiri, jadi jangan bergantung padanya.
  • Override untuk chat sahaja. spring.ai.openai.chat.base-url dan spring.ai.openai.chat.api-key diutamakan berbanding sifat kongsi untuk model chat. Gunakannya jika model Spring AI OpenAI yang lain (seperti embeddings) perlu kekal pada OpenAI.
  • Cuba semula. spring.ai.retry.max-attempts bernilai lalai 10 dengan backoff eksponen. Pada kunci bayar ikut guna, ini boleh menghabiskan had seminit; pertimbangkan untuk merendahkannya.

Model mana yang patut dipilih

Kegunaan spring.ai.openai.chat.model
Tool calling, output berstruktur broadnet/glm-5.3
Imej atau teks bahasa Arab broadnet/qwen3.8-27b
Dokumen panjang, pelan kadar tetap broadnet/deepseek-v4.1-flash
Kredit permulaan percuma broadnet/gemma-4-26b-a4b

Harga setiap model.

Penyelesaian masalah

  • 401. Kunci salah, tamat tempoh atau kehabisan elaun, atau BROADNET_API_KEY tidak ditetapkan untuk JVM.
  • 404. Base URL tiada /v1, atau ID model salah. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • content() kosong. Penaakulan menghabiskan bajet output. Naikkan max-tokens. Mengapa jawapan kosong.
  • 400 apabila kedua-dua had token ditetapkan. Buang max-completion-tokens.
  • 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Lihat ralat dan cuba semula.

Soalan lazim

Patutkah spring.ai.openai.base-url termasuk /v1?

Ya. Dalam Spring AI 2.x, nilai itu dihantar tanpa diubah kepada klien openai-java, yang nilai lalainya sendiri ialah https://api.openai.com/v1. Gunakan https://inference.broadnet.ai/v1.

Patutkah saya guna max-tokens atau max-completion-tokens dengan BroadNet?

max-tokens. Dokumentasi Spring AI menyatakan kedua-duanya tidak boleh digunakan bersama. Rujukan API BroadNet menerangkan medan max_tokens, dan penaakulan dikira di dalamnya, jadi peruntukkan 1,000 token atau lebih.

Adakah tool calling Spring AI berfungsi dengan BroadNet?

Gunakan GLM 5.3 atau Qwen3.8 27B, yang disenaraikan BroadNet dengan tools. Dokumentasi BroadNet tidak menyenaraikan tool calling untuk DeepSeek V4.1 Flash.

Bolehkah saya kekalkan OpenAI untuk embeddings dan guna BroadNet untuk chat?

Boleh. spring.ai.openai.chat.base-url dan spring.ai.openai.chat.api-key mengatasi sifat kongsi untuk model chat sahaja. Rujukan API BroadNet tidak menyenaraikan endpoint embeddings.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity