Spring AI adalah framework dari proyek Spring untuk AI di Java. Starter chat OpenAI-nya membaca base-url, jadi bisa memanggil server apa pun yang kompatibel dengan OpenAI. BroadNet Inference melayani chat completions standar di https://inference.broadnet.ai/v1. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti referensi Spring AI 2.0.2.
Tambahkan starter
Dengan Spring AI BOM sudah terpasang (lihat dokumentasi dependency management Spring AI):
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
Konfigurasi
application.properties:
spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'
Pertahankan /v1 di URL. Di Spring AI 2.x nilainya diteruskan ke klien openai-java tanpa diubah (OpenAiSetup.calculateBaseUrl mengembalikannya apa adanya), dan klien itulah yang menambahkan /chat/completions. Nilai default yang digantikannya adalah https://api.openai.com/v1.
Panggil dan uji
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;
@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
return args -> {
ChatClient chat = builder.build();
System.out.println(chat.prompt().user("Say hello in five words.").call().content());
};
}
Jalankan aplikasinya. Jika sebuah jawaban tercetak, berarti kunci, URL, dan ID model sudah benar.
Pengaturan yang penting untuk BroadNet
max-tokens, bukanmax-completion-tokens. Dokumentasi Spring AI menyebut keduanya saling eksklusif dan mengatur keduanya akan menghasilkan error. Referensi API BroadNet menjelaskanmax_tokens. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar lebih dulu, dan penalaran ikut dihitung dalam batas itu.- Teks penalaran. Spring AI bisa menampilkan
reasoning_contentdari server kompatibel OpenAI yang mengembalikannya. Referensi API BroadNet melaporkan jumlah token reasoning diusagetetapi tidak menjanjikan teks penalarannya sendiri, jadi jangan mengandalkannya. - Override khusus chat.
spring.ai.openai.chat.base-urldanspring.ai.openai.chat.api-keylebih diutamakan daripada properti bersama untuk model chat. Pakai ini jika model OpenAI lain di Spring AI (seperti embedding) harus tetap di OpenAI. - Retry.
spring.ai.retry.max-attemptsdefault-nya 10 dengan exponential backoff. Pada kunci bayar sesuai pemakaian, ini bisa cepat menghabiskan batas per menit; pertimbangkan untuk menurunkannya.
Model mana yang dipilih
| Kegunaan | spring.ai.openai.chat.model |
|---|---|
| Tool calling, output terstruktur | broadnet/glm-5.3 |
| Gambar atau teks Arab | broadnet/qwen3.8-27b |
| Dokumen panjang, paket tarif tetap | broadnet/deepseek-v4.1-flash |
| Kredit awal gratis | broadnet/gemma-4-26b-a4b |
Pemecahan masalah
- 401. Kuncinya salah, kedaluwarsa, atau kuotanya habis, atau
BROADNET_API_KEYbelum diatur untuk JVM. - 404. Base URL tidak memuat
/v1, atau ID model salah. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4b. content()kosong. Penalaran menghabiskan anggaran output. Naikkanmax-tokens. Kenapa jawaban kembali kosong.- 400 saat kedua batas token diatur. Hapus
max-completion-tokens. - 429. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 yang berjalan bersamaan. Lihat error dan retry.
