BroadRouter

Pakai Spring AI dengan BroadNet Inference (OpenAI base-url)

Diperbarui

Tambahkan spring-ai-starter-model-openai, lalu atur spring.ai.openai.base-url ke https://inference.broadnet.ai/v1, spring.ai.openai.api-key ke kunci BroadNet Anda, dan spring.ai.openai.chat.model ke ID BroadNet seperti broadnet/glm-5.3. Atur spring.ai.openai.chat.max-tokens dengan ruang untuk penalaran. Spring AI 2.x memakai SDK openai-java, yang menambahkan /chat/completions ke base URL.

Spring AI adalah framework dari proyek Spring untuk AI di Java. Starter chat OpenAI-nya membaca base-url, jadi bisa memanggil server apa pun yang kompatibel dengan OpenAI. BroadNet Inference melayani chat completions standar di https://inference.broadnet.ai/v1. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti referensi Spring AI 2.0.2.

Tambahkan starter

Dengan Spring AI BOM sudah terpasang (lihat dokumentasi dependency management Spring AI):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Konfigurasi

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Pertahankan /v1 di URL. Di Spring AI 2.x nilainya diteruskan ke klien openai-java tanpa diubah (OpenAiSetup.calculateBaseUrl mengembalikannya apa adanya), dan klien itulah yang menambahkan /chat/completions. Nilai default yang digantikannya adalah https://api.openai.com/v1.

Panggil dan uji

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Jalankan aplikasinya. Jika sebuah jawaban tercetak, berarti kunci, URL, dan ID model sudah benar.

Pengaturan yang penting untuk BroadNet

  • max-tokens, bukan max-completion-tokens. Dokumentasi Spring AI menyebut keduanya saling eksklusif dan mengatur keduanya akan menghasilkan error. Referensi API BroadNet menjelaskan max_tokens. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar lebih dulu, dan penalaran ikut dihitung dalam batas itu.
  • Teks penalaran. Spring AI bisa menampilkan reasoning_content dari server kompatibel OpenAI yang mengembalikannya. Referensi API BroadNet melaporkan jumlah token reasoning di usage tetapi tidak menjanjikan teks penalarannya sendiri, jadi jangan mengandalkannya.
  • Override khusus chat. spring.ai.openai.chat.base-url dan spring.ai.openai.chat.api-key lebih diutamakan daripada properti bersama untuk model chat. Pakai ini jika model OpenAI lain di Spring AI (seperti embedding) harus tetap di OpenAI.
  • Retry. spring.ai.retry.max-attempts default-nya 10 dengan exponential backoff. Pada kunci bayar sesuai pemakaian, ini bisa cepat menghabiskan batas per menit; pertimbangkan untuk menurunkannya.

Model mana yang dipilih

Kegunaan spring.ai.openai.chat.model
Tool calling, output terstruktur broadnet/glm-5.3
Gambar atau teks Arab broadnet/qwen3.8-27b
Dokumen panjang, paket tarif tetap broadnet/deepseek-v4.1-flash
Kredit awal gratis broadnet/gemma-4-26b-a4b

Harga semua model.

Pemecahan masalah

  • 401. Kuncinya salah, kedaluwarsa, atau kuotanya habis, atau BROADNET_API_KEY belum diatur untuk JVM.
  • 404. Base URL tidak memuat /v1, atau ID model salah. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • content() kosong. Penalaran menghabiskan anggaran output. Naikkan max-tokens. Kenapa jawaban kembali kosong.
  • 400 saat kedua batas token diatur. Hapus max-completion-tokens.
  • 429. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 yang berjalan bersamaan. Lihat error dan retry.

Pertanyaan umum

Apakah spring.ai.openai.base-url harus menyertakan /v1?

Ya. Di Spring AI 2.x nilainya diteruskan apa adanya ke klien openai-java, yang default-nya sendiri adalah https://api.openai.com/v1. Pakai https://inference.broadnet.ai/v1.

Pakai max-tokens atau max-completion-tokens dengan BroadNet?

max-tokens. Dokumentasi Spring AI menyebut keduanya saling eksklusif. Referensi API BroadNet menjelaskan field max_tokens, dan penalaran ikut dihitung di dalamnya, jadi beri ruang 1.000 token atau lebih.

Apakah tool calling Spring AI berfungsi dengan BroadNet?

Pakai GLM 5.3 atau Qwen3.8 27B, yang dicantumkan BroadNet dengan tools. Dokumentasi BroadNet tidak mencantumkan tool calling untuk DeepSeek V4.1 Flash.

Bisakah tetap memakai OpenAI untuk embedding dan BroadNet untuk chat?

Bisa. spring.ai.openai.chat.base-url dan spring.ai.openai.chat.api-key menimpa properti bersama khusus untuk model chat. Referensi API BroadNet tidak mencantumkan endpoint embedding.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity