BroadRouter

Spring AI को BroadNet Inference के साथ चलाएँ (OpenAI base-url)

अपडेट किया गया

spring-ai-starter-model-openai जोड़ें, फिर spring.ai.openai.base-url को https://inference.broadnet.ai/v1, spring.ai.openai.api-key को अपनी BroadNet key और spring.ai.openai.chat.model को broadnet/glm-5.3 जैसे BroadNet ID पर सेट करें। spring.ai.openai.chat.max-tokens में रीज़निंग के लिए जगह रखें। Spring AI 2.x, openai-java SDK इस्तेमाल करता है, जो base URL के बाद /chat/completions जोड़ता है।

Spring AI, Java में AI के लिए Spring प्रोजेक्ट का फ़्रेमवर्क है। इसका OpenAI चैट स्टार्टर एक base-url पढ़ता है, इसलिए यह किसी भी OpenAI-कम्पैटिबल सर्वर को कॉल कर सकता है। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है। BroadRouter, BroadNet की अपनी साइट है; यह गाइड Spring AI 2.0.2 रेफ़रंस पर आधारित है।

स्टार्टर जोड़ें

Spring AI BOM लगा होने पर (Spring AI के dependency management डॉक्स देखें):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

कॉन्फ़िगर करें

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

URL में /v1 रहने दें। Spring AI 2.x में यह वैल्यू बिना बदलाव के openai-java क्लाइंट को जाती है (OpenAiSetup.calculateBaseUrl इसे जैसा का तैसा लौटाता है), और वह क्लाइंट /chat/completions जोड़ता है। जिस डिफ़ॉल्ट की जगह यह लेता है, वह https://api.openai.com/v1 है।

कॉल करें और टेस्ट करें

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

ऐप शुरू करें। जवाब प्रिंट हो, तो key, URL और मॉडल ID सही हैं।

BroadNet के लिए ज़रूरी सेटिंग

  • max-tokens, max-completion-tokens नहीं। Spring AI के डॉक्स कहते हैं कि दोनों एक साथ नहीं चल सकते और दोनों सेट करना एरर है। BroadNet का API रेफ़रंस max_tokens बताता है। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पहले रीज़निंग करते हैं, और रीज़निंग इसी सीमा में गिनी जाती है।
  • रीज़निंग टेक्स्ट. Spring AI उन OpenAI-कम्पैटिबल सर्वर से reasoning_content दिखा सकता है जो इसे लौटाते हैं। BroadNet का API रेफ़रंस usage में रीज़निंग टोकन की गिनती बताता है, पर रीज़निंग टेक्स्ट का वादा नहीं करता, इसलिए उस पर निर्भर न रहें।
  • सिर्फ़ चैट के लिए ओवरराइड. spring.ai.openai.chat.base-url और spring.ai.openai.chat.api-key चैट मॉडल के लिए साझा प्रॉपर्टी से ऊपर रहते हैं। इन्हें तब इस्तेमाल करें जब Spring AI के दूसरे OpenAI मॉडल (जैसे embeddings) OpenAI पर ही रहने चाहिए।
  • रीट्राई. spring.ai.retry.max-attempts का डिफ़ॉल्ट 10 है, एक्सपोनेंशियल बैकऑफ़ के साथ। उपयोग के अनुसार भुगतान वाली key पर इससे प्रति मिनट की सीमा जल्दी ख़त्म हो सकती है; इसे घटाने पर विचार करें।

कौन-सा मॉडल चुनें

इस्तेमाल spring.ai.openai.chat.model
टूल कॉलिंग, स्ट्रक्चर्ड आउटपुट broadnet/glm-5.3
इमेज या अरबी टेक्स्ट broadnet/qwen3.8-27b
लंबे डॉक्यूमेंट, फ़्लैट-रेट प्लान broadnet/deepseek-v4.1-flash
मुफ़्त शुरुआती क्रेडिट broadnet/gemma-4-26b-a4b

हर मॉडल की कीमतें।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है या अलाउंस ख़त्म हो गया है, या JVM के लिए BROADNET_API_KEY सेट नहीं है।
  • 404. base URL में /v1 नहीं है, या मॉडल ID ग़लत है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली content(). रीज़निंग ने आउटपुट बजट ख़र्च कर दिया। max-tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • दोनों टोकन सीमाएँ सेट होने पर 400. max-completion-tokens हटाएँ।
  • 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

क्या spring.ai.openai.base-url में /v1 होना चाहिए?

हाँ। Spring AI 2.x में यह वैल्यू बिना बदलाव के openai-java क्लाइंट को जाती है, जिसका अपना डिफ़ॉल्ट https://api.openai.com/v1 है। https://inference.broadnet.ai/v1 इस्तेमाल करें।

BroadNet के साथ max-tokens इस्तेमाल करूँ या max-completion-tokens?

max-tokens। Spring AI के डॉक्स कहते हैं कि दोनों एक साथ नहीं चल सकते। BroadNet का API रेफ़रंस max_tokens फ़ील्ड बताता है, और रीज़निंग उसमें गिनी जाती है, इसलिए 1,000 या ज़्यादा टोकन रखें।

क्या BroadNet के साथ Spring AI की टूल कॉलिंग चलती है?

GLM 5.3 या Qwen3.8 27B इस्तेमाल करें, जिन्हें BroadNet टूल के साथ सूचीबद्ध करता है। BroadNet के डॉक्स DeepSeek V4.1 Flash के लिए टूल कॉलिंग सूचीबद्ध नहीं करते।

क्या embeddings के लिए OpenAI और चैट के लिए BroadNet रख सकते हैं?

हाँ। spring.ai.openai.chat.base-url और spring.ai.openai.chat.api-key सिर्फ़ चैट मॉडल के लिए साझा प्रॉपर्टी को ओवरराइड करते हैं। BroadNet का API रेफ़रंस कोई embeddings endpoint सूचीबद्ध नहीं करता।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें