Spring AI، Java میں AI کے لیے Spring پروجیکٹ کا فریم ورک ہے۔ اس کا OpenAI چیٹ اسٹارٹر ایک base-url پڑھتا ہے، اس لیے یہ کسی بھی OpenAI-compatible سرور کو کال کر سکتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ Spring AI 2.0.2 ریفرنس پر مبنی ہے۔
اسٹارٹر شامل کریں
Spring AI BOM موجود ہونے پر (Spring AI کی dependency management دستاویزات دیکھیں):
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
کنفیگر کریں
application.properties:
spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'
URL میں /v1 رہنے دیں۔ Spring AI 2.x میں یہ قدر بغیر تبدیلی کے openai-java کلائنٹ کو جاتی ہے (OpenAiSetup.calculateBaseUrl اسے جوں کا توں لوٹاتا ہے)، اور وہ کلائنٹ /chat/completions جوڑتا ہے۔ جس ڈیفالٹ کی جگہ یہ لیتا ہے وہ https://api.openai.com/v1 ہے۔
کال کریں اور ٹیسٹ کریں
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;
@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
return args -> {
ChatClient chat = builder.build();
System.out.println(chat.prompt().user("Say hello in five words.").call().content());
};
}
ایپ شروع کریں۔ جواب پرنٹ ہو تو کلید، URL اور ماڈل ID درست ہیں۔
BroadNet کے لیے اہم سیٹنگز
max-tokens،max-completion-tokensنہیں۔ Spring AI کی دستاویزات کہتی ہیں کہ دونوں ایک ساتھ استعمال نہیں ہو سکتے اور دونوں سیٹ کرنا ایرر ہے۔ BroadNet کا API ریفرنسmax_tokensبیان کرتا ہے۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں، اور ریزننگ اسی حد میں گنی جاتی ہے۔- ریزننگ کا متن۔ Spring AI ان OpenAI-compatible سرورز سے
reasoning_contentدکھا سکتا ہے جو اسے لوٹاتے ہیں۔ BroadNet کا API ریفرنسusageمیں ریزننگ ٹوکنز کی گنتی بتاتا ہے مگر ریزننگ کے متن کا وعدہ نہیں کرتا، اس لیے اس پر انحصار نہ کریں۔ - صرف چیٹ کے لیے اوور رائیڈ۔
spring.ai.openai.chat.base-urlاورspring.ai.openai.chat.api-keyچیٹ ماڈل کے لیے مشترکہ پراپرٹیز پر ترجیح رکھتی ہیں۔ انہیں تب استعمال کریں جب Spring AI کے دوسرے OpenAI ماڈلز (جیسے embeddings) کو OpenAI پر ہی رہنا ہو۔ - ری ٹرائی۔
spring.ai.retry.max-attemptsکا ڈیفالٹ 10 ہے، ایکسپونینشل بیک آف کے ساتھ۔ استعمال کے مطابق ادائیگی والی کلید پر اس سے فی منٹ کی حد جلد ختم ہو سکتی ہے؛ اسے کم کرنے پر غور کریں۔
کون سا ماڈل چنیں
| استعمال | spring.ai.openai.chat.model |
|---|---|
| ٹول کالنگ، اسٹرکچرڈ آؤٹ پٹ | broadnet/glm-5.3 |
| تصاویر یا عربی متن | broadnet/qwen3.8-27b |
| لمبی دستاویزات، فلیٹ ریٹ پلان | broadnet/deepseek-v4.1-flash |
| مفت ابتدائی کریڈٹ | broadnet/gemma-4-26b-a4b |
مسائل کا حل
- 401۔ کلید غلط ہے، ختم ہو چکی ہے یا الاؤنس ختم ہو گیا ہے، یا JVM کے لیے
BROADNET_API_KEYسیٹ نہیں۔ - 404۔ base URL میں
/v1نہیں، یا ماڈل ID غلط ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرفbroadnet/gemma-4-26b-a4bاور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔ - خالی
content()۔ ریزننگ نے آؤٹ پٹ بجٹ خرچ کر دیا۔max-tokensبڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - دونوں ٹوکن حدیں سیٹ ہونے پر 400۔
max-completion-tokensہٹا دیں۔ - 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ ایررز اور ری ٹرائی دیکھیں۔
