Pydantic AI, Pydantic टीम का Python एजेंट फ़्रेमवर्क है। जिस सेवा के लिए इसमें बिल्ट-इन प्रोवाइडर नहीं है, उसके लिए इसके डॉक्स उस सेवा के base_url के साथ OpenAICompatibleProvider इस्तेमाल करने को कहते हैं। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है, इसलिए यही रास्ता है। BroadRouter, BroadNet की अपनी साइट है। यह गाइड वर्ज़न 2.68 के समय के Pydantic AI डॉक्स के अनुसार है।
इंस्टॉल करें
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
कनेक्ट करें
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
इसे चलाना ही टेस्ट है: जवाब प्रिंट हो जाए, तो key, URL और मॉडल ID सही हैं।
- पहला आर्ग्युमेंट मॉडल ID है, जो BroadNet को भेजा जाता है। इसे बिल्कुल वैसा ही,
broadnet/प्रीफ़िक्स के साथ इस्तेमाल करें। - प्रोवाइडर का नाम (यहाँ
'broadnet') हर रिस्पॉन्स पर दर्ज होता है। Pydantic AI के डॉक्स इसे स्थिर रखने को कहते हैं, क्योंकि इसी से तय होता है कि पिछले रिस्पॉन्स का कौन-सा डेटा सेवा को वापस भेजा जाए। OpenAIChatModelपर ही रहें। Pydantic AI के डॉक्स कहते हैं किOpenAIResponsesModelतभी इस्तेमाल करें जब सेवा Responses API लागू करती हो। BroadNet इसे सूचीबद्ध नहीं करता।
टूल और स्ट्रक्चर्ड आउटपुट
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
टूल और स्ट्रक्चर्ड आउटपुट के लिए broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें; BroadNet के डॉक्स ये दोनों फ़ीचर सिर्फ़ इन्हीं दो मॉडलों के लिए सूचीबद्ध करते हैं।
मॉडल प्रोफ़ाइल कब सेट करें
Pydantic AI, मॉडल के नाम से अनुरोध की प्रोफ़ाइल चुनता है। अगर कोई फ़ीचर अनदेखा होता है या अस्वीकार होता है, तो इसके डॉक्स अपनी OpenAIModelProfile देने को कहते हैं। BroadNet के लिए दो सेटिंग जानने लायक़ हैं:
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
आउटपुट सीमा मॉडल सेटिंग के ज़रिए दें, उदाहरण के लिए agent.run_sync(prompt, model_settings={'max_tokens': 2000})। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पर रीज़निंग इसमें गिनी जाती है।
कौन-सा मॉडल चुनें
| एजेंट | मॉडल |
|---|---|
| टूल, स्ट्रक्चर्ड आउटपुट | broadnet/glm-5.3 |
| टूल के साथ इमेज या अरबी टेक्स्ट | broadnet/qwen3.8-27b |
| लंबे दस्तावेज़, फ़्लैट-प्राइस प्लान | broadnet/deepseek-v4.1-flash |
| मुफ़्त शुरुआती क्रेडिट | broadnet/gemma-4-26b-a4b (32,768 टोकन का कॉन्टेक्स्ट) |
समस्या निवारण
- 401. key ग़लत है, एक्सपायर हो चुकी है या उसकी सीमा ख़त्म हो गई है।
- 404 या मॉडल नहीं मिला.
base_urlका अंत/v1पर होना चाहिए। मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 का क्रेडिट सिर्फ़broadnet/gemma-4-26b-a4bऔर दो Transcribe मॉडल को कवर करता है। - ख़ाली आउटपुट या वैलिडेशन रीट्राई का लूप. रीज़निंग ने आउटपुट बजट ख़र्च कर दिया।
max_tokensबढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - टूल डेफ़िनिशन पर 400. प्रोफ़ाइल में
openai_supports_strict_tool_definition=Falseसेट करें, और ऐसा मॉडल इस्तेमाल करें जिसे BroadNet टूल के साथ सूचीबद्ध करता है। - एजेंट एक साथ चलाने पर 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है। एरर और रीट्राई देखें।
