BroadRouter

BroadNet Inference کے ساتھ Pydantic AI (OpenAICompatibleProvider)

اپ ڈیٹ

pydantic-ai-slim[openai] انسٹال کریں، پھر broadnet/glm-5.3 جیسے BroadNet ماڈل ID اور ایسے OpenAICompatibleProvider کے ساتھ OpenAIChatModel بنائیں جس کا base URL https://inference.broadnet.ai/v1 اور API کلید آپ کی BroadNet کلید ہو۔ ماڈل کو Agent میں دیں۔ Responses ماڈل نہیں، OpenAIChatModel استعمال کریں، کیونکہ BroadNet چیٹ کمپلیشنز فراہم کرتا ہے۔ Pydantic AI کی دستاویزات کہتی ہیں کہ base_url والا OpenAIProvider خود OpenAI کے لیے ہے۔

Pydantic AI، Pydantic ٹیم کا Python ایجنٹ فریم ورک ہے۔ جس سروس کے لیے اس میں بلٹ اِن پرووائیڈر نہیں، اس کے لیے اس کی دستاویزات اس سروس کے base_url کے ساتھ OpenAICompatibleProvider استعمال کرنے کو کہتی ہیں۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری چیٹ کمپلیشنز فراہم کرتا ہے، اس لیے یہی راستہ ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ ورژن 2.68 کے وقت کی Pydantic AI دستاویزات کے مطابق ہے۔

انسٹال کریں

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

کنیکٹ کریں

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

اسے چلانا ہی ٹیسٹ ہے: جواب پرنٹ ہو جائے تو کلید، URL اور ماڈل ID درست ہیں۔

  • پہلا آرگیومنٹ ماڈل ID ہے جو BroadNet کو بھیجا جاتا ہے۔ اسے بالکل ویسا ہی، broadnet/ پری فکس کے ساتھ استعمال کریں۔
  • پرووائیڈر کا نام (یہاں 'broadnet') ہر رسپانس پر درج ہوتا ہے۔ Pydantic AI کی دستاویزات اسے مستقل رکھنے کو کہتی ہیں، کیونکہ اسی سے طے ہوتا ہے کہ پچھلے رسپانسز کا کون سا ڈیٹا سروس کو واپس بھیجا جائے۔
  • OpenAIChatModel پر ہی رہیں۔ Pydantic AI کی دستاویزات کہتی ہیں کہ OpenAIResponsesModel صرف تب استعمال کریں جب سروس Responses API نافذ کرتی ہو۔ BroadNet اسے درج نہیں کرتا۔

ٹولز اور اسٹرکچرڈ آؤٹ پٹ

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

ٹولز اور اسٹرکچرڈ آؤٹ پٹ کے لیے broadnet/glm-5.3 یا broadnet/qwen3.8-27b استعمال کریں؛ BroadNet کی دستاویزات یہ دونوں فیچرز صرف انہی دو ماڈلز کے لیے درج کرتی ہیں۔

ماڈل پروفائل کب سیٹ کریں

Pydantic AI ماڈل کے نام سے درخواست کی پروفائل چنتا ہے۔ اگر کوئی فیچر نظرانداز ہو یا مسترد ہو تو اس کی دستاویزات اپنی OpenAIModelProfile دینے کو کہتی ہیں۔ BroadNet کے لیے دو سیٹنگز جاننے کے قابل ہیں:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

آؤٹ پٹ کی حد ماڈل سیٹنگز کے ذریعے دیں، مثلاً agent.run_sync(prompt, model_settings={'max_tokens': 2000})۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پر ریزننگ اس میں گنی جاتی ہے۔

کون سا ماڈل چنیں

ایجنٹ ماڈل
ٹولز، اسٹرکچرڈ آؤٹ پٹ broadnet/glm-5.3
ٹولز کے ساتھ امیجز یا عربی متن broadnet/qwen3.8-27b
لمبی دستاویزات، مقررہ قیمت والا پلان broadnet/deepseek-v4.1-flash
مفت ابتدائی کریڈٹ broadnet/gemma-4-26b-a4b (32,768 ٹوکن کا کانٹیکسٹ)

ہر ماڈل کی قیمتیں۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
  • 404 یا ماڈل نہیں ملا۔ base_url کے آخر میں /v1 ہونا چاہیے۔ ماڈل ID جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کو کور کرتا ہے۔
  • خالی آؤٹ پٹ یا ویلیڈیشن ری ٹرائی کا لوپ۔ ریزننگ نے آؤٹ پٹ بجٹ خرچ کر دیا۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • ٹول ڈیفینیشنز پر 400۔ پروفائل میں openai_supports_strict_tool_definition=False سیٹ کریں، اور ایسا ماڈل استعمال کریں جسے BroadNet ٹولز کے ساتھ درج کرتا ہے۔
  • ایجنٹس بیک وقت چلانے پر 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

BroadNet کے لیے OpenAIProvider استعمال کروں یا OpenAICompatibleProvider؟

OpenAICompatibleProvider۔ Pydantic AI کی دستاویزات کہتی ہیں کہ OpenAIProvider بھی base_url لیتا ہے، لیکن وہ خود OpenAI یا اس تک جانے والی transparent proxy کے لیے ہے، اور OpenAI کے ماڈلز اور فیچرز فرض کر کے چلتا ہے۔

ڈیفالٹ OpenAI ماڈل کی جگہ OpenAIChatModel کیوں؟

Pydantic AI کا ڈیفالٹ OpenAI ماڈل Responses API استعمال کرتا ہے۔ BroadNet، /v1/chat/completions پر چیٹ کمپلیشنز فراہم کرتا ہے، اور OpenAIChatModel یہی کال کرتا ہے۔

کیا ٹولز اور اسٹرکچرڈ آؤٹ پٹ کام کرتے ہیں؟

ہاں، ان ماڈلز پر جنہیں BroadNet ٹولز اور اسٹرکچرڈ آؤٹ پٹ کے ساتھ درج کرتا ہے: GLM 5.3 اور Qwen3.8 27B۔ BroadNet کی دستاویزات DeepSeek V4.1 Flash کے لیے ٹولز درج نہیں کرتیں، اس لیے ٹولز والے ایجنٹس پہلے اس پر ٹیسٹ کریں۔

Pydantic AI کو max_completion_tokens بھیجنے سے کیسے روکوں؟

OpenAIChatModel کو profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) دیں۔ تب Pydantic AI پرانا max_tokens فیلڈ بھیجتا ہے، جو BroadNet کا API ریفرنس بیان کرتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں