BroadRouter
شروع کریں

BroadNet Inference پر Instructor سے اسٹرکچرڈ آؤٹ پٹ حاصل کریں

اپ ڈیٹ

base_url https://inference.broadnet.ai/v1 اور آپ کی BroadNet کلید والے OpenAI کلائنٹ کو instructor.from_openai میں لپیٹیں، پھر chat.completions.create کال کریں جس میں response_model آپ کی Pydantic کلاس ہو اور model ہو broadnet/glm-5.3 یا broadnet/qwen3.8-27b۔ BroadNet ٹولز اور اسٹرکچرڈ آؤٹ پٹ انہی دو ماڈلز کے لیے درج کرتا ہے۔ Mode.TOOLS ڈیفالٹ ہے؛ Mode.JSON_SCHEMA بھی چلتا ہے۔

Instructor ایک Python لائبریری ہے جو LLM کے جوابات کو تصدیق شدہ (validated) Pydantic آبجیکٹس میں بدلتی ہے اور ویلیڈیشن ناکام ہونے پر دوبارہ کوشش کر سکتی ہے۔ یہ OpenAI کلائنٹ کو پیچ کرتی ہے، اور اس کی دستاویزات base_url کے ذریعے OpenAI-compatible سرورز کا احاطہ کرتی ہیں۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر chat completions فراہم کرتا ہے، اور ٹولز اور اسٹرکچرڈ آؤٹ پٹ GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ ورژن 1.17.0 کے وقت کی Instructor دستاویزات کے مطابق ہے۔

انسٹال کریں

pip install instructor
export BROADNET_API_KEY='your-broadnet-key'

ایک آبجیکٹ نکالیں

import os
import instructor
from openai import OpenAI
from pydantic import BaseModel

class Invoice(BaseModel):
    vendor: str
    total: float
    currency: str

client = instructor.from_openai(
    OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    mode=instructor.Mode.TOOLS,
)

invoice = client.chat.completions.create(
    model="broadnet/glm-5.3",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)

Instructor، Invoice کو ایک ٹول اسکیما میں بدلتا ہے، tool_choice سے ماڈل کو اسے کال کرنے پر مجبور کرتا ہے، اور آرگیومنٹس کی ویلیڈیشن کرتا ہے۔ اگر آبجیکٹ ویلیڈیشن میں پورا نہ اترے تو وہ ویلیڈیشن ایرر کے ساتھ دوبارہ پوچھتا ہے؛ کتنی بار، یہ max_retries سے طے کریں۔

یا from_provider استعمال کریں

pclient = instructor.from_provider(
    "openai/broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
                         messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])

openai/ والا حصہ کلائنٹ منتخب کرتا ہے۔ باقی، broadnet/glm-5.3، ماڈل ID کے طور پر بھیجا جاتا ہے۔

کون سا موڈ

موڈ یہ کیا بھیجتا ہے BroadNet کے ساتھ استعمال
Mode.TOOLS (ڈیفالٹ) آپ کے اسکیما کے ساتھ ایک لازمی ٹول کال ہاں، GLM 5.3 یا Qwen3.8 27B پر
Mode.JSON_SCHEMA json_schema ٹائپ کا response_format ہاں، GLM 5.3 یا Qwen3.8 27B پر
Mode.MD_JSON ایک سادہ درخواست؛ JSON متن سے پارس ہوتا ہے دوسرے ماڈلز کے لیے فال بیک؛ پہلے ٹیسٹ کریں
Mode.RESPONSES_TOOLS Responses API نہیں: BroadNet، chat completions فراہم کرتا ہے

تصاویر

Qwen3.8 27B ٹولز کے ساتھ تصاویر بھی لیتا ہے، اس لیے یہ کسی تصویر یا اسکین کو سیدھا آپ کے ماڈل میں پڑھ سکتا ہے:

import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Extract the invoice fields."},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
    ]}],
)

استعمال کے مطابق ادائیگی والی کلید پر تصویر ان پٹ ٹوکنز میں گنی جاتی ہے۔ ویژن سے عربی انوائسز پڑھنا دیکھیں۔

ہم نے اسے کیسے ٹیسٹ کیا

2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں instructor 1.17.0 اور openai 3.3.0 انسٹال کیے اور اوپر کی مثالیں ایک لوکل موک سرور پر چلائیں جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے۔ ہم نے لاگ کی گئی درخواستیں پڑھیں۔ Mode.TOOLS نے اسکیما کو لازمی tool_choice کے ساتھ ایک ٹول کے طور پر بھیجا، Mode.JSON_SCHEMA نے json_schema والا response format بھیجا، اور دونوں نے ایک درست Invoice لوٹایا۔ from_provider نے ماڈل ID بغیر تبدیلی کے بھیجا۔ ہمارا موک آزاد متن میں JSON نہیں لکھتا، اس لیے ہم نے Mode.MD_JSON ٹیسٹ نہیں کیا، اور تصویر والی مثال نہیں بھیجی۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔

مسائل کا حل

  • ویلیڈیشن کی دوبارہ کوششیں جو کبھی کامیاب نہیں ہوتیں۔ GLM 5.3 اور Qwen3.8 27B پر ریزننگ max_tokens میں گنی جاتی ہے۔ کم حد سے ٹول آرگیومنٹس بیچ میں کٹ سکتے ہیں۔ اسے بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • درخواست پر 400۔ جانچیں کہ آپ GLM 5.3 یا Qwen3.8 27B پر ہیں۔ اگر لازمی tool_choice مسترد ہو تو Mode.JSON_SCHEMA آزمائیں۔
  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
  • 404۔ base_url کے آخر میں /v1 ہونا چاہیے۔ GLM 5.3 اور Qwen3.8 27B کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ ان کا احاطہ نہیں کرتا۔
  • بیچ ایکسٹریکشن میں 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ ویلیڈیشن کی ہر دوبارہ کوشش ایک اور درخواست ہے۔ ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

BroadNet کے ساتھ Instructor کا کون سا موڈ استعمال کروں؟

Mode.TOOLS، جو ڈیفالٹ ہے، GLM 5.3 یا Qwen3.8 27B پر، جنہیں BroadNet ٹولز اور اسٹرکچرڈ آؤٹ پٹ کے ساتھ درج کرتا ہے۔ Mode.JSON_SCHEMA اس کی جگہ json_schema والا response_format بھیجتا ہے۔ ہمارے موک سرور ٹیسٹ میں دونوں نے درست آبجیکٹس دیے۔

کیا میں Mode.RESPONSES_TOOLS استعمال کر سکتا ہوں؟

نہیں۔ Instructor کی دستاویزات کہتی ہیں کہ اسے تبھی چنیں جب سرور Responses API نافذ کرتا ہو۔ BroadNet صرف chat completions فراہم کرتا ہے۔

کیا Instructor، BroadNet پر DeepSeek V4.1 Flash یا Gemma کے ساتھ چلتا ہے؟

BroadNet ان ماڈلز کے لیے ٹولز یا اسٹرکچرڈ آؤٹ پٹ درج نہیں کرتا۔ Mode.MD_JSON سادہ متن میں JSON مانگتا ہے اور اسے پارس کرتا ہے، جو چل سکتا ہے، لیکن اس پر بھروسا کرنے سے پہلے اپنے ڈیٹا پر ٹیسٹ کریں۔

from_provider کے لیے ماڈل اسٹرنگ کیسے لکھوں؟

openai/broadnet/glm-5.3 لکھیں۔ Instructor پہلے حصے کو فراہم کنندہ کے طور پر الگ کرتا ہے، اور ہمارے ٹیسٹ میں اس نے broadnet/glm-5.3 سرور کو بغیر تبدیلی کے بھیجا۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں