Instructor ایک Python لائبریری ہے جو LLM کے جوابات کو تصدیق شدہ (validated) Pydantic آبجیکٹس میں بدلتی ہے اور ویلیڈیشن ناکام ہونے پر دوبارہ کوشش کر سکتی ہے۔ یہ OpenAI کلائنٹ کو پیچ کرتی ہے، اور اس کی دستاویزات base_url کے ذریعے OpenAI-compatible سرورز کا احاطہ کرتی ہیں۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر chat completions فراہم کرتا ہے، اور ٹولز اور اسٹرکچرڈ آؤٹ پٹ GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ ورژن 1.17.0 کے وقت کی Instructor دستاویزات کے مطابق ہے۔
انسٹال کریں
pip install instructor
export BROADNET_API_KEY='your-broadnet-key'
ایک آبجیکٹ نکالیں
import os
import instructor
from openai import OpenAI
from pydantic import BaseModel
class Invoice(BaseModel):
vendor: str
total: float
currency: str
client = instructor.from_openai(
OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
mode=instructor.Mode.TOOLS,
)
invoice = client.chat.completions.create(
model="broadnet/glm-5.3",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)
Instructor، Invoice کو ایک ٹول اسکیما میں بدلتا ہے، tool_choice سے ماڈل کو اسے کال کرنے پر مجبور کرتا ہے، اور آرگیومنٹس کی ویلیڈیشن کرتا ہے۔ اگر آبجیکٹ ویلیڈیشن میں پورا نہ اترے تو وہ ویلیڈیشن ایرر کے ساتھ دوبارہ پوچھتا ہے؛ کتنی بار، یہ max_retries سے طے کریں۔
یا from_provider استعمال کریں
pclient = instructor.from_provider(
"openai/broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])
openai/ والا حصہ کلائنٹ منتخب کرتا ہے۔ باقی، broadnet/glm-5.3، ماڈل ID کے طور پر بھیجا جاتا ہے۔
کون سا موڈ
| موڈ | یہ کیا بھیجتا ہے | BroadNet کے ساتھ استعمال |
|---|---|---|
Mode.TOOLS (ڈیفالٹ) |
آپ کے اسکیما کے ساتھ ایک لازمی ٹول کال | ہاں، GLM 5.3 یا Qwen3.8 27B پر |
Mode.JSON_SCHEMA |
json_schema ٹائپ کا response_format |
ہاں، GLM 5.3 یا Qwen3.8 27B پر |
Mode.MD_JSON |
ایک سادہ درخواست؛ JSON متن سے پارس ہوتا ہے | دوسرے ماڈلز کے لیے فال بیک؛ پہلے ٹیسٹ کریں |
Mode.RESPONSES_TOOLS |
Responses API | نہیں: BroadNet، chat completions فراہم کرتا ہے |
تصاویر
Qwen3.8 27B ٹولز کے ساتھ تصاویر بھی لیتا ہے، اس لیے یہ کسی تصویر یا اسکین کو سیدھا آپ کے ماڈل میں پڑھ سکتا ہے:
import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Extract the invoice fields."},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
]}],
)
استعمال کے مطابق ادائیگی والی کلید پر تصویر ان پٹ ٹوکنز میں گنی جاتی ہے۔ ویژن سے عربی انوائسز پڑھنا دیکھیں۔
ہم نے اسے کیسے ٹیسٹ کیا
2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں instructor 1.17.0 اور openai 3.3.0 انسٹال کیے اور اوپر کی مثالیں ایک لوکل موک سرور پر چلائیں جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے۔ ہم نے لاگ کی گئی درخواستیں پڑھیں۔ Mode.TOOLS نے اسکیما کو لازمی tool_choice کے ساتھ ایک ٹول کے طور پر بھیجا، Mode.JSON_SCHEMA نے json_schema والا response format بھیجا، اور دونوں نے ایک درست Invoice لوٹایا۔ from_provider نے ماڈل ID بغیر تبدیلی کے بھیجا۔ ہمارا موک آزاد متن میں JSON نہیں لکھتا، اس لیے ہم نے Mode.MD_JSON ٹیسٹ نہیں کیا، اور تصویر والی مثال نہیں بھیجی۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔
مسائل کا حل
- ویلیڈیشن کی دوبارہ کوششیں جو کبھی کامیاب نہیں ہوتیں۔ GLM 5.3 اور Qwen3.8 27B پر ریزننگ
max_tokensمیں گنی جاتی ہے۔ کم حد سے ٹول آرگیومنٹس بیچ میں کٹ سکتے ہیں۔ اسے بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - درخواست پر 400۔ جانچیں کہ آپ GLM 5.3 یا Qwen3.8 27B پر ہیں۔ اگر لازمی
tool_choiceمسترد ہو توMode.JSON_SCHEMAآزمائیں۔ - 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
- 404۔
base_urlکے آخر میں/v1ہونا چاہیے۔ GLM 5.3 اور Qwen3.8 27B کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ ان کا احاطہ نہیں کرتا۔ - بیچ ایکسٹریکشن میں 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ ویلیڈیشن کی ہر دوبارہ کوشش ایک اور درخواست ہے۔ ایررز اور دوبارہ کوشش دیکھیں۔
