Instructor एक Python लाइब्रेरी है, जो LLM के जवाबों को वैलिडेट किए गए Pydantic ऑब्जेक्ट में बदलती है और वैलिडेशन फ़ेल होने पर दोबारा कोशिश कर सकती है। यह OpenAI क्लाइंट को पैच करती है, और इसके डॉक्स base_url के ज़रिए OpenAI-कम्पैटिबल सर्वर को कवर करते हैं। BroadNet Inference https://inference.broadnet.ai/v1 पर chat completions देता है, और टूल और स्ट्रक्चर्ड आउटपुट GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करता है। BroadRouter, BroadNet की अपनी साइट है। यह गाइड वर्ज़न 1.17.0 के समय के Instructor डॉक्स के अनुसार है।
इंस्टॉल करें
pip install instructor
export BROADNET_API_KEY='your-broadnet-key'
एक ऑब्जेक्ट निकालें
import os
import instructor
from openai import OpenAI
from pydantic import BaseModel
class Invoice(BaseModel):
vendor: str
total: float
currency: str
client = instructor.from_openai(
OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
mode=instructor.Mode.TOOLS,
)
invoice = client.chat.completions.create(
model="broadnet/glm-5.3",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)
Instructor, Invoice को एक टूल स्कीमा में बदलता है, tool_choice से मॉडल को उसे कॉल करने पर मजबूर करता है, और आर्गुमेंट वैलिडेट करता है। अगर ऑब्जेक्ट वैलिडेट नहीं होता, तो वह वैलिडेशन एरर के साथ दोबारा पूछता है; कितनी बार, यह max_retries से तय करें।
या from_provider इस्तेमाल करें
pclient = instructor.from_provider(
"openai/broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])
openai/ वाला हिस्सा क्लाइंट चुनता है। बाक़ी, broadnet/glm-5.3, मॉडल ID के रूप में भेजा जाता है।
कौन-सा मोड
| मोड | यह क्या भेजता है | BroadNet के साथ इस्तेमाल |
|---|---|---|
Mode.TOOLS (डिफ़ॉल्ट) |
आपके स्कीमा के साथ एक ज़बरदस्ती वाला टूल कॉल | हाँ, GLM 5.3 या Qwen3.8 27B पर |
Mode.JSON_SCHEMA |
json_schema टाइप का response_format |
हाँ, GLM 5.3 या Qwen3.8 27B पर |
Mode.MD_JSON |
एक सादा अनुरोध; JSON टेक्स्ट से पार्स होता है | दूसरे मॉडल के लिए फ़ॉलबैक; पहले टेस्ट करें |
Mode.RESPONSES_TOOLS |
Responses API | नहीं: BroadNet chat completions देता है |
इमेज
Qwen3.8 27B टूल के साथ इमेज भी लेता है, इसलिए यह किसी फ़ोटो या स्कैन को सीधे आपके मॉडल में पढ़ सकता है:
import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Extract the invoice fields."},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
]}],
)
उपयोग के अनुसार भुगतान वाली key पर इमेज इनपुट टोकन में गिनी जाती है। विज़न से अरबी इनवॉइस पढ़ना देखें।
हमने इसे कैसे टेस्ट किया
2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में instructor 1.17.0 और openai 3.3.0 इंस्टॉल किए और ऊपर के उदाहरण एक लोकल मॉक सर्वर पर चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है। हमने लॉग किए गए अनुरोध पढ़े। Mode.TOOLS ने स्कीमा को ज़बरदस्ती वाले tool_choice के साथ एक टूल के रूप में भेजा, Mode.JSON_SCHEMA ने json_schema वाला response format भेजा, और दोनों ने एक वैध Invoice लौटाया। from_provider ने मॉडल ID बिना बदलाव के भेजा। हमारा मॉक खुले टेक्स्ट में JSON नहीं लिखता, इसलिए हमने Mode.MD_JSON टेस्ट नहीं किया, और इमेज वाला उदाहरण नहीं भेजा। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।
समस्या का समाधान
- वैलिडेशन रीट्राई जो कभी सफल नहीं होते. GLM 5.3 और Qwen3.8 27B पर रीज़निंग
max_tokensमें गिनी जाती है। कम सीमा से टूल आर्गुमेंट बीच में कट सकते हैं। इसे बढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - अनुरोध पर 400. जाँचें कि आप GLM 5.3 या Qwen3.8 27B पर हैं। अगर ज़बरदस्ती वाला
tool_choiceअस्वीकार हो, तोMode.JSON_SCHEMAआज़माएँ। - 401. key ग़लत है, एक्सपायर हो गई है या उसका अलाउंस ख़त्म हो गया है।
- 404.
base_urlके अंत में/v1होना चाहिए। GLM 5.3 और Qwen3.8 27B के लिए टॉप-अप चाहिए; $5 क्रेडिट उन्हें कवर नहीं करता। - बैच एक्सट्रैक्शन में 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। हर वैलिडेशन रीट्राई एक और अनुरोध है। एरर और रीट्राई देखें।
