BroadRouter
शुरू करें

BroadNet Inference पर Instructor से स्ट्रक्चर्ड आउटपुट पाएँ

अपडेट किया गया

base_url https://inference.broadnet.ai/v1 और आपकी BroadNet key वाले OpenAI क्लाइंट को instructor.from_openai में लपेटें, फिर chat.completions.create कॉल करें, जिसमें response_model आपकी Pydantic क्लास हो और model हो broadnet/glm-5.3 या broadnet/qwen3.8-27b। BroadNet टूल और स्ट्रक्चर्ड आउटपुट इन्हीं दो मॉडल के लिए सूचीबद्ध करता है। Mode.TOOLS डिफ़ॉल्ट है; Mode.JSON_SCHEMA भी चलता है।

Instructor एक Python लाइब्रेरी है, जो LLM के जवाबों को वैलिडेट किए गए Pydantic ऑब्जेक्ट में बदलती है और वैलिडेशन फ़ेल होने पर दोबारा कोशिश कर सकती है। यह OpenAI क्लाइंट को पैच करती है, और इसके डॉक्स base_url के ज़रिए OpenAI-कम्पैटिबल सर्वर को कवर करते हैं। BroadNet Inference https://inference.broadnet.ai/v1 पर chat completions देता है, और टूल और स्ट्रक्चर्ड आउटपुट GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करता है। BroadRouter, BroadNet की अपनी साइट है। यह गाइड वर्ज़न 1.17.0 के समय के Instructor डॉक्स के अनुसार है।

इंस्टॉल करें

pip install instructor
export BROADNET_API_KEY='your-broadnet-key'

एक ऑब्जेक्ट निकालें

import os
import instructor
from openai import OpenAI
from pydantic import BaseModel

class Invoice(BaseModel):
    vendor: str
    total: float
    currency: str

client = instructor.from_openai(
    OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    mode=instructor.Mode.TOOLS,
)

invoice = client.chat.completions.create(
    model="broadnet/glm-5.3",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)

Instructor, Invoice को एक टूल स्कीमा में बदलता है, tool_choice से मॉडल को उसे कॉल करने पर मजबूर करता है, और आर्गुमेंट वैलिडेट करता है। अगर ऑब्जेक्ट वैलिडेट नहीं होता, तो वह वैलिडेशन एरर के साथ दोबारा पूछता है; कितनी बार, यह max_retries से तय करें।

या from_provider इस्तेमाल करें

pclient = instructor.from_provider(
    "openai/broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
                         messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])

openai/ वाला हिस्सा क्लाइंट चुनता है। बाक़ी, broadnet/glm-5.3, मॉडल ID के रूप में भेजा जाता है।

कौन-सा मोड

मोड यह क्या भेजता है BroadNet के साथ इस्तेमाल
Mode.TOOLS (डिफ़ॉल्ट) आपके स्कीमा के साथ एक ज़बरदस्ती वाला टूल कॉल हाँ, GLM 5.3 या Qwen3.8 27B पर
Mode.JSON_SCHEMA json_schema टाइप का response_format हाँ, GLM 5.3 या Qwen3.8 27B पर
Mode.MD_JSON एक सादा अनुरोध; JSON टेक्स्ट से पार्स होता है दूसरे मॉडल के लिए फ़ॉलबैक; पहले टेस्ट करें
Mode.RESPONSES_TOOLS Responses API नहीं: BroadNet chat completions देता है

इमेज

Qwen3.8 27B टूल के साथ इमेज भी लेता है, इसलिए यह किसी फ़ोटो या स्कैन को सीधे आपके मॉडल में पढ़ सकता है:

import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Extract the invoice fields."},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
    ]}],
)

उपयोग के अनुसार भुगतान वाली key पर इमेज इनपुट टोकन में गिनी जाती है। विज़न से अरबी इनवॉइस पढ़ना देखें।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में instructor 1.17.0 और openai 3.3.0 इंस्टॉल किए और ऊपर के उदाहरण एक लोकल मॉक सर्वर पर चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है। हमने लॉग किए गए अनुरोध पढ़े। Mode.TOOLS ने स्कीमा को ज़बरदस्ती वाले tool_choice के साथ एक टूल के रूप में भेजा, Mode.JSON_SCHEMA ने json_schema वाला response format भेजा, और दोनों ने एक वैध Invoice लौटाया। from_provider ने मॉडल ID बिना बदलाव के भेजा। हमारा मॉक खुले टेक्स्ट में JSON नहीं लिखता, इसलिए हमने Mode.MD_JSON टेस्ट नहीं किया, और इमेज वाला उदाहरण नहीं भेजा। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।

समस्या का समाधान

  • वैलिडेशन रीट्राई जो कभी सफल नहीं होते. GLM 5.3 और Qwen3.8 27B पर रीज़निंग max_tokens में गिनी जाती है। कम सीमा से टूल आर्गुमेंट बीच में कट सकते हैं। इसे बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • अनुरोध पर 400. जाँचें कि आप GLM 5.3 या Qwen3.8 27B पर हैं। अगर ज़बरदस्ती वाला tool_choice अस्वीकार हो, तो Mode.JSON_SCHEMA आज़माएँ।
  • 401. key ग़लत है, एक्सपायर हो गई है या उसका अलाउंस ख़त्म हो गया है।
  • 404. base_url के अंत में /v1 होना चाहिए। GLM 5.3 और Qwen3.8 27B के लिए टॉप-अप चाहिए; $5 क्रेडिट उन्हें कवर नहीं करता।
  • बैच एक्सट्रैक्शन में 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। हर वैलिडेशन रीट्राई एक और अनुरोध है। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

BroadNet के साथ Instructor का कौन-सा मोड इस्तेमाल करूँ?

Mode.TOOLS, जो डिफ़ॉल्ट है, GLM 5.3 या Qwen3.8 27B पर, जिन्हें BroadNet टूल और स्ट्रक्चर्ड आउटपुट के साथ सूचीबद्ध करता है। Mode.JSON_SCHEMA इसकी जगह json_schema वाला response_format भेजता है। हमारे मॉक सर्वर टेस्ट में दोनों ने वैध ऑब्जेक्ट दिए।

क्या मैं Mode.RESPONSES_TOOLS इस्तेमाल कर सकता हूँ?

नहीं। Instructor के डॉक्स कहते हैं कि इसे तभी चुनें जब सर्वर Responses API लागू करता हो। BroadNet सिर्फ़ chat completions देता है।

क्या Instructor, BroadNet पर DeepSeek V4.1 Flash या Gemma के साथ चलता है?

BroadNet उन मॉडल के लिए टूल या स्ट्रक्चर्ड आउटपुट सूचीबद्ध नहीं करता। Mode.MD_JSON सादे टेक्स्ट में JSON माँगता है और उसे पार्स करता है, जो चल सकता है, लेकिन भरोसा करने से पहले इसे अपने डेटा पर टेस्ट करें।

from_provider के लिए मॉडल स्ट्रिंग कैसे लिखूँ?

openai/broadnet/glm-5.3 लिखें। Instructor पहले हिस्से को प्रोवाइडर के रूप में अलग करता है, और हमारे टेस्ट में उसने broadnet/glm-5.3 सर्वर को बिना बदलाव के भेजा।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें