Python library ang Instructor na ginagawang validated na Pydantic objects ang mga sagot ng LLM at kayang mag-retry kapag pumalya ang validation. Pina-patch nito ang OpenAI client, at sakop ng docs nito ang mga OpenAI-compatible na server sa pamamagitan ng base_url. Nagse-serve ang BroadNet Inference ng chat completions sa https://inference.broadnet.ai/v1, at nakalista ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang docs ng Instructor simula sa version 1.17.0.
I-install
pip install instructor
export BROADNET_API_KEY='your-broadnet-key'
Kumuha ng object
import os
import instructor
from openai import OpenAI
from pydantic import BaseModel
class Invoice(BaseModel):
vendor: str
total: float
currency: str
client = instructor.from_openai(
OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
mode=instructor.Mode.TOOLS,
)
invoice = client.chat.completions.create(
model="broadnet/glm-5.3",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)
Ginagawang tool schema ng Instructor ang Invoice, pinipilit ang model na tawagin ito gamit ang tool_choice, at vina-validate ang mga argument. Ipasa ang max_retries para kontrolin kung ilang beses itong magtatanong ulit, kasama ang validation error, kapag hindi pumasa sa validation ang object.
O gamitin ang from_provider
pclient = instructor.from_provider(
"openai/broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])
Ang bahaging openai/ ang pumipili ng client. Ang natitira, broadnet/glm-5.3, ang ipinapadala bilang model ID.
Aling mode
| Mode | Ano ang ipinapadala | Gamitin sa BroadNet |
|---|---|---|
Mode.TOOLS (default) |
Isang pinilit na tool call na may schema mo | Oo, sa GLM 5.3 o Qwen3.8 27B |
Mode.JSON_SCHEMA |
response_format na json_schema ang type |
Oo, sa GLM 5.3 o Qwen3.8 27B |
Mode.MD_JSON |
Simpleng request; JSON na pina-parse mula sa text | Fallback para sa ibang model; subukan muna |
Mode.RESPONSES_TOOLS |
Ang Responses API | Hindi: chat completions ang sine-serve ng BroadNet |
Mga larawan
Tumatanggap ang Qwen3.8 27B ng mga larawan bukod sa tools, kaya kaya nitong basahin ang isang litrato o scan diretso papunta sa model mo:
import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Extract the invoice fields."},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
]}],
)
Sa isang pay-as-you-go key, binibilang bilang input tokens ang isang larawan. Tingnan ang pagbasa ng mga Arabic na invoice gamit ang vision.
Paano namin ito sinubok
Noong 2026-11-15, nag-install kami ng instructor 1.17.0 kasama ang openai 3.3.0 sa isang malinis na virtual environment at pinatakbo ang mga example sa itaas laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Binasa namin ang mga naka-log na request. Ipinadala ng Mode.TOOLS ang schema bilang tool na may pinilit na tool_choice, nagpadala ang Mode.JSON_SCHEMA ng json_schema na response format, at parehong nagbalik ng valid na Invoice. Ipinadala ng from_provider ang model ID nang walang pagbabago. Hindi sumusulat ng free-text na JSON ang mock namin, kaya hindi namin sinubok ang Mode.MD_JSON, at hindi namin ipinadala ang image example. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.
Troubleshooting
- Mga validation retry na hindi kailanman nagtatagumpay. Kasama ang reasoning sa
max_tokenssa GLM 5.3 at Qwen3.8 27B. Kayang putulin ng mababang limit ang mga tool argument. Taasan ito. Bakit walang laman ang mga sagot. - 400 sa request. Tiyaking GLM 5.3 o Qwen3.8 27B ang gamit mo. Kung tinanggihan ang pinilit na
tool_choice, subukan angMode.JSON_SCHEMA. - 401. Mali, expired o ubos na ang allowance ng key.
- 404. Dapat nagtatapos sa
/v1angbase_url. Kailangan ng top-up para sa GLM 5.3 at Qwen3.8 27B; hindi sakop ng $5 na credit ang mga ito. - 429 sa batch extraction. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Isa pang request ang bawat validation retry. Tingnan ang errors and retries.
