BroadRouter
Magsimula

Structured output gamit ang Instructor sa BroadNet Inference

Na-update

I-wrap gamit ang instructor.from_openai ang isang OpenAI client na may base_url na https://inference.broadnet.ai/v1 at ang BroadNet key mo, saka tawagin ang chat.completions.create na may response_model na Pydantic class mo at model na broadnet/glm-5.3 o broadnet/qwen3.8-27b. Ito ang dalawang model na may nakalistang tools at structured output sa BroadNet. Mode.TOOLS ang default; gumagana rin ang Mode.JSON_SCHEMA.

Python library ang Instructor na ginagawang validated na Pydantic objects ang mga sagot ng LLM at kayang mag-retry kapag pumalya ang validation. Pina-patch nito ang OpenAI client, at sakop ng docs nito ang mga OpenAI-compatible na server sa pamamagitan ng base_url. Nagse-serve ang BroadNet Inference ng chat completions sa https://inference.broadnet.ai/v1, at nakalista ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang docs ng Instructor simula sa version 1.17.0.

I-install

pip install instructor
export BROADNET_API_KEY='your-broadnet-key'

Kumuha ng object

import os
import instructor
from openai import OpenAI
from pydantic import BaseModel

class Invoice(BaseModel):
    vendor: str
    total: float
    currency: str

client = instructor.from_openai(
    OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    mode=instructor.Mode.TOOLS,
)

invoice = client.chat.completions.create(
    model="broadnet/glm-5.3",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)

Ginagawang tool schema ng Instructor ang Invoice, pinipilit ang model na tawagin ito gamit ang tool_choice, at vina-validate ang mga argument. Ipasa ang max_retries para kontrolin kung ilang beses itong magtatanong ulit, kasama ang validation error, kapag hindi pumasa sa validation ang object.

O gamitin ang from_provider

pclient = instructor.from_provider(
    "openai/broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
                         messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])

Ang bahaging openai/ ang pumipili ng client. Ang natitira, broadnet/glm-5.3, ang ipinapadala bilang model ID.

Aling mode

Mode Ano ang ipinapadala Gamitin sa BroadNet
Mode.TOOLS (default) Isang pinilit na tool call na may schema mo Oo, sa GLM 5.3 o Qwen3.8 27B
Mode.JSON_SCHEMA response_format na json_schema ang type Oo, sa GLM 5.3 o Qwen3.8 27B
Mode.MD_JSON Simpleng request; JSON na pina-parse mula sa text Fallback para sa ibang model; subukan muna
Mode.RESPONSES_TOOLS Ang Responses API Hindi: chat completions ang sine-serve ng BroadNet

Mga larawan

Tumatanggap ang Qwen3.8 27B ng mga larawan bukod sa tools, kaya kaya nitong basahin ang isang litrato o scan diretso papunta sa model mo:

import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Extract the invoice fields."},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
    ]}],
)

Sa isang pay-as-you-go key, binibilang bilang input tokens ang isang larawan. Tingnan ang pagbasa ng mga Arabic na invoice gamit ang vision.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng instructor 1.17.0 kasama ang openai 3.3.0 sa isang malinis na virtual environment at pinatakbo ang mga example sa itaas laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Binasa namin ang mga naka-log na request. Ipinadala ng Mode.TOOLS ang schema bilang tool na may pinilit na tool_choice, nagpadala ang Mode.JSON_SCHEMA ng json_schema na response format, at parehong nagbalik ng valid na Invoice. Ipinadala ng from_provider ang model ID nang walang pagbabago. Hindi sumusulat ng free-text na JSON ang mock namin, kaya hindi namin sinubok ang Mode.MD_JSON, at hindi namin ipinadala ang image example. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.

Troubleshooting

  • Mga validation retry na hindi kailanman nagtatagumpay. Kasama ang reasoning sa max_tokens sa GLM 5.3 at Qwen3.8 27B. Kayang putulin ng mababang limit ang mga tool argument. Taasan ito. Bakit walang laman ang mga sagot.
  • 400 sa request. Tiyaking GLM 5.3 o Qwen3.8 27B ang gamit mo. Kung tinanggihan ang pinilit na tool_choice, subukan ang Mode.JSON_SCHEMA.
  • 401. Mali, expired o ubos na ang allowance ng key.
  • 404. Dapat nagtatapos sa /v1 ang base_url. Kailangan ng top-up para sa GLM 5.3 at Qwen3.8 27B; hindi sakop ng $5 na credit ang mga ito.
  • 429 sa batch extraction. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Isa pang request ang bawat validation retry. Tingnan ang errors and retries.

Mga tanong

Aling Instructor mode ang gagamitin ko sa BroadNet?

Ang Mode.TOOLS, ang default, sa GLM 5.3 o Qwen3.8 27B, na may nakalistang tools at structured output sa BroadNet. Ang Mode.JSON_SCHEMA naman ay nagpapadala ng json_schema na response_format. Parehong nakabuo ng valid na object sa test namin sa mock server.

Puwede ko bang gamitin ang Mode.RESPONSES_TOOLS?

Hindi. Sabi ng docs ng Instructor, huwag itong piliin maliban kung naka-implement sa server ang Responses API. Chat completions lang ang sine-serve ng BroadNet.

Gumagana ba ang Instructor sa DeepSeek V4.1 Flash o Gemma sa BroadNet?

Hindi nakalista ng BroadNet ang tools o structured output para sa mga model na iyon. Humihingi ang Mode.MD_JSON ng JSON sa plain text at pina-parse ito, na posibleng gumana, pero subukan muna sa sarili mong data bago umasa rito.

Paano isusulat ang model string para sa from_provider?

Gamitin ang openai/broadnet/glm-5.3. Inihihiwalay ng Instructor ang unang bahagi bilang provider, at sa test namin, ipinadala nito ang broadnet/glm-5.3 sa server nang walang pagbabago.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity