Instructor ialah pustaka Python yang menukar balasan LLM kepada objek Pydantic yang telah disahkan, dan boleh mencuba semula apabila pengesahan gagal. Ia menampal klien OpenAI, dan dokumentasinya meliputi pelayan serasi OpenAI melalui base_url. BroadNet Inference menyediakan chat completions di https://inference.broadnet.ai/v1, dan menyenaraikan tools serta output berstruktur untuk GLM 5.3 dan Qwen3.8 27B. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi Instructor setakat versi 1.17.0.
Pasang
pip install instructor
export BROADNET_API_KEY='your-broadnet-key'
Ekstrak objek
import os
import instructor
from openai import OpenAI
from pydantic import BaseModel
class Invoice(BaseModel):
vendor: str
total: float
currency: str
client = instructor.from_openai(
OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
mode=instructor.Mode.TOOLS,
)
invoice = client.chat.completions.create(
model="broadnet/glm-5.3",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)
Instructor menukar Invoice kepada skema alatan, memaksa model memanggilnya dengan tool_choice, dan mengesahkan argumennya. Hantar max_retries untuk mengawal berapa kali ia bertanya semula, bersama ralat pengesahan, apabila objek tidak lulus pengesahan.
Atau guna from_provider
pclient = instructor.from_provider(
"openai/broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])
Bahagian openai/ memilih klien. Selebihnya, broadnet/glm-5.3, dihantar sebagai ID model.
Mod mana
| Mod | Apa yang dihantar | Guna dengan BroadNet |
|---|---|---|
Mode.TOOLS (lalai) |
Panggilan alatan paksa dengan skema anda | Ya, pada GLM 5.3 atau Qwen3.8 27B |
Mode.JSON_SCHEMA |
response_format jenis json_schema |
Ya, pada GLM 5.3 atau Qwen3.8 27B |
Mode.MD_JSON |
Permintaan biasa; JSON dihurai daripada teks | Sandaran untuk model lain; uji dahulu |
Mode.RESPONSES_TOOLS |
Responses API | Tidak: BroadNet menyediakan chat completions |
Imej
Qwen3.8 27B menerima imej serta alatan, jadi ia boleh membaca foto atau imbasan terus ke dalam model anda:
import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Extract the invoice fields."},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
]}],
)
Pada kunci bayar ikut guna, imej dikira sebagai token input. Lihat membaca invois bahasa Arab dengan vision.
Cara kami mengujinya
Pada 2026-11-15 kami memasang instructor 1.17.0 bersama openai 3.3.0 dalam persekitaran maya yang bersih dan menjalankan contoh di atas terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Kami membaca permintaan yang dilog. Mode.TOOLS menghantar skema sebagai alatan dengan tool_choice paksa, Mode.JSON_SCHEMA menghantar format respons json_schema, dan kedua-duanya memulangkan Invoice yang sah. from_provider menghantar ID model tanpa diubah. Pelayan olok-olok kami tidak menulis JSON teks bebas, jadi kami tidak menguji Mode.MD_JSON, dan kami tidak menghantar contoh imej. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.
Penyelesaian masalah
- Cubaan semula pengesahan yang tidak pernah berjaya. Penaakulan dikira dalam
max_tokenspada GLM 5.3 dan Qwen3.8 27B. Had yang rendah boleh memotong argumen alatan. Naikkannya. Mengapa jawapan kosong. - 400 pada permintaan. Pastikan anda menggunakan GLM 5.3 atau Qwen3.8 27B. Jika
tool_choicepaksa ditolak, cubaMode.JSON_SCHEMA. - 401. Kunci salah, tamat tempoh atau kehabisan elaun.
- 404.
base_urlmesti berakhir dengan/v1. GLM 5.3 dan Qwen3.8 27B memerlukan tambah nilai; kredit $5 tidak meliputinya. - 429 semasa pengekstrakan kelompok. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Setiap cubaan semula pengesahan ialah satu permintaan lagi. Lihat ralat dan cuba semula.
