BroadRouter
Mulakan

Dapatkan output berstruktur dengan Instructor pada BroadNet Inference

Dikemas kini

Balut klien OpenAI yang mempunyai base_url https://inference.broadnet.ai/v1 dan kunci BroadNet anda dengan instructor.from_openai, kemudian panggil chat.completions.create dengan response_model ditetapkan kepada kelas Pydantic anda dan model kepada broadnet/glm-5.3 atau broadnet/qwen3.8-27b. Itulah dua model yang disenaraikan BroadNet dengan tools dan output berstruktur. Mode.TOOLS ialah lalai; Mode.JSON_SCHEMA juga berfungsi.

Instructor ialah pustaka Python yang menukar balasan LLM kepada objek Pydantic yang telah disahkan, dan boleh mencuba semula apabila pengesahan gagal. Ia menampal klien OpenAI, dan dokumentasinya meliputi pelayan serasi OpenAI melalui base_url. BroadNet Inference menyediakan chat completions di https://inference.broadnet.ai/v1, dan menyenaraikan tools serta output berstruktur untuk GLM 5.3 dan Qwen3.8 27B. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi Instructor setakat versi 1.17.0.

Pasang

pip install instructor
export BROADNET_API_KEY='your-broadnet-key'

Ekstrak objek

import os
import instructor
from openai import OpenAI
from pydantic import BaseModel

class Invoice(BaseModel):
    vendor: str
    total: float
    currency: str

client = instructor.from_openai(
    OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    mode=instructor.Mode.TOOLS,
)

invoice = client.chat.completions.create(
    model="broadnet/glm-5.3",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)

Instructor menukar Invoice kepada skema alatan, memaksa model memanggilnya dengan tool_choice, dan mengesahkan argumennya. Hantar max_retries untuk mengawal berapa kali ia bertanya semula, bersama ralat pengesahan, apabila objek tidak lulus pengesahan.

Atau guna from_provider

pclient = instructor.from_provider(
    "openai/broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
                         messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])

Bahagian openai/ memilih klien. Selebihnya, broadnet/glm-5.3, dihantar sebagai ID model.

Mod mana

Mod Apa yang dihantar Guna dengan BroadNet
Mode.TOOLS (lalai) Panggilan alatan paksa dengan skema anda Ya, pada GLM 5.3 atau Qwen3.8 27B
Mode.JSON_SCHEMA response_format jenis json_schema Ya, pada GLM 5.3 atau Qwen3.8 27B
Mode.MD_JSON Permintaan biasa; JSON dihurai daripada teks Sandaran untuk model lain; uji dahulu
Mode.RESPONSES_TOOLS Responses API Tidak: BroadNet menyediakan chat completions

Imej

Qwen3.8 27B menerima imej serta alatan, jadi ia boleh membaca foto atau imbasan terus ke dalam model anda:

import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Extract the invoice fields."},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
    ]}],
)

Pada kunci bayar ikut guna, imej dikira sebagai token input. Lihat membaca invois bahasa Arab dengan vision.

Cara kami mengujinya

Pada 2026-11-15 kami memasang instructor 1.17.0 bersama openai 3.3.0 dalam persekitaran maya yang bersih dan menjalankan contoh di atas terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Kami membaca permintaan yang dilog. Mode.TOOLS menghantar skema sebagai alatan dengan tool_choice paksa, Mode.JSON_SCHEMA menghantar format respons json_schema, dan kedua-duanya memulangkan Invoice yang sah. from_provider menghantar ID model tanpa diubah. Pelayan olok-olok kami tidak menulis JSON teks bebas, jadi kami tidak menguji Mode.MD_JSON, dan kami tidak menghantar contoh imej. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.

Penyelesaian masalah

  • Cubaan semula pengesahan yang tidak pernah berjaya. Penaakulan dikira dalam max_tokens pada GLM 5.3 dan Qwen3.8 27B. Had yang rendah boleh memotong argumen alatan. Naikkannya. Mengapa jawapan kosong.
  • 400 pada permintaan. Pastikan anda menggunakan GLM 5.3 atau Qwen3.8 27B. Jika tool_choice paksa ditolak, cuba Mode.JSON_SCHEMA.
  • 401. Kunci salah, tamat tempoh atau kehabisan elaun.
  • 404. base_url mesti berakhir dengan /v1. GLM 5.3 dan Qwen3.8 27B memerlukan tambah nilai; kredit $5 tidak meliputinya.
  • 429 semasa pengekstrakan kelompok. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Setiap cubaan semula pengesahan ialah satu permintaan lagi. Lihat ralat dan cuba semula.

Soalan lazim

Mod Instructor manakah yang patut saya guna dengan BroadNet?

Mode.TOOLS, iaitu lalai, pada GLM 5.3 atau Qwen3.8 27B, yang disenaraikan BroadNet dengan tools dan output berstruktur. Mode.JSON_SCHEMA pula menghantar response_format json_schema. Kedua-duanya menghasilkan objek yang sah dalam ujian pelayan olok-olok kami.

Bolehkah saya guna Mode.RESPONSES_TOOLS?

Tidak. Dokumentasi Instructor menyatakan supaya tidak memilihnya melainkan pelayan melaksanakan Responses API. BroadNet hanya menyediakan chat completions.

Adakah Instructor berfungsi dengan DeepSeek V4.1 Flash atau Gemma pada BroadNet?

BroadNet tidak menyenaraikan tools atau output berstruktur untuk model tersebut. Mode.MD_JSON meminta JSON dalam teks biasa dan menghuraikannya, yang mungkin berfungsi, tetapi ujilah pada data anda sendiri sebelum bergantung padanya.

Bagaimanakah saya menulis rentetan model untuk from_provider?

Gunakan openai/broadnet/glm-5.3. Instructor memisahkan segmen pertama sebagai penyedia, dan dalam ujian kami ia menghantar broadnet/glm-5.3 ke pelayan tanpa diubah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity