Instructor ist eine Python-Bibliothek, die LLM-Antworten in validierte Pydantic-Objekte verwandelt und bei fehlgeschlagener Validierung erneut anfragen kann. Sie patcht den OpenAI-Client, und ihre Dokumentation behandelt OpenAI-kompatible Server über base_url. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Chat Completions bereit und gibt Tools und strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B an. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Instructor-Dokumentation zum Stand von Version 1.17.0.
Installation
pip install instructor
export BROADNET_API_KEY='your-broadnet-key'
Ein Objekt extrahieren
import os
import instructor
from openai import OpenAI
from pydantic import BaseModel
class Invoice(BaseModel):
vendor: str
total: float
currency: str
client = instructor.from_openai(
OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
mode=instructor.Mode.TOOLS,
)
invoice = client.chat.completions.create(
model="broadnet/glm-5.3",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)
Instructor macht aus Invoice ein Tool-Schema, zwingt das Modell per tool_choice, es aufzurufen, und validiert die Argumente. Mit max_retries legen Sie fest, wie oft Instructor bei ungültigem Objekt mit der Validierungsmeldung erneut anfragt.
Oder from_provider nutzen
pclient = instructor.from_provider(
"openai/broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])
Der Teil openai/ wählt den Client. Der Rest, broadnet/glm-5.3, wird als Modell-ID gesendet.
Welcher Mode?
| Mode | Was er sendet | Mit BroadNet nutzen |
|---|---|---|
Mode.TOOLS (Standard) |
Einen erzwungenen Tool-Call mit Ihrem Schema | Ja, mit GLM 5.3 oder Qwen3.8 27B |
Mode.JSON_SCHEMA |
response_format vom Typ json_schema |
Ja, mit GLM 5.3 oder Qwen3.8 27B |
Mode.MD_JSON |
Eine einfache Anfrage; JSON wird aus dem Text geparst | Ausweichlösung für andere Modelle; vorher testen |
Mode.RESPONSES_TOOLS |
Die Responses API | Nein: BroadNet stellt Chat Completions bereit |
Bilder
Qwen3.8 27B nimmt neben Tools auch Bilder an und kann ein Foto oder einen Scan also direkt in Ihr Modell einlesen:
import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_model=Invoice,
max_tokens=4000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Extract the invoice fields."},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
]}],
)
Mit einem Pay-as-you-go-Schlüssel zählt ein Bild als Input-Token. Siehe arabische Rechnungen mit Vision-Modellen lesen.
So haben wir das getestet
Am 15. November 2026 haben wir instructor 1.17.0 mit openai 3.3.0 in einer frischen virtuellen Umgebung installiert und die Beispiele oben gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht. Wir haben die protokollierten Anfragen gelesen. Mode.TOOLS sendete das Schema als Tool mit erzwungenem tool_choice, Mode.JSON_SCHEMA sendete ein Response-Format json_schema, und beide lieferten ein gültiges Invoice. from_provider sendete die Modell-ID unverändert. Unser Mock schreibt kein JSON als Freitext, daher haben wir Mode.MD_JSON nicht getestet, und das Bildbeispiel haben wir nicht gesendet. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.
Fehlerbehebung
- Validierungs-Retries, die nie gelingen. Bei GLM 5.3 und Qwen3.8 27B zählt das Reasoning zu
max_tokens. Ein niedriges Limit kann die Tool-Argumente abschneiden. Erhöhen Sie es. Warum Antworten leer zurückkommen. - 400 bei der Anfrage. Prüfen Sie, ob Sie GLM 5.3 oder Qwen3.8 27B nutzen. Wird ein erzwungenes
tool_choiceabgelehnt, versuchen SieMode.JSON_SCHEMA. - 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht.
- 404.
base_urlmuss auf/v1enden. GLM 5.3 und Qwen3.8 27B brauchen eine Aufladung; das Guthaben von $5 deckt sie nicht ab. - 429 bei Batch-Extraktion. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Jeder Validierungs-Retry ist eine weitere Anfrage. Siehe Fehlercodes und Retries.
