BroadRouter
Loslegen

Strukturierte Ausgabe mit Instructor auf BroadNet Inference

Aktualisiert

Umschließen Sie einen OpenAI-Client mit base_url https://inference.broadnet.ai/v1 und Ihrem BroadNet-Schlüssel mit instructor.from_openai und rufen Sie chat.completions.create mit Ihrer Pydantic-Klasse als response_model und broadnet/glm-5.3 oder broadnet/qwen3.8-27b als model auf. Für diese beiden Modelle gibt BroadNet Tools und strukturierte Ausgabe an. Mode.TOOLS ist der Standard; Mode.JSON_SCHEMA funktioniert ebenfalls.

Instructor ist eine Python-Bibliothek, die LLM-Antworten in validierte Pydantic-Objekte verwandelt und bei fehlgeschlagener Validierung erneut anfragen kann. Sie patcht den OpenAI-Client, und ihre Dokumentation behandelt OpenAI-kompatible Server über base_url. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Chat Completions bereit und gibt Tools und strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B an. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Instructor-Dokumentation zum Stand von Version 1.17.0.

Installation

pip install instructor
export BROADNET_API_KEY='your-broadnet-key'

Ein Objekt extrahieren

import os
import instructor
from openai import OpenAI
from pydantic import BaseModel

class Invoice(BaseModel):
    vendor: str
    total: float
    currency: str

client = instructor.from_openai(
    OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    mode=instructor.Mode.TOOLS,
)

invoice = client.chat.completions.create(
    model="broadnet/glm-5.3",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": "Acme Trading invoice, total 1,250.00 SAR"}],
)
print(invoice)

Instructor macht aus Invoice ein Tool-Schema, zwingt das Modell per tool_choice, es aufzurufen, und validiert die Argumente. Mit max_retries legen Sie fest, wie oft Instructor bei ungültigem Objekt mit der Validierungsmeldung erneut anfragt.

Oder from_provider nutzen

pclient = instructor.from_provider(
    "openai/broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
invoice = pclient.create(response_model=Invoice, max_tokens=4000,
                         messages=[{"role": "user", "content": "Acme Trading, 1,250.00 SAR"}])

Der Teil openai/ wählt den Client. Der Rest, broadnet/glm-5.3, wird als Modell-ID gesendet.

Welcher Mode?

Mode Was er sendet Mit BroadNet nutzen
Mode.TOOLS (Standard) Einen erzwungenen Tool-Call mit Ihrem Schema Ja, mit GLM 5.3 oder Qwen3.8 27B
Mode.JSON_SCHEMA response_format vom Typ json_schema Ja, mit GLM 5.3 oder Qwen3.8 27B
Mode.MD_JSON Eine einfache Anfrage; JSON wird aus dem Text geparst Ausweichlösung für andere Modelle; vorher testen
Mode.RESPONSES_TOOLS Die Responses API Nein: BroadNet stellt Chat Completions bereit

Bilder

Qwen3.8 27B nimmt neben Tools auch Bilder an und kann ein Foto oder einen Scan also direkt in Ihr Modell einlesen:

import base64
img = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
invoice = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_model=Invoice,
    max_tokens=4000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Extract the invoice fields."},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + img}},
    ]}],
)

Mit einem Pay-as-you-go-Schlüssel zählt ein Bild als Input-Token. Siehe arabische Rechnungen mit Vision-Modellen lesen.

So haben wir das getestet

Am 15. November 2026 haben wir instructor 1.17.0 mit openai 3.3.0 in einer frischen virtuellen Umgebung installiert und die Beispiele oben gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht. Wir haben die protokollierten Anfragen gelesen. Mode.TOOLS sendete das Schema als Tool mit erzwungenem tool_choice, Mode.JSON_SCHEMA sendete ein Response-Format json_schema, und beide lieferten ein gültiges Invoice. from_provider sendete die Modell-ID unverändert. Unser Mock schreibt kein JSON als Freitext, daher haben wir Mode.MD_JSON nicht getestet, und das Bildbeispiel haben wir nicht gesendet. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.

Fehlerbehebung

  • Validierungs-Retries, die nie gelingen. Bei GLM 5.3 und Qwen3.8 27B zählt das Reasoning zu max_tokens. Ein niedriges Limit kann die Tool-Argumente abschneiden. Erhöhen Sie es. Warum Antworten leer zurückkommen.
  • 400 bei der Anfrage. Prüfen Sie, ob Sie GLM 5.3 oder Qwen3.8 27B nutzen. Wird ein erzwungenes tool_choice abgelehnt, versuchen Sie Mode.JSON_SCHEMA.
  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht.
  • 404. base_url muss auf /v1 enden. GLM 5.3 und Qwen3.8 27B brauchen eine Aufladung; das Guthaben von $5 deckt sie nicht ab.
  • 429 bei Batch-Extraktion. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Jeder Validierungs-Retry ist eine weitere Anfrage. Siehe Fehlercodes und Retries.

Häufige Fragen

Welchen Instructor-Mode nutze ich mit BroadNet?

Mode.TOOLS, den Standard, mit GLM 5.3 oder Qwen3.8 27B, für die BroadNet Tools und strukturierte Ausgabe angibt. Mode.JSON_SCHEMA sendet stattdessen ein response_format vom Typ json_schema. Beide lieferten in unserem Test mit einem Mock-Server gültige Objekte.

Kann ich Mode.RESPONSES_TOOLS verwenden?

Nein. Laut Instructor-Dokumentation sollten Sie ihn nur wählen, wenn der Server die Responses API implementiert. BroadNet stellt nur Chat Completions bereit.

Funktioniert Instructor mit DeepSeek V4.1 Flash oder Gemma auf BroadNet?

BroadNet gibt für diese Modelle weder Tools noch strukturierte Ausgabe an. Mode.MD_JSON fordert JSON als reinen Text an und parst es; das kann funktionieren, testen Sie es aber mit Ihren eigenen Daten, bevor Sie sich darauf verlassen.

Wie schreibe ich den Modell-String für from_provider?

Nutzen Sie openai/broadnet/glm-5.3. Instructor trennt das erste Segment als Provider ab, und in unserem Test kam broadnet/glm-5.3 unverändert beim Server an.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen