DSPy ist ein Python-Framework, mit dem Sie Sprachmodelle über Signaturen und Module programmieren und die Prompts dahinter optimieren. Mit einem Modell verbinden Sie es über dspy.LM. Die DSPy-Dokumentation zeigt OpenAI-kompatible Server als openai/-Modell mit api_base. Für BroadNet Inference, das Chat Completions unter https://inference.broadnet.ai/v1 bereitstellt, brauchen Sie zusätzlich model_type="chat". BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der DSPy-Dokumentation für 3.5.
Installation
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Verbinden
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/sagt DSPy, dass es seinen OpenAI-Client nutzen soll. Der Rest des Strings,broadnet/glm-5.3, ist die Modell-ID, die an BroadNet geht.model_type="chat"hält DSPy auf/v1/chat/completions. Laut LM-Referenz von DSPy sorgt der Standardwert'auto'dafür, dass OpenAI-Modelle „use Responses“ (Übersetzung: „Responses verwenden“).max_tokenslässt Platz für Reasoning. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken nach, bevor sie antworten, und das Nachdenken zählt zum Limit.
Was ohne model_type passiert
Das Beispiel auf der Installationsseite von DSPy für einen OpenAI-kompatiblen Server lässt model_type weg. In unserem Test mit DSPy 3.5.0 ging die Anfrage dann mit max_output_tokens an /v1/responses, und der Aufruf scheiterte:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Dieser Fehler kam von unserem Mock-Server. Auch der Live-Endpoint von BroadNet beantwortete /v1/responses bei unserer Prüfung am 16. November 2026 mit einem 404. Mit model_type="chat" war das Problem behoben.
Module und Modelle
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Einsatz in DSPy | Modell |
|---|---|
Predict, ChainOfThought, Optimizer-Läufe |
broadnet/deepseek-v4.1-flash (niedriger Preis pro Token; Pauschalpläne) |
ReAct und andere Module mit Tool Calls |
broadnet/glm-5.3 oder broadnet/qwen3.8-27b |
| DSPy mit dem Startguthaben ausprobieren | broadnet/gemma-4-26b-a4b (Kontext von 32.768 Tokens) |
Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. Sie können ein Modell für das Programm und ein anderes für einen Optimizer nutzen, jeweils mit eigenem dspy.LM. Preise aller Modelle.
So haben wir das getestet
Am 15. November 2026 haben wir dspy 3.5.0 in einer frischen virtuellen Umgebung installiert und dspy.Predict gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht und /v1/responses mit 404 beantwortet. Ohne model_type rief DSPy /v1/responses auf und scheiterte. Mit model_type="chat" rief es /v1/chat/completions mit der Modell-ID broadnet/glm-5.3 und einem Bearer-Schlüssel auf und las das Antwortfeld aus. Dabei haben wir gesehen, dass DSPy das Output-Limit als max_completion_tokens sendet. Die API-Referenz von BroadNet beschreibt max_tokens und erwähnt max_completion_tokens nicht; ob BroadNet ein so gesendetes Limit anwendet, können wir daher nicht bestätigen. Wir haben gegen einen Mock-Server getestet, nicht mit einem BroadNet-Schlüssel, und daher keine echte Modellausgabe geprüft.
Fehlerbehebung
- 404 auf /v1/responses. Ergänzen Sie
model_type="chat". - 404 auf /v1/chat/completions.
api_basemuss auf/v1enden, und der Modell-String mussopenai/plus die vollständige BroadNet-ID sein. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - „Expected to find output fields“. Die Antwort war leer oder abgeschnitten, oft weil das Reasoning das Output-Budget aufgebraucht hat. Erhöhen Sie
max_tokens. Warum Antworten leer zurückkommen. - 429 während der Optimierung. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Senken Sie die Thread-Zahl des Optimizers und lesen Sie Fehlercodes und Retries.
