BroadRouter

BroadNet-Modelle mit promptfoo evaluieren

Aktualisiert

Legen Sie in promptfooconfig.yaml einen Provider mit der id openai:chat:broadnet/glm-5.3 an, dessen config apiBaseUrl auf https://inference.broadnet.ai/v1 und apiKeyEnvar auf BROADNET_API_KEY setzt. Mit dem Präfix openai:chat ruft promptfoo immer Chat Completions auf, den Endpoint, den BroadNet bietet. Setzen Sie max_tokens selbst, denn promptfoo begrenzt die Ausgabe standardmäßig auf 1.024 Token.

promptfoo ist ein Open-Source-CLI, mit dem Sie Prompts testen, Modelle vergleichen und LLM-Apps per Red Teaming prüfen. Sein OpenAI-Provider funktioniert über apiBaseUrl mit OpenAI-kompatiblen Gateways. BroadNet Inference bietet Chat Completions unter https://inference.broadnet.ai/v1, Sie können also aus einer einzigen YAML-Datei die Modelle von BroadNet untereinander oder mit Modellen vergleichen, die Sie bereits nutzen. BroadRouter ist die eigene Website von BroadNet; diese Anleitung folgt der Dokumentation des OpenAI-Providers von promptfoo mit Stand von Release 0.125.1.

Einrichten

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Echte Konfigurationen legen Testeingaben meist in tests.vars ab und referenzieren sie im Prompt mit der Template-Syntax von promptfoo in doppelten geschweiften Klammern. Wir haben dieses Beispiel fest verdrahtet, damit es so wie abgedruckt läuft.

Ausführen:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Was jede Einstellung bewirkt

  • openai:chat: plus die BroadNet-ID. Alles nach openai:chat: ist die gesendete Modell-ID, behalten Sie also das Präfix broadnet/. Der explizite Teil chat legt den Endpoint Chat Completions fest; die Responses API bietet BroadNet nicht.
  • apiBaseUrl ist die Basis-URL mit /v1, aber ohne /chat/completions. promptfoo hängt den Pfad selbst an.
  • apiKeyEnvar nennt die Variable, die Ihren BroadNet-Schlüssel enthält. Fehlt sie, greift promptfoo nicht auf OPENAI_API_KEY zurück.
  • max_tokens. Die Standardwerte von promptfoo für Anfragen ohne Reasoning sind temperature: 0 und ein Limit von 1.024 Token. Die Modelle DeepSeek, GLM und Qwen von BroadNet denken vor der Antwort nach (Reasoning), daher können 1.024 Token zu leeren Antworten führen. Setzen Sie ein höheres Limit, wie beim ersten Provider.
  • omitDefaults: true verwirft die Standard-Temperatur und das Standard-Limit von promptfoo, wie beim zweiten Provider. Die Anfrage enthält dann kein Ausgabelimit von promptfoo.

Von Modellen bewertete Assertions

Provider-Einstellungen gelten nicht für Grader wie llm-rubric. Um mit einem BroadNet-Modell zu bewerten, tragen Sie es für den Grader noch einmal ein:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Welche Modelle Sie vergleichen sollten

Modell Geeignet für
broadnet/glm-5.3 Tests mit Tool Calling und strukturierter Ausgabe
broadnet/qwen3.8-27b Tests mit Bildern, arabischem Text oder Tools
broadnet/deepseek-v4.1-flash Tests mit langem Kontext und kostensensible Tests
broadnet/gemma-4-26b-a4b Kostenlose Tests mit dem Startguthaben von $5

Die Dokumentation von BroadNet listet Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. Preise aller Modelle.

Wie wir das getestet haben

Am 15. November 2026 haben wir promptfoo 0.125.1 mit Node 24 installiert und promptfoo eval mit einer Konfiguration wie oben ausgeführt, gerichtet auf einen lokalen Mock-Server, der das Chat-Completions-Format von BroadNet spricht. Die Tests liefen durch. Die protokollierten Anfragen gingen an /v1/chat/completions, mit unveränderter BroadNet-Modell-ID und einem Bearer-Schlüssel. Der erste Provider sendete max_tokens: 4000 und temperature: 0; der Provider mit omitDefaults: true sendete nur das Modell und die Nachrichten. Ohne gesetztes BROADNET_API_KEY brach promptfoo mit „Missing BROADNET_API_KEY“ ab. Grader haben wir nicht getestet, und da wir keinen BroadNet-Schlüssel hatten, auch keine echte Modellausgabe.

Fehlerbehebung

  • Leere oder abgeschnittene Ausgaben. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • 404. Prüfen Sie, ob apiBaseUrl auf /v1 endet und die Modell-ID nach openai:chat: das Präfix broadnet/ behält. Kostenpflichtige Modelle erfordern eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • 429 bei großen Evals. promptfoo hat unseren Eval mit einer Concurrency von 4 ausgeführt. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende, senken Sie den Wert für große Testsets also mit promptfoo eval -j 1. Siehe Fehler und Retries.

Häufige Fragen

Sollte ich in promptfoo openai:chat oder openai als Provider-Präfix verwenden?

openai:chat. Mit openai:chat:broadnet/glm-5.3 ruft promptfoo /v1/chat/completions auf, und genau das bietet BroadNet. Laut Dokumentation von promptfoo fällt auch ein unbekannter Modellname nach dem bloßen Präfix openai auf Chat Completions zurück, aber das explizite chat-Präfix hängt nicht von dieser Regel ab.

Warum werden BroadNet-Antworten in promptfoo abgeschnitten?

promptfoo setzt für Anfragen ohne Reasoning standardmäßig ein Ausgabelimit von 1.024 Token, und die Modelle DeepSeek, GLM und Qwen von BroadNet verbrauchen einen Teil des Ausgabebudgets für Reasoning. Setzen Sie max_tokens in der Provider-config oder omitDefaults auf true.

Fällt apiKeyEnvar auf OPENAI_API_KEY zurück?

Nein. Laut Dokumentation von promptfoo greift es nicht auf OPENAI_API_KEY zurück, wenn die genannte Variable fehlt. In unserem Test brach es mit „Missing BROADNET_API_KEY“ ab.

Kann ein BroadNet-Modell llm-rubric-Assertions bewerten?

Ja, aber laut Dokumentation von promptfoo gelten Provider-Einstellungen nicht für Grader. Legen Sie den Grader separat unter defaultTest.options.provider mit derselben id und config an.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen