BroadRouter

Warum ein Reasoning-Modell eine leere Antwort liefert

Aktualisiert

Das Modell hat das gesamte max_tokens-Budget für Reasoning verbraucht, bevor die sichtbare Antwort begann. Bei BroadNet Inference denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B zuerst nach, und Reasoning zählt zu max_tokens. Erlauben Sie 1.000 Tokens oder mehr oder setzen Sie reasoning_effort auf low.

Sie senden einen kurzen Prompt mit max_tokens: 100, die Anfrage ist erfolgreich, und choices[0].message.content ist leer. Kaputt ist nichts: Die Antwort hat nur nie begonnen.

Was passiert

Reasoning-Modelle schreiben vor der sichtbaren Antwort eine verborgene Gedankenkette. Beide teilen sich ein gemeinsames max_tokens-Budget. Bei einem kleinen Limit verbraucht das Reasoning alles, und im Standardformat für Chat Completions ist finish_reason dann length.

Drei Lösungen

1. Platz lassen. Setzen Sie max_tokens auf 1.000 oder mehr, wie es die BroadNet-Dokumentation empfiehlt. Der max_tokens-Rechner für Reasoning-Modelle bemisst das Limit für Ihre Antwortlänge und zeigt die Kosten.

2. Weniger nachdenken. Setzen Sie reasoning_effort für einfache Aufgaben auf low:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Die Usage im Blick behalten. Wenn das Modell den Wert meldet, zeigt usage.completion_tokens_details.reasoning_tokens, wie viel ins Reasoning geflossen ist:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Ergänzen Sie im Stream stream_options={"include_usage": True}; dieselbe Usage kommt dann im letzten Chunk an. Siehe Streaming von Chat Completions.

Welche Modelle Reasoning nutzen

Modell Denkt zuerst nach
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Ja
GLM 5.3 (broadnet/glm-5.3) Ja
Qwen3.8 27B (broadnet/qwen3.8-27b) Ja
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Nicht aufgeführt

Fehlerbehebung

  • Leerer content, finish_reason ist length. Erhöhen Sie max_tokens oder setzen Sie reasoning_effort auf low.
  • Leerer content, finish_reason ist stop. Das Limit war nicht die Ursache. Prüfen Sie Ihren Prompt und geben Sie die vollständige Antwort aus, um zu sehen, was zurückkam.
  • AttributeError bei completion_tokens_details. Das Modell hat die Aufschlüsselung für diese Anfrage nicht gemeldet; fangen Sie None ab wie im Beispiel oben.
  • Langsames erstes Token im Stream. Das Modell denkt nach, bevor es die Antwort schreibt. Ein niedrigeres reasoning_effort kann die Wartezeit verkürzen.

Wenn Sie den ganzen Tag Agenten laufen lassen, summieren sich Reasoning-Tokens bei Pay-as-you-go. Der BroadNet-Preisrechner zeigt, ab wann ein unbegrenzter Plan zum Festpreis günstiger ist.

Häufige Fragen

Kostet Reasoning Geld?

Bei Pay-as-you-go wird Reasoning innerhalb der Completion-Tokens ausgewiesen, die zum Output-Preis abgerechnet werden. Mit einem unbegrenzten Plan für DeepSeek V4.1 Flash gibt es keinen Token-Zähler, daher kosten sie nichts extra.

Nutzt BroadNet Gemma 4 VL 26B Reasoning?

Die BroadNet-Dokumentation nennt Reasoning für DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B, nicht für Gemma 4 VL 26B.

Warum ist der Message-Content leer, wenn finish_reason length ist?

Das Token-Budget war aufgebraucht, bevor die sichtbare Antwort begann. Ein Reasoning-Modell schreibt zuerst sein Reasoning, und diese Tokens zählen zu max_tokens. Erhöhen Sie max_tokens auf 1.000 oder mehr oder senken Sie reasoning_effort.

Was bewirkt reasoning_effort low?

Es fordert das Modell auf, vor der Antwort weniger nachzudenken. Die BroadNet-Dokumentation empfiehlt es als Alternative zu einem höheren max_tokens, wenn ein knappes Limit die Antwort leer lässt. Nutzen Sie es für einfache Aufgaben wie Klassifikation oder Extraktion.

Wie sehe ich, wie viele Tokens ins Reasoning geflossen sind?

Lesen Sie usage.completion_tokens_details.reasoning_tokens in der Antwort, sofern das Modell den Wert meldet. Senden Sie im Stream stream_options mit include_usage true und lesen Sie den Wert aus dem letzten Chunk.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen