BroadRouter

Perché un modello di ragionamento restituisce una risposta vuota

Aggiornato

Il modello ha speso tutto il budget di max_tokens nel ragionamento prima di iniziare la risposta visibile. Su BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in max_tokens. Imposta almeno 1.000 token, oppure porta reasoning_effort a low.

Invii un prompt breve con max_tokens: 100, la richiesta va a buon fine e choices[0].message.content è vuoto. Non si è rotto niente: la risposta non è mai iniziata.

Che cosa succede

I modelli di ragionamento scrivono una catena di pensiero nascosta prima della risposta visibile. Le due parti condividono un unico budget di max_tokens. Con un limite basso il ragionamento lo consuma tutto e, nel formato standard di chat completions, finish_reason diventa length.

Tre soluzioni

1. Lascia spazio. Imposta max_tokens ad almeno 1.000, come consiglia la documentazione di BroadNet. Il calcolatore di max_tokens per modelli di ragionamento dimensiona il limite in base alla lunghezza della risposta e mostra il costo.

2. Ragiona meno. Per i compiti semplici imposta reasoning_effort a low:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Tieni d’occhio l’usage. Quando il modello lo riporta, usage.completion_tokens_details.reasoning_tokens mostra quanto è andato nel ragionamento:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

I commenti nel codice ricordano che "length" significa budget esaurito e che completion_tokens_details è None se il modello non lo riporta.

In streaming, aggiungi stream_options={"include_usage": True} e lo stesso usage arriva nell’ultimo chunk. Vedi streaming delle chat completions.

Quali modelli ragionano

Modello Ragiona prima di rispondere
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Sì
GLM 5.3 (broadnet/glm-5.3) Sì
Qwen3.8 27B (broadnet/qwen3.8-27b) Sì
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Non indicato

Risoluzione dei problemi

  • content vuoto, finish_reason è length. Alza max_tokens o imposta reasoning_effort a low.
  • content vuoto, finish_reason è stop. Il limite non c’entra. Controlla il prompt e stampa la risposta completa per vedere che cosa è tornato.
  • AttributeError su completion_tokens_details. Il modello non ha riportato il dettaglio per quella richiesta; gestisci il caso None come nell’esempio sopra.
  • Primo token lento in streaming. Il modello sta ragionando prima di scrivere la risposta. Un reasoning_effort più basso può accorciare l’attesa.

Se fai girare agenti tutto il giorno, con il pagamento a consumo i token di ragionamento si accumulano. Il calcolatore dei prezzi di BroadNet mostra quando un piano illimitato a prezzo fisso costa meno.

Domande frequenti

Il ragionamento si paga?

Con il pagamento a consumo, il ragionamento è conteggiato nei completion token, fatturati al prezzo dell’output. Con un piano illimitato per DeepSeek V4.1 Flash non c’è un contatore di token, quindi non costa nulla in più.

BroadNet Gemma 4 VL 26B ragiona?

La documentazione di BroadNet indica il ragionamento per DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B, non per Gemma 4 VL 26B.

Perché il content del messaggio è vuoto quando finish_reason è length?

Il budget di token si è esaurito prima che iniziasse la risposta visibile. Un modello di ragionamento scrive prima il ragionamento, e quei token contano in max_tokens. Alza max_tokens ad almeno 1.000 oppure abbassa reasoning_effort.

Che cosa fa reasoning_effort impostato a low?

Chiede al modello di ragionare meno prima di rispondere. La documentazione di BroadNet lo suggerisce come alternativa a un max_tokens più alto quando un limite basso lascia la risposta vuota. Usalo per compiti semplici come classificazione o estrazione.

Come vedo quanti token sono andati nel ragionamento?

Leggi usage.completion_tokens_details.reasoning_tokens nella risposta, quando il modello lo riporta. In streaming, invia stream_options con include_usage a true e leggilo dall’ultimo chunk.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity