Une réponse qui semble complète ne l’est pas forcément. finish_reason est le seul champ qui vous dit si le modèle s’est arrêté de lui-même.
Comment ça marche
Chaque élément de choices porte un finish_reason. La référence d’OpenAI liste ces valeurs :
| Valeur | Signification (OpenAI) |
|---|---|
stop |
Point d’arrêt naturel, ou une séquence d’arrêt fournie a été atteinte |
length |
« The maximum number of tokens specified in the request was reached » (traduction : « le nombre maximal de tokens indiqué dans la requête a été atteint ») |
tool_calls |
Le modèle a appelé un outil |
content_filter |
« Content was omitted due to a flag from our content filters » (traduction : « du contenu a été omis à cause d’un signalement de nos filtres de contenu ») |
function_call |
Ancienne forme, obsolète, d’un appel de fonction |
L’API Messages d’Anthropic utilise stop_reason avec ses propres valeurs, dont end_turn, max_tokens, stop_sequence, tool_use, pause_turn, refusal et model_context_window_exceeded. Quand une séquence d’arrêt se déclenche, Anthropic renvoie aussi laquelle dans stop_sequence.
choice = r.choices[0]
if choice.finish_reason == "length":
raise RuntimeError("cut off: raise max_tokens and resend")
if choice.finish_reason == "tool_calls":
run_tools(choice.message.tool_calls)
Pourquoi c’est important
- JSON tronqué. Une réponse
lengthest incomplète. Fermer les accolades la rend analysable, mais des données sont perdues. L’article sur le JSON invalide traite ce cas. - Boucles d’agents.
tool_callssignifie « exécute les outils et rappelle-moi », pas « terminé ». - Cache. Ne mettez en cache que les réponses terminées par
stop. Une réponse tronquée gardée en cache pendant une semaine ressemble à un bug du modèle.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente pas les valeurs de finish_reason : journalisez ce que vous recevez avant de vous y fier. Elle documente en revanche la cause principale des surprises avec length : DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et les tokens de raisonnement comptent dans max_tokens. BroadNet indique qu’avec une limite basse, « the reasoning can use the whole budget and the answer comes back empty » (traduction : « le raisonnement peut consommer tout le budget et la réponse revient vide »). Laissez 1 000 tokens ou plus, ou réglez reasoning_effort sur low. Le guide sur les réponses vides détaille la correction.
Erreurs fréquentes
- Lire
message.contentsans vérifier finish_reason d’abord. - Prendre une réponse vide pour une défaillance du modèle alors que le raisonnement a consommé tout le budget.