Parfois, vous savez exactement où une réponse doit s’arrêter. Une séquence d’arrêt demande au serveur d’interrompre la génération à cet endroit, plutôt que de payer des tokens que vous jetterez.
Comment ça marche
Vous passez une ou plusieurs chaînes. Après chaque nouveau token, le serveur vérifie si la sortie contient désormais l’une d’elles. Si c’est le cas, la génération s’arrête.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Le détail par fournisseur, d’après les sources :
| Fournisseur | Champ | Remarques |
|---|---|---|
| OpenAI Chat Completions | stop |
« Up to 4 sequences » (traduction : « jusqu’à 4 séquences ») ; la référence indique toujours « Not supported with latest reasoning models o3 and o4-mini » (traduction : « non pris en charge par les derniers modèles de raisonnement o3 et o4-mini » ; formulation au 2026-11-16) |
| Anthropic Messages | stop_sequences |
La réponse contient stop_reason: "stop_sequence" et nomme la séquence trouvée dans stop_sequence |
| vLLM (serveurs de modèles ouverts) | stop |
« String(s) that stop the generation when they are generated » (traduction : « chaîne(s) qui arrêtent la génération quand elles sont générées ») ; la sortie les exclut |
Au format OpenAI, une séquence d’arrêt trouvée renvoie le finish_reason stop, la même valeur qu’une fin naturelle. Anthropic distingue les deux cas.
Pourquoi c’est important
- Coût et latence. Les tokens de sortie sont facturés et lents à générer. S’arrêter à un marqueur connu économise les deux.
- Contrôle du format. Les prompts few-shot séparent souvent les exemples par un délimiteur comme
###. Une séquence d’arrêt sur ce délimiteur empêche le modèle d’écrire lui-même l’exemple suivant. - Limites. Une séquence d’arrêt ne peut pas façonner ce qui précède la coupe. Pour une sortie lisible par une machine, la sortie structurée est l’outil le plus solide. Gardez max_tokens comme plafond strict.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente pas stop. Testez-le avant de vous y fier : envoyez un prompt qui devrait atteindre votre marqueur et vérifiez si la réponse s’arrête bien là. En solution de repli, coupez le texte côté client au premier marqueur ; en streaming, vous pouvez aussi fermer le lecteur dès que le marqueur apparaît. Les modèles de raisonnement de BroadNet (DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B) réfléchissent avant de répondre : vérifiez donc si une chaîne d’arrêt peut se déclencher à l’intérieur du raisonnement. Le guide de migration pas à pas liste les autres champs OpenAI à vérifier.
Erreurs fréquentes
- Choisir une chaîne d’arrêt qui peut apparaître dans une sortie normale, comme un saut de ligne ou un mot courant.
- Supposer que la chaîne d’arrêt revient dans la réponse et la chercher au parsing.