A volte sai esattamente dove deve finire una risposta. Una sequenza di stop dice al server di interrompere la generazione proprio lì, invece di farti pagare token che butterai via.
Come funziona
Passi una o più stringhe. Dopo ogni nuovo token, il server controlla se l’output ne contiene una. Se sì, la generazione si ferma.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Dettagli dei provider secondo le fonti:
| Provider | Campo | Note |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences” (fino a 4 sequenze); il riferimento dice ancora “Not supported with latest reasoning models o3 and o4-mini” (non supportato con i modelli di ragionamento più recenti o3 e o4-mini; formulazione al 2026-11-16) |
| Anthropic Messages | stop_sequences |
La risposta ha stop_reason: "stop_sequence" e indica la corrispondenza in stop_sequence |
| vLLM (server per modelli open) | stop |
“String(s) that stop the generation when they are generated” (stringhe che fermano la generazione quando vengono generate); l’output le esclude |
Nel formato OpenAI, una sequenza di stop trovata restituisce finish_reason stop, lo stesso valore di una fine naturale. Anthropic distingue i due casi.
Perché è importante
- Costo e latenza. I token di output si pagano e sono lenti da generare. Fermarsi a un marcatore noto fa risparmiare su entrambi.
- Controllo del formato. I prompt few-shot usano spesso un delimitatore come
###tra un esempio e l’altro. Uno stop su quel delimitatore impedisce al modello di scrivere da solo l’esempio successivo. - Limiti. Una sequenza di stop non può modellare ciò che viene prima del taglio. Per un output leggibile dalle macchine, l’output strutturato è lo strumento più solido. Tieni max_tokens come tetto rigido.
Su BroadNet Inference
Il riferimento API di BroadNet non documenta stop. Provalo prima di farci affidamento: invia un prompt che dovrebbe raggiungere il tuo marcatore e controlla se la risposta finisce lì. Come ripiego, taglia il testo nel client al primo marcatore; in uno stream puoi anche chiudere il reader appena compare il marcatore. I modelli di ragionamento su BroadNet (DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B) pensano prima di rispondere, quindi verifica se una stringa di stop può scattare dentro il ragionamento. La guida passo passo alla migrazione elenca altri campi OpenAI da controllare.
Errori comuni
- Scegliere una stringa di stop che può comparire nell’output normale, come un a capo o una parola comune.
- Dare per scontato che la stringa di stop torni nella risposta e cercarla durante il parsing.