BroadRouter
Inizia

Sequenze di stop (stop sequences)

Aggiornato

Le sequenze di stop sono stringhe che invii con una richiesta e che fanno smettere il modello di generare appena ne produce una. OpenAI chiama il campo stop e accetta fino a 4 sequenze; Anthropic lo chiama stop_sequences. Di norma il testo trovato non compare nell’output restituito.

Detto anche: sequenze di stop, sequenza di stop, stop sequence, parametro stop, stringhe di stop, stop parameter, stop strings, stop_sequences

A volte sai esattamente dove deve finire una risposta. Una sequenza di stop dice al server di interrompere la generazione proprio lì, invece di farti pagare token che butterai via.

Come funziona

Passi una o più stringhe. Dopo ogni nuovo token, il server controlla se l’output ne contiene una. Se sì, la generazione si ferma.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Dettagli dei provider secondo le fonti:

Provider Campo Note
OpenAI Chat Completions stop “Up to 4 sequences” (fino a 4 sequenze); il riferimento dice ancora “Not supported with latest reasoning models o3 and o4-mini” (non supportato con i modelli di ragionamento più recenti o3 e o4-mini; formulazione al 2026-11-16)
Anthropic Messages stop_sequences La risposta ha stop_reason: "stop_sequence" e indica la corrispondenza in stop_sequence
vLLM (server per modelli open) stop “String(s) that stop the generation when they are generated” (stringhe che fermano la generazione quando vengono generate); l’output le esclude

Nel formato OpenAI, una sequenza di stop trovata restituisce finish_reason stop, lo stesso valore di una fine naturale. Anthropic distingue i due casi.

Perché è importante

  • Costo e latenza. I token di output si pagano e sono lenti da generare. Fermarsi a un marcatore noto fa risparmiare su entrambi.
  • Controllo del formato. I prompt few-shot usano spesso un delimitatore come ### tra un esempio e l’altro. Uno stop su quel delimitatore impedisce al modello di scrivere da solo l’esempio successivo.
  • Limiti. Una sequenza di stop non può modellare ciò che viene prima del taglio. Per un output leggibile dalle macchine, l’output strutturato è lo strumento più solido. Tieni max_tokens come tetto rigido.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta stop. Provalo prima di farci affidamento: invia un prompt che dovrebbe raggiungere il tuo marcatore e controlla se la risposta finisce lì. Come ripiego, taglia il testo nel client al primo marcatore; in uno stream puoi anche chiudere il reader appena compare il marcatore. I modelli di ragionamento su BroadNet (DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B) pensano prima di rispondere, quindi verifica se una stringa di stop può scattare dentro il ragionamento. La guida passo passo alla migrazione elenca altri campi OpenAI da controllare.

Errori comuni

  • Scegliere una stringa di stop che può comparire nell’output normale, come un a capo o una parola comune.
  • Dare per scontato che la stringa di stop torni nella risposta e cercarla durante il parsing.

Domande frequenti

Quante sequenze di stop posso inviare?

Il riferimento di OpenAI ammette fino a 4 sequenze in stop. Gli altri provider fissano i propri limiti, quindi controlla il loro riferimento.

La sequenza di stop compare nella risposta?

Di solito no. La documentazione di vLLM dice che l’output restituito esclude la stringa di stop. Anthropic indica quale sequenza è scattata in un campo separato, stop_sequence.

BroadNet Inference supporta stop?

Il riferimento API di BroadNet non documenta stop. Provalo sul tuo modello prima di farci affidamento e tieni un taglio lato client come riserva.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity