Manchmal wissen Sie genau, wo eine Antwort enden soll. Eine Stop Sequence weist den Server an, die Generierung dort abzubrechen, statt Tokens zu bezahlen, die Sie ohnehin wegwerfen.
So funktioniert es
Sie übergeben eine oder mehrere Zeichenfolgen. Nach jedem neuen Token prüft der Server, ob der Output jetzt eine davon enthält. Wenn ja, endet die Generierung.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Details der Anbieter laut den Quellen:
| Anbieter | Feld | Hinweise |
|---|---|---|
| OpenAI Chat Completions | stop |
„Up to 4 sequences“ (Übersetzung: „bis zu 4 Sequenzen“); die Referenz sagt weiterhin „Not supported with latest reasoning models o3 and o4-mini“ (Übersetzung: „nicht unterstützt bei den neuesten Reasoning-Modellen o3 und o4-mini“; Wortlaut Stand 2026-11-16) |
| Anthropic Messages | stop_sequences |
Die Antwort enthält stop_reason: "stop_sequence" und nennt den Treffer in stop_sequence |
| vLLM (Server für offene Modelle) | stop |
„String(s) that stop the generation when they are generated“ (Übersetzung: „Zeichenfolge(n), die die Generierung stoppen, sobald sie erzeugt werden“); der Output enthält sie nicht |
Im OpenAI-Format meldet eine gefundene Stop Sequence den finish_reason stop, also denselben Wert wie ein natürliches Ende. Anthropic trennt die beiden Fälle.
Warum es wichtig ist
- Kosten und Latenz. Output-Tokens werden abgerechnet und sind langsam zu erzeugen. Wer an einer bekannten Markierung stoppt, spart beides.
- Kontrolle über das Format. Few-Shot-Prompts trennen Beispiele oft mit einem Trennzeichen wie
###. Eine Stop Sequence auf diesem Trennzeichen verhindert, dass das Modell selbst das nächste Beispiel schreibt. - Grenzen. Eine Stop Sequence kann nicht beeinflussen, was vor dem Schnitt steht. Für maschinenlesbaren Output ist strukturierte Ausgabe das stärkere Werkzeug. Behalten Sie max_tokens als harte Obergrenze.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert stop nicht. Testen Sie den Parameter, bevor Sie sich darauf verlassen: Senden Sie einen Prompt, der Ihre Markierung treffen sollte, und prüfen Sie, ob die Antwort dort endet. Als Fallback schneiden Sie den Text im Client an der ersten Markierung ab; bei Streaming können Sie den Reader auch schließen, sobald die Markierung erscheint. Die Reasoning-Modelle bei BroadNet (DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B) denken nach, bevor sie antworten. Testen Sie also, ob eine Stoppsequenz schon innerhalb des Reasonings greifen kann. Die Migrationsanleitung listet weitere OpenAI-Felder auf, die Sie prüfen sollten.
Häufige Fehler
- Eine Stoppsequenz wählen, die im normalen Output vorkommen kann, etwa einen Zeilenumbruch oder ein häufiges Wort.
- Davon ausgehen, dass die Stoppsequenz in der Antwort zurückkommt, und danach parsen.