BroadRouter
Loslegen

Stoppsequenzen (Stop Sequences)

Aktualisiert

Stop Sequences (Stoppsequenzen) sind Zeichenfolgen, die Sie mit einer Anfrage senden und die das Modell stoppen, sobald es eine davon erzeugt. OpenAI nennt das Feld stop und akzeptiert bis zu 4 Sequenzen; Anthropic nennt es stop_sequences. Der gefundene Text fehlt normalerweise im zurückgegebenen Output.

Auch genannt: Stoppsequenz, Stoppsequenzen, Stop-Sequenz, Stop-Parameter, Stoppwort, stop sequence, stop sequences, stop parameter, stop strings, stop_sequences

Manchmal wissen Sie genau, wo eine Antwort enden soll. Eine Stop Sequence weist den Server an, die Generierung dort abzubrechen, statt Tokens zu bezahlen, die Sie ohnehin wegwerfen.

So funktioniert es

Sie übergeben eine oder mehrere Zeichenfolgen. Nach jedem neuen Token prüft der Server, ob der Output jetzt eine davon enthält. Wenn ja, endet die Generierung.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Details der Anbieter laut den Quellen:

Anbieter Feld Hinweise
OpenAI Chat Completions stop „Up to 4 sequences“ (Übersetzung: „bis zu 4 Sequenzen“); die Referenz sagt weiterhin „Not supported with latest reasoning models o3 and o4-mini“ (Übersetzung: „nicht unterstützt bei den neuesten Reasoning-Modellen o3 und o4-mini“; Wortlaut Stand 2026-11-16)
Anthropic Messages stop_sequences Die Antwort enthält stop_reason: "stop_sequence" und nennt den Treffer in stop_sequence
vLLM (Server für offene Modelle) stop „String(s) that stop the generation when they are generated“ (Übersetzung: „Zeichenfolge(n), die die Generierung stoppen, sobald sie erzeugt werden“); der Output enthält sie nicht

Im OpenAI-Format meldet eine gefundene Stop Sequence den finish_reason stop, also denselben Wert wie ein natürliches Ende. Anthropic trennt die beiden Fälle.

Warum es wichtig ist

  • Kosten und Latenz. Output-Tokens werden abgerechnet und sind langsam zu erzeugen. Wer an einer bekannten Markierung stoppt, spart beides.
  • Kontrolle über das Format. Few-Shot-Prompts trennen Beispiele oft mit einem Trennzeichen wie ###. Eine Stop Sequence auf diesem Trennzeichen verhindert, dass das Modell selbst das nächste Beispiel schreibt.
  • Grenzen. Eine Stop Sequence kann nicht beeinflussen, was vor dem Schnitt steht. Für maschinenlesbaren Output ist strukturierte Ausgabe das stärkere Werkzeug. Behalten Sie max_tokens als harte Obergrenze.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert stop nicht. Testen Sie den Parameter, bevor Sie sich darauf verlassen: Senden Sie einen Prompt, der Ihre Markierung treffen sollte, und prüfen Sie, ob die Antwort dort endet. Als Fallback schneiden Sie den Text im Client an der ersten Markierung ab; bei Streaming können Sie den Reader auch schließen, sobald die Markierung erscheint. Die Reasoning-Modelle bei BroadNet (DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B) denken nach, bevor sie antworten. Testen Sie also, ob eine Stoppsequenz schon innerhalb des Reasonings greifen kann. Die Migrationsanleitung listet weitere OpenAI-Felder auf, die Sie prüfen sollten.

Häufige Fehler

  • Eine Stoppsequenz wählen, die im normalen Output vorkommen kann, etwa einen Zeilenumbruch oder ein häufiges Wort.
  • Davon ausgehen, dass die Stoppsequenz in der Antwort zurückkommt, und danach parsen.

Häufige Fragen

Wie viele Stop Sequences kann ich senden?

Die Referenz von OpenAI erlaubt bis zu 4 Sequenzen in stop. Andere Anbieter legen eigene Grenzen fest; prüfen Sie also deren Referenz.

Steht die Stop Sequence in der Antwort?

Meist nicht. Laut vLLM-Dokumentation schließt der zurückgegebene Output die Stoppsequenz aus. Anthropic meldet in einem eigenen Feld stop_sequence, welche Sequenz gegriffen hat.

Unterstützt BroadNet Inference stop?

Die API-Referenz von BroadNet dokumentiert stop nicht. Testen Sie den Parameter mit Ihrem Modell, bevor Sie sich darauf verlassen, und schneiden Sie zur Sicherheit zusätzlich im Client ab.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen