BroadRouter

Chain-of-Thought (CoT)

Aktualisiert

Chain-of-Thought (CoT) ist eine Prompting-Technik, bei der einem Sprachmodell Zwischenschritte des Denkens vorgemacht werden oder es gebeten wird, diese vor der endgültigen Antwort auszuschreiben. Sie verbessert die Genauigkeit bei mehrstufigen Aufgaben wie Rechnen und Logik, und Reasoning-Modelle erzeugen sie inzwischen automatisch.

Auch genannt: CoT, Gedankenkette, Chain-of-Thought-Prompting, Schritt-für-Schritt-Prompting, chain-of-thought, chain-of-thought prompting, step-by-step prompting, CoT prompting

Chain-of-Thought begann als Prompt-Trick und wurde zu einer Modellfunktion.

So funktioniert es

Wei und Kollegen veröffentlichten die Methode 2022. Statt Few-Shot-Beispielen, die nur Frage und Antwort zeigen, schrieben sie Beispiele, die die Schritte dazwischen zeigen. Mit acht solchen Beispielen erreichte ein Modell mit 540 Milliarden Parametern State-of-the-Art-Genauigkeit auf GSM8K, einer Sammlung von Mathe-Textaufgaben auf Grundschulniveau, und lag damit vor einem feinabgestimmten GPT-3 mit Verifier. Getestet wurden arithmetisches, alltagslogisches und symbolisches Schließen.

Ein Chain-of-Thought-Beispiel in einem Prompt:

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

Das Ausschreiben der Schritte gibt dem Modell mehr Tokens an Rechenarbeit, bevor es sich auf eine Antwort festlegt, und jeder Schritt bedingt den nächsten. Es ist eine Form von Few-Shot-Prompting, bei der die Beispiele eine Methode vermitteln, nicht nur ein Format.

Wie Reasoning-Modelle es verinnerlichen

Reasoning-Modelle sind darauf trainiert, diesen Schritt-für-Schritt-Text selbst zu erzeugen. Der Leitfaden von OpenAI sagt, sie „use internal reasoning tokens before producing a response“ (Übersetzung: „nutzen interne Reasoning-Tokens, bevor sie eine Antwort erzeugen“), und diese Tokens sind über die API nicht sichtbar, belegen aber trotzdem Kontext und werden als Output abgerechnet. Manche offenen Modelle geben das Reasoning stattdessen in einem eigenen Feld zurück. Wie sie gezählt werden, steht unter Reasoning-Tokens.

Warum es wichtig ist

  • Genauigkeit. Am meisten profitieren mehrstufige Aufgaben wie Mathematik, Planung und Code-Fixes. Einfache Nachschlage-Aufgaben gewinnen wenig.
  • Kosten und Latenz. Jeder Schritt ist ein Output-Token. Eine lange Kette kann mehr kosten als die Antwort.
  • Kein Beweis. Ausgeschriebene Schritte können schlüssig aussehen und trotzdem falsch sein; sie verhindern keine Halluzinationen.

Bei BroadNet Inference

Laut Dokumentation von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B nach, bevor sie antworten, und das Reasoning zählt zu max_tokens. Lassen Sie 1.000 Tokens oder mehr Spielraum oder setzen Sie reasoning_effort auf low; bei einem kleinen Limit kann die Antwort leer zurückkommen. Wenn gemeldet, zeigt usage.completion_tokens_details.reasoning_tokens, wie viele verbraucht wurden. Die Dokumentation führt BroadNet Gemma 4 VL 26B nicht als Reasoning-Modell; klassisches Chain-of-Thought-Prompting ist also der Weg, es um Schritte zu bitten. Der Leitfaden zu leeren Antworten und der Beitrag zu den Kosten von Reasoning-Tokens behandeln die Budgetierung.

Häufige Fragen

Ist Chain-of-Thought dasselbe wie Reasoning-Tokens?

Verwandt, aber nicht dasselbe. Chain-of-Thought ist die Technik, Schritte auszuschreiben. Reasoning-Tokens erzeugt ein Reasoning-Modell, wenn es das intern tut, und sie werden als Output abgerechnet.

Sollte ich bei einem Reasoning-Modell „denke Schritt für Schritt“ schreiben?

Meist ist das unnötig. Reasoning-Modelle denken ohnehin, bevor sie antworten. Der Leitfaden von OpenAI empfiehlt, ihnen ein klares Ziel und Rahmenbedingungen zu geben, statt jeden Schritt vorzuschreiben.

Kostet Chain-of-Thought mehr?

Ja. Die Schritte sind Output-Tokens, meist die teuersten Tokens, und sie erhöhen die Latenz.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen