Chain-of-Thought-Prompting (kurz CoT) bringt ein Sprachmodell dazu, vor der Antwort einen Lösungsweg in Zwischenschritten aufzuschreiben. Die Technik stammt aus einem Paper von Google Research aus dem Jahr 2022 und verbessert vor allem Rechen- und Logikaufgaben.
Die einfachste Analogie ist der Rechenweg in der Mathearbeit. Wer nur das Ergebnis hinschreibt, vertut sich schneller als jemand, der jeden Schritt notiert. Das Modell profitiert vom selben Effekt, weil jeder geschriebene Schritt dem nächsten als Grundlage dient.
Ein Mini-Beispiel für den Satz, der den Unterschied macht:
Ein Schläger und ein Ball kosten zusammen 1,10 €. Der Schläger kostet 1 € mehr als der Ball. Was kostet der Ball? Rechne zuerst Schritt für Schritt und nenne dann das Ergebnis.1. Funktionsweise: Warum der Denkweg hilft
Ein Sprachmodell erzeugt Text Token für Token und hat keinen Notizblock außer dem, was es schon geschrieben hat. Verlangst du die Antwort sofort, muss das Modell das Ergebnis in einem Schritt „erraten“. Verlangst du den Weg, kann es die Aufgabe in kleine Teile zerlegen, und jeder Teil steht anschließend als Text im Kontext, auf den es sich stützen kann. Die Rechenleistung steckt sozusagen in den zusätzlichen Tokens.
Das Paper von Wei und Kollegen zeigte außerdem, dass der Effekt erst bei ausreichend großen Modellen auftritt. Kleine Modelle schreiben zwar auch Denkwege, die aber oft schlüssig aussehen und trotzdem falsch sind.
Beispiel ohne und mit Denkweg
Die beiden Antworten unten sind eine Illustration, kein echter Modelllauf. Sie zeigen, wie sich eine vorschnelle Antwort von einer Rechnung unterscheidet. Moderne Modelle kennen diese bekannte Denksportaufgabe aus dem Training und lösen sie meist auch direkt, das Muster gilt aber für jede neue Aufgabe, die das Modell nicht auswendig kennt.
Ohne Denkweg:
Der Ball kostet 0,10 €.
Mit Denkweg:
Sei x der Preis des Balls. Der Schläger kostet x + 1,00 €.
Zusammen: x + (x + 1,00) = 1,10, also 2x = 0,10 und x = 0,05.
Der Ball kostet 0,05 €.2. Zero-Shot-CoT: „Let's think step by step“
Im ursprünglichen Paper zeigten die Forscher dem Modell Beispiele mit Lösungsweg (Few-Shot-CoT). Takeshi Kojima und Kollegen fanden kurz darauf heraus, dass es auch ohne Beispiele geht. Der Zusatz „Let's think step by step“ am Ende der Frage genügte, um das Modell zum Ausschreiben zu bringen. Bei text-davinci-002 stieg die Genauigkeit auf dem Test MultiArith von 17,7 % auf 78,7 % und auf GSM8K von 10,4 % auf 40,7 %. Daher stammt die bekannte Formel. Wie bei allen Studienwerten gilt sie für das damalige Modell und nicht für heutige.
3. Wie viel bringt Chain of Thought wirklich?
Die Grafik zeigt veröffentlichte Genauigkeiten von PaLM 540B auf sechs Benchmarks aus den Papers von Wei et al. und Wang et al. Der Vorsprung ist bei Rechenaufgaben wie GSM8K groß und bei Alltagswissen klein. Das passt zu einer Meta-Analyse von Sprague und Kollegen aus 2024, die über 100 Studien auswertete und den Nutzen hauptsächlich bei Mathematik und symbolischem Schlussfolgern fand.
CoT Performance im Vergleich
Veröffentlichte Genauigkeit von PaLM 540B auf sechs exakt benannten Benchmark-Testaufbauten
gradually.aiWichtige Erkenntnisse aus der Forschung
GSM8K: 39 Prozentpunkte mehr
Bei Mathe-Textaufgaben stieg die Genauigkeit mit Chain of Thought von 17,9 % auf 56,9 %.
Wei et al. 2022, Tabelle 2Self Consistency: 17,9 Prozentpunkte mehr
Im separaten Self-Consistency-Lauf stieg die GSM8K-Genauigkeit von 56,5 % auf 74,4 %.
Wang et al. 2022, Tabelle 2Last Letter: 63 Prozentpunkte mehr
Bei vier Wörtern außerhalb der Trainingsverteilung stieg die Genauigkeit von 0 % auf 63 %.
Wei et al. 2022, Tabelle 5GSM8K
MathematikGesamter Testsatz
SVAMP
MathematikGesamter Testsatz
StrategyQA
Logisches DenkenOpen-Domain-Aufbau, nur Fragen
CommonsenseQA
AlltagswissenGesamter Testsatz
Last Letter
SymbolischAußerhalb der Verteilung, vier Wörter
Coin Flip
SymbolischAußerhalb der Verteilung, vier Schritte
4. Varianten: von Few-Shot-CoT bis Graph of Thoughts
Seit 2022 sind viele Weiterentwicklungen entstanden. Self-Consistency lässt das Modell mehrere Lösungswege erzeugen und nimmt die häufigste Antwort. Tree of Thoughts und Graph of Thoughts verzweigen die Schritte und bewerten sie. Mehr Aufwand bedeutet dabei fast immer mehr Tokens:
Chain-of-Thought Varianten im Vergleich
Alle wissenschaftlich fundierten CoT-Techniken aus aktuellen Forschungspapers
5. Reasoning-Modelle: eine kurze Faustregel
Reasoning-Modelle denken vor der Antwort von sich aus. Die Aufforderung „Denke Schritt für Schritt“ bringt bei ihnen kaum etwas und kann den Prompt unnötig aufblähen. Beschreibe stattdessen Ziel, Randbedingungen und das gewünschte Ausgabeformat, ohne jeden Zwischenschritt vorzuschreiben. Reicht die Qualität nicht, erhöhe die Effort-Stufe. OpenAI empfiehlt, Effort als Stellschraube zu sehen und nicht als Hauptweg, um Qualität zurückzugewinnen.
Die Faustregel als Entscheidungsbaum:
Die Effort-Einstellungen unterscheiden sich je Anbieter und ändern sich mit neuen Modellen. Die Tabelle zeigt den Stand der Dokumentation. Prüfe die Werte für dein Modell in der aktuellen Anbieterdokumentation. Welche Modelle es gibt und wie sie sich unterscheiden, zeigt das Modellverzeichnis.
- Einstellung
- reasoning.effort
- Stufen
- Je nach Modell eine Auswahl aus none, minimal, low, medium, high, xhigh, max
- Standard
- medium
- Einstellung
- output_config.effort
- Stufen
- low, medium, high, xhigh, max
- Standard
- high
- Einstellung
- output_config.effort
- Stufen
- low, medium, high, xhigh, max
- Standard
- medium
gradually.ai6. Grenzen und wann Chain of Thought schadet
- Kosten und Latenz: Der Denkweg besteht aus Tokens, die du bezahlst und abwartest. Bei einfachen Abfragen wie einer Übersetzung oder einer Klassifikation ist das reine Verschwendung.
- Falsche Sicherheit durch schlüssige Texte: Ein Denkweg liest sich überzeugend, auch wenn er in die falsche Richtung führt. Prüfe das Ergebnis, nicht nur die Argumentation.
- Der Denkweg ist nicht immer die echte Begründung: Turpin und Kollegen zeigten 2023, dass Erklärungen eines Modells den tatsächlichen Grund der Antwort verfehlen können, etwa wenn ein versteckter Hinweis im Prompt die Antwort beeinflusst, den der Text nie erwähnt. Als Beleg für das, was im Modell passiert, taugt ein Denkweg also nicht.
- Kaum Nutzen jenseits von Rechnen und Logik: Bei Wissensfragen und Textaufgaben ist der Gewinn klein.
Vorher-nachher bei einer einfachen Abfrage
Unnötig: Welche Hauptstadt hat Frankreich? Denke Schritt für Schritt und begründe jede Überlegung.
Besser: Welche Hauptstadt hat Frankreich?7. Vorlagen zum Kopieren
Für Standardmodelle bei schweren Aufgaben:
[Aufgabe]
Gehe so vor:
1. Fasse die gegebenen Angaben kurz zusammen.
2. Rechne oder argumentiere in einzelnen Schritten.
3. Prüfe das Ergebnis noch einmal.
4. Nenne am Ende in einer Zeile nur das Ergebnis.Als Few-Shot-Vorlage mit einem vorgerechneten Beispiel:
Frage: Roger hat 5 Tennisbälle und kauft 2 Dosen mit je 3 Bällen. Wie viele Bälle hat er?
Weg: 2 Dosen mal 3 Bälle sind 6 Bälle. 5 + 6 = 11.
Antwort: 11
Frage: [Deine Frage]
Weg:Für Reasoning-Modelle ohne Aufforderung zum Denken:
Ziel: [Was am Ende vorliegen soll]
Randbedingungen: [Regeln, Grenzen, Daten]
Ausgabeformat: [z. B. Tabelle mit drei Spalten]
Prüfe vor der Ausgabe, ob alle Randbedingungen erfüllt sind.8. Was heißt das für dich?
- Nutze bei Standardmodellen und schweren Aufgaben einen Denkweg, bei einfachen Abfragen lass ihn weg.
- Bei Reasoning-Modellen beschreibst du Ziel und Ausgabeformat und stellst bei Bedarf den Effort höher.
- Prüfe das Ergebnis, nicht nur den Weg. Bei wichtigen Entscheidungen hilft es, die Aufgabe mehrmals zu stellen und die Antworten zu vergleichen.
- Weitere Techniken findest du unter Prompting-Techniken, die Grundlagen im Eintrag zum Prompt. Für dauerhafte Vorgaben eignet sich ein System Prompt.
Häufig gestellte Fragen
Chain-of-Thought-Prompting ist eine Technik, bei der ein Sprachmodell vor der Antwort seinen Lösungsweg in Zwischenschritten aufschreibt. Du erreichst das mit einer Aufforderung wie „Rechne Schritt für Schritt“ oder mit einem Beispiel, das den Weg vorführt. Bei Rechen- und Logikaufgaben macht das Fehler deutlich seltener.
Statt „Ein Schläger und ein Ball kosten 1,10 €, der Schläger 1 € mehr als der Ball. Was kostet der Ball?“ schreibst du dazu „Rechne zuerst Schritt für Schritt und nenne dann das Ergebnis.“ Das Modell stellt dann eine Gleichung auf (Ball = x, Schläger = x + 1, also 2x + 1 = 1,10) und kommt auf 5 Cent, statt vorschnell 10 Cent zu antworten.
Die wichtigsten sind Zero-Shot-Prompting (nur die Aufgabe), Few-Shot-Prompting (Aufgabe mit Beispielen), Rollen und Kontext im Prompt und Chain-of-Thought-Prompting, bei dem das Modell den Lösungsweg ausschreibt. Dazu kommen Varianten wie Self-Consistency und Tree of Thoughts. Einen Überblick gibt der Artikel zu Prompting-Techniken.
Zero-Shot gibt dem Modell nur die Aufgabe, Few-Shot zeigt zusätzlich Beispiele für Frage und Antwort. Chain-of-Thought verlangt einen Lösungsweg und lässt sich mit beiden kombinieren, nämlich als Zero-Shot-CoT mit einem Satz wie „Denke Schritt für Schritt“ oder als Few-Shot-CoT mit Beispielen, die den Weg vorrechnen.
Bei Standardmodellen und schweren Aufgaben ja. Bei Reasoning-Modellen, die vor der Antwort ohnehin nachdenken, bringt die Aufforderung kaum noch etwas. Dort steuerst du die Denktiefe über die Effort-Stufe und beschreibst Ziel, Randbedingungen und Ausgabeformat. Das Prinzip bleibt wichtig, nur der Prompt-Satz dafür wird seltener gebraucht.
Ja. Der Denkweg besteht aus Tokens, die du bezahlst und auf die du warten musst. Bei einfachen Fragen ist das verschenkt. Bei schweren Aufgaben lohnt es sich meist, weil weniger Fehler später mehr Aufwand sparen als der Umweg kostet.