Sampling-Parameter wie Temperature, Top-P und Top-K steuern, wie ein Sprachmodell aus den möglichen nächsten Wörtern eines auswählt. Sie bestimmen, ob Antworten konstant und vorhersehbar oder abwechslungsreich und überraschend ausfallen. Die Penalties dämpfen zusätzlich Wiederholungen.
Stell dir gezinkte Würfel vor. Das Modell würfelt bei jedem Wort, und die Parameter verändern die Würfel. Mit einer niedrigen Temperature fällt fast immer die gleiche Seite. Mit einer hohen liegen alle Seiten nahe beieinander. Nimm den Satzanfang „Der Himmel ist“. Mit niedriger Temperature folgt fast sicher „blau“, mit hoher manchmal auch „rot“.
Das Ganze betrifft dich nur, wenn du ein Modell über eine API oder einen Playground bedienst. In ChatGPT und Claude.ai gibt es diese Regler nicht, dazu mehr im vorletzten Abschnitt. Und bei einigen aktuellen Modellen sind sie sogar gesperrt.
1. So wählt ein Modell das nächste Wort
Ein Sprachmodell berechnet für jedes mögliche nächste Token eine Wahrscheinlichkeit. Danach wird aus diesen Kandidaten gezogen, und genau an dieser Stelle greifen die Parameter ein. In vielen Implementierungen läuft das in dieser Reihenfolge ab, die Einzelheiten unterscheiden sich je nach Software.
- Die Penalties verändern die Werte von Tokens, die schon im Text vorkamen.
- Die Temperature macht die Verteilung flacher oder spitzer.
- Top-K, Top-P oder Min-P streichen unwahrscheinliche Kandidaten.
- Aus den übrigen Kandidaten wird zufällig gezogen, gewichtet nach ihrer Wahrscheinlichkeit.
Das Rechenbeispiel nutzt vier Kandidaten für das Wort nach „Der Himmel ist“. Die Ausgangswerte sind erfunden und dienen nur der Illustration, die Rechnung dahinter ist echt. Zuerst die Temperature.
2. Temperature
Die Temperature teilt die Rohwerte der Kandidaten, bevor daraus Wahrscheinlichkeiten werden. Ein Wert unter 1 macht die Verteilung spitzer, ein Wert über 1 macht sie flacher. Das siehst du oben an den drei Balkengruppen.
Als Startwerte, nicht als feste Regel, eignen sich diese Bereiche. Die ideale Einstellung hängt vom Modell ab.
- Temperature
- 0 bis 0,3
- Hinweis
- Konstante Antworten sind wichtiger als Abwechslung.
- Temperature
- etwa 0,7
- Hinweis
- Guter Mittelweg aus Natürlichkeit und Verlässlichkeit.
- Temperature
- 0,9 bis 1,2
- Hinweis
- Mehr Abwechslung, dafür häufiger Ausreißer. Werte über 1,5 sind selten sinnvoll.
gradually.aiDie folgende Tabelle zeigt beispielhaft, wie sich ein Satz bei verschiedenen Werten verändert. Die Texte sind zur Illustration geschrieben und stammen nicht aus einem echten Lauf.
Ziehe den Regler, um den Effekt zu sehen
"Die Sonne taucht wie ein brennender Phoenix in das Meer aus Wolken, während der Himmel in ekstatischen Farben explodiert."
Sehr kreativ, intensiv
3. Top-P, Top-K und Min-P
Diese drei Regler streichen unwahrscheinliche Kandidaten, bevor gezogen wird. Danach werden die übrigen Wahrscheinlichkeiten wieder auf 100 % hochgerechnet.
- Top-K behält die K wahrscheinlichsten Wörter. Die Zahl ist fest, egal wie sicher sich das Modell ist.
- Top-P (Nucleus Sampling, Holtzman et al., 2019) behält die kleinste Gruppe von Wörtern, deren Wahrscheinlichkeiten zusammen mindestens P ergeben. Bei P = 0,9 bleiben so viele Wörter übrig, bis sie 90 % abdecken. Ist sich das Modell sicher, sind es wenige. Ist es unsicher, sind es mehr.
- Min-P (Nguyen et al., 2024) behält alle Wörter, deren Wahrscheinlichkeit mindestens einen festen Anteil der Wahrscheinlichkeit des Spitzenkandidaten erreicht. Die Schwelle wandert also mit der Sicherheit des Modells mit. Min-P findest du vor allem bei lokal laufenden Modellen.
Hier siehst du die drei Filter am selben Beispiel bei Temperature 1. Durchgestrichene Wörter fallen weg, die übrigen Werte sind neu berechnet.
Üblich ist, nur einen der Regler zu verändern, entweder die Temperature oder Top-P. Wenn du beide verstellst, kannst du nicht mehr sagen, welcher Regler eine Änderung ausgelöst hat. Die Anschauungstabellen unten zeigen den Effekt von Top-P und Top-K. Auch sie sind illustrierte Beispiele.
Ziehe den Regler, um den Effekt zu sehen
"Der Himmel ist blau aufgrund eines physikalischen Phänomens namens Rayleigh-Streuung, bei dem kürzere Wellenlängen des Lichts stärker gestreut werden."
Ausgewogen, informativ
Ziehe den Regler, um den Effekt zu sehen
"Papaya, Granatapfel, Litschi."
Ungewöhnlichere Auswahl
4. Frequency Penalty, Presence Penalty und repeat_penalty
Die Penalties senken die Werte von Tokens, die schon im Text vorkamen, meist noch bevor die Temperature angewendet wird.
- Frequency Penalty bestraft ein Token umso stärker, je häufiger es schon vorkam. Hohe Werte nahe 2 führen zu weniger Wiederholungen, können aber gestelzt klingen.
- Presence Penalty bestraft ein Token schon dafür, dass es überhaupt vorkam, unabhängig von der Häufigkeit. Das Modell greift dann eher neue Themen auf.
- repeat_penalty ist das Gegenstück bei lokal laufenden Modellen, zum Beispiel in llama.cpp. Dort bedeutet 1,0 keine Strafe, und Werte darüber dämpfen Wiederholungen.
Auch hier gilt, dass du nur einen der beiden Penalty-Regler verändern solltest. Die Tabellen zeigen die Wirkung an Beispieltexten.
Ziehe den Regler, um den Effekt zu sehen
"Treue Vierbeiner bereichern das menschliche Dasein. Pelzige Gefährten erfreuen sich an Bewegung und schenken bedingungslose Zuneigung."
Aktiv verschiedene Wörter
Ziehe den Regler, um den Effekt zu sehen
"Mobilität prägt unsere moderne Gesellschaft. Dabei spielen auch Nachhaltigkeit und ökologischer Fußabdruck eine wichtige Rolle."
Verwandte Themen
5. Warum Temperature 0 nicht immer dasselbe liefert
Bei Temperature 0 wählt das Modell eigentlich immer das wahrscheinlichste Wort. Trotzdem kann dieselbe Anfrage zweimal verschiedene Antworten liefern. Horace He und das Team von Thinking Machines haben 2025 gezeigt, woran das liegt. Die Rechenkerne auf der GPU sind nicht batch-invariant, ihre Rechenreihenfolge ändert sich mit der Zahl der gleichzeitigen Anfragen auf dem Server. Winzige Rundungsunterschiede reichen, damit bei zwei fast gleich wahrscheinlichen Wörtern ein anderes gewinnt.
Für dich heißt das, dass Temperature 0 die Streuung stark senkt, aber keine Wiederholbarkeit garantiert. Manche APIs bieten zusätzlich einen Seed-Parameter an. Er verbessert die Wiederholbarkeit, garantiert sie aber ebenfalls nicht. Wenn exakt gleiche Ergebnisse wichtig sind, speichere die Antworten, statt sie neu zu erzeugen.
6. Gesperrte Regler bei aktuellen Modellen
Bei neuen Modellen kannst du die Regler oft nicht mehr setzen. Anthropic verlangt für Claude Opus 5.5, dass du Temperature, Top-P und Top-K weglässt. Gesteuert wird das Verhalten über den Prompt und den Effort-Parameter. Bei OpenAIs GPT-6-Modellen müssen temperature, top_p und top_logprobs entfernt werden, sobald der Reasoning-Effort nicht auf none steht. Bei GPT-6 Astra und GPT-6.1 Sol gilt das immer, weil sie none nicht unterstützen.
Die Übersicht zeigt den Stand der Dokumentation. Die Unterstützung ändert sich von Modell zu Modell, schau deshalb bei jedem Wechsel in die Dokumentation.
- Gemini API
- Modellabhängig
- Claude API
- Claude Opus 5.5: weglassen. Ältere Modelle: ja
- OpenAI API
- Bei GPT-6 nur ohne Reasoning (Effort none)
- Gemini API
- Modellabhängig
- Claude API
- Claude Opus 5.5: weglassen. Ältere Modelle: ja
- OpenAI API
- Bei GPT-6 nur ohne Reasoning (Effort none)
- Gemini API
- Modellabhängig
- Claude API
- Claude Opus 5.5: weglassen. Ältere Modelle: ja
- OpenAI API
- Nicht vorhanden
- Gemini API
- Modellabhängig
- Claude API
- Nicht vorhanden
- OpenAI API
- In der API-Referenz vorhanden, für GPT-6 nicht gesondert dokumentiert
- Gemini API
- Modellabhängig
- Claude API
- Nicht vorhanden
- OpenAI API
- In der API-Referenz vorhanden, für GPT-6 nicht gesondert dokumentiert
gradually.ai7. Was du in ChatGPT und Claude.ai tun kannst
In den Chat-Oberflächen von ChatGPT und Claude.ai gibt es keine Regler für Temperature oder Top-P. Du steuerst die Wirkung über die Anweisung.
- Für konstante Antworten: Bitte um knappe, sachliche Antworten ohne Ausschmückung und gib ein festes Format vor.
- Für Abwechslung: Bitte um fünf unterschiedliche Varianten, die sich im Ton klar unterscheiden, und wähle die beste aus.
- Für Tiefe: Bei Reasoning-Modellen steuerst du den Aufwand über die Einstellung zum Nachdenken, nicht über die Temperature.
Mehr dazu, wie du Anweisungen formulierst, findest du im Eintrag zum Prompt und zum System-Prompt.
8. Was heißt das für dich?
- Ändere immer nur einen Regler. Sonst weißt du nicht, was die Änderung bewirkt hat.
- Starte mit der Temperature. Top-P, Top-K und die Penalties sind Feinjustierung.
- Lies die Doku des Modells. Bei neuen Modellen ist der Regler möglicherweise gesperrt, und ein Aufruf mit gesperrtem Parameter kann einen Fehler liefern.
- Erwarte bei Temperature 0 keine Garantie. Speichere Ergebnisse, die sich nicht ändern dürfen.
- Steuere über den Prompt, wenn Regler fehlen. Das gilt für Chat-Oberflächen und für Modelle mit gesperrten Parametern.