Ein Token ist das Textstück, in das ein Sprachmodell deinen Text zerlegt, bevor es ihn verarbeitet. Kurze, häufige Wörter sind meist ein Token, lange oder seltene Wörter werden in mehrere Teile gespalten. Modelle lesen, rechnen und antworten ausschließlich in Token, und über die API bezahlst du auch pro Token.
Stell dir einen Baukasten mit Legosteinen vor. Für häufige Wörter gibt es fertige Steine, seltene Wörter muss das Modell aus kleineren Teilen zusammensetzen. „Hallo“ ist ein einziger Stein. „Kundenzufriedenheitsumfrage“ braucht 8.
Hier erfährst du, wie die Zerlegung funktioniert, warum deutsche Texte mehr Token brauchen als englische und was das für Kosten und Kontextfenster bedeutet.
1. So zerlegt ein Modell deinen Text
Die folgenden Beispiele sind mit dem Tokenizer o200k_base gezählt, den OpenAI mit GPT-4o eingeführt hat. Jedes farbige Kästchen ist ein Token. Der Punkt am Anfang steht für ein Leerzeichen, das zum Token gehört.
Der deutsche Satz braucht 12 Token, der englische 11, obwohl er fast doppelt so viele Wörter hat. Pro Wort sind das 2 gegen 1,1. Der Grund sind die Komposita. Was im Englischen mehrere kurze Wörter sind, steckt im Deutschen in einem langen Wort, und das zerlegt der Tokenizer in mehrere Teile. Noch deutlicher wird das bei „Kundenzufriedenheitsumfrage“ mit 8 Token gegen 3 für „customer satisfaction survey“.
2. Wie ein Tokenizer funktioniert
Die meisten heutigen Modelle nutzen eine Variante von Byte Pair Encoding (BPE). Das Verfahren wurde 2015 von Rico Sennrich und Kollegen für maschinelle Übersetzung vorgeschlagen und funktioniert so:
- Am Anfang ist jedes Zeichen ein eigenes Token, bei OpenAIs Tokenizern genauer jedes Byte.
- Der Algorithmus sucht in riesigen Textmengen das häufigste Paar benachbarter Token und verschmilzt es zu einem neuen.
- Das wiederholt er, bis der Baukasten die gewünschte Größe hat. Bei o200k_base sind das rund 200.000 Token.
Was in den Trainingstexten oft vorkommt, wird so zu einem eigenen Token. Weil diese Texte überwiegend englisch sind, sind englische Wörter häufiger ganze Token als deutsche. Jedes Token hat eine Nummer, und nur mit diesen Nummern rechnet das Modell. Den Text selbst sieht es nie.
3. Warum Deutsch mehr Token braucht
Derselbe Inhalt kostet je nach Sprache unterschiedlich viele Token. Eine Studie von Aleksandar Petrov und Kollegen hat 2023 gezeigt, dass derselbe übersetzte Text in manchen Sprachen bis zu 15-mal so viele Token braucht wie im Englischen. Englisch ist dabei der günstigste Fall. Deutsch gehört nicht zu den Extremfällen, braucht für denselben Inhalt aber meist mehr Token.
Das hat drei praktische Folgen:
- Höhere Kosten. Bezahlt wird pro Token, nicht pro Wort.
- Weniger Platz. Ins Context Window passt weniger deutscher als englischer Text.
- Mehr Wartezeit. Die Antwort entsteht Token für Token, mehr Token brauchen also länger.
Auch Zahlen verhalten sich anders, als man denkt. Im Satz „Ich habe heute eine Rechnung über 1.249,90 € bekommen.“ belegt der Betrag samt Euro-Zeichen 7 Token, weil Zifferngruppen, Punkt und Komma jeweils eigene Token sind. Das ist ein Grund, warum Sprachmodelle beim Rechnen mit langen Zahlen Fehler machen.
4. Rechenbeispiel: Was ein Auftrag kostet
Angenommen, du schickst einen Prompt mit 1.000 Wörtern, zum Beispiel ein Briefing mit Recherchematerial, und bekommst einen Text mit 1.500 Wörtern zurück. Für längere Texte rechnen wir mit grob 1,7 Token je deutschem Wort, weniger als im Beispielsatz oben, weil nicht jedes Wort ein Kompositum ist. Das sind rund 1.700 Eingabe-Token und 2.550 Ausgabe-Token. So viel kostet das über die API:
- Eingabe je Mio. Token
- 4,00 $
- Ausgabe je Mio. Token
- 20,00 $
- Prompt (1.000 Wörter)
- 0,0068 $
- Antwort (1.500 Wörter)
- 0,051 $
- Zusammen
- 0,0578 $
- Eingabe je Mio. Token
- 2,00 $
- Ausgabe je Mio. Token
- 10,00 $
- Prompt (1.000 Wörter)
- 0,0034 $
- Antwort (1.500 Wörter)
- 0,0255 $
- Zusammen
- 0,0289 $
- Eingabe je Mio. Token
- 2,00 $
- Ausgabe je Mio. Token
- 10,00 $
- Prompt (1.000 Wörter)
- 0,0034 $
- Antwort (1.500 Wörter)
- 0,0255 $
- Zusammen
- 0,0289 $
- Eingabe je Mio. Token
- 1,00 $
- Ausgabe je Mio. Token
- 5,00 $
- Prompt (1.000 Wörter)
- 0,0017 $
- Antwort (1.500 Wörter)
- 0,0128 $
- Zusammen
- 0,0145 $
- Eingabe je Mio. Token
- 2,00 $
- Ausgabe je Mio. Token
- 10,00 $
- Prompt (1.000 Wörter)
- 0,0034 $
- Antwort (1.500 Wörter)
- 0,0255 $
- Zusammen
- 0,0289 $
- Eingabe je Mio. Token
- 0,10 $
- Ausgabe je Mio. Token
- 0,50 $
- Prompt (1.000 Wörter)
- 0,00017 $
- Antwort (1.500 Wörter)
- 0,00128 $
- Zusammen
- 0,00145 $
gradually.aiZwei Dinge fallen auf. Erstens ist die Antwort fast immer der größere Kostenblock, weil Ausgabe-Token ein Mehrfaches der Eingabe kosten. Zweitens liegt zwischen dem günstigsten und dem teuersten Modell der Tabelle etwa Faktor 40. Bei Reasoning-Modellen kommen die Token für die internen Denkschritte hinzu, die du ebenfalls als Ausgabe bezahlst, auch wenn du sie nicht siehst. Dein eigenes Projekt rechnest du mit dem API-Kostenrechner durch.
5. Typische Missverständnisse
- Ein Token ist ein Textstück. Bei deutschem Text sind es im Schnitt mehr Token als Wörter.
- Jede Modellfamilie hat ihren eigenen Tokenizer. Derselbe Text ergibt bei Claude, GPT und Gemini unterschiedliche Zahlen.
- Pro Anfrage zählen auch System-Prompt, Chatverlauf, Dateien und die Antwort.
- Du zahlst nicht pro Token, aber Nutzungslimits und die Länge, die ein Chat fassen kann, hängen trotzdem an Token.
- Es sieht nur Token-Nummern. Deshalb tun sich Modelle schwer damit, Buchstaben in einem Wort zu zählen.
gradually.aiDen letzten Punkt kannst du leicht selbst testen. Frag ein Modell ohne Denkmodus, wie viele „e“ in „Kundenzufriedenheitsumfrage“ stecken. Weil es das Wort nur als 8 Bausteine sieht, liegt es dabei öfter daneben, als man erwarten würde.
6. Was heißt das für dich?
- Zähle, statt zu schätzen. Der Token-Zähler zeigt dir, wie viele Token dein Text hat. Für Claude bietet Anthropic einen eigenen Zähl-Endpunkt in der API.
- Rechne bei Deutsch mit Aufschlag. Faustregeln wie „1 Token sind drei Viertel eines Wortes“ gelten für Englisch. Für deutsche Texte plane mehr ein.
- Achte auf die Ausgabe. Lange Antworten und Reasoning-Modelle treiben die Kosten stärker als lange Prompts. Begrenze die Länge der Antwort, wenn du sie nicht brauchst.
- Nutze Caching bei wiederkehrendem Material. Wer dasselbe lange Dokument immer wieder mitschickt, spart mit Prompt-Caching einen großen Teil der Eingabekosten.
- Halte den Kontext schlank. Ein langer Chatverlauf wird bei jeder neuen Nachricht erneut mitgeschickt. Ein neuer Chat mit kurzer Zusammenfassung spart Token und hält das Modell fokussiert.
- Vergleiche Preise je Million Token. Aktuelle Werte findest du im LLM-Preisindex und in den Profilen im Modellverzeichnis.