Token-Zähler für KI-Modelle

Tokens sind die Grundeinheiten, in die KI-Modelle Text zerlegen. Ein Token kann ein Wort, Teil eines Wortes oder ein Satzzeichen sein. Die Token-Anzahl bestimmt die Kosten bei API-Aufrufen und ob ein Text in das Kontextfenster eines Modells passt. Für eine erste Kostenschätzung kannst du den API-Kostenrechner verwenden.

Für die auswählbaren GPT-Modelle nutzt der Zähler die passende Tiktoken-Kodierung. Claude und Gemini werden mit der GPT-4-Kodierung geschätzt, weil sie andere Tokenizer verwenden. Kann der Zähler den Tokenizer-Code nicht laden, nutzt er eine grobe Schätzung von etwa einem Token je vier Zeichen und kennzeichnet sie sichtbar. Die Abrechnung deines Anbieters kann abweichen.

Du kannst Text einfügen oder eine Textdatei mit höchstens 512 KB hochladen. Unterstützt werden Dateien mit einem text/*-MIME-Typ sowie unter anderem .txt, .md, .csv, .json, .log, .js, .ts, .py, .html, .css, .xml und .yaml. Bilder und PDFs werden nicht unterstützt.

Die Token-Anzahl hängt von Text und Modell-Tokenizer ab. Englisch benötigt nicht grundsätzlich weniger Tokens als Deutsch. Wortwahl, Schreibweise und Satzzeichen können das Ergebnis verändern. Vergleiche deshalb denselben Text mit dem tatsächlich verwendeten Modell.

Der Zähler verarbeitet eingegebenen Text und geladene Textdateien in deinem Browser. Die Inhalte werden zum Zählen nicht an einen Tokenisierungsdienst übertragen. Für die Tokenisierung kann der Browser den passenden Programmcode von dieser Website laden. Deshalb ist ein Zählen ohne vorher geladenen Seitencode nicht garantiert offline möglich.