So messen wir KI-Modelle

Aktuell fließen 3.642 Messwerte aus 84 Testreihen ein. 115 Modelle haben einen Gesamtwert, 95 davon einen Platz. Eine Testreihe ist ein Benchmark, den mehrere Modelle durchlaufen haben.

• Es zählen nur unabhängige Auswerter und offizielle Ranglisten. Eine Zahl aus der Modellkarte des Herstellers fließt nicht ein.
• Von jeder Quelle gilt nur der aktuelle Stand. Ältere Abrufe ersetzen keine neue Reihe.
• Je Quelle und Benchmark zählt ein Testaufbau, nämlich der, in dem die meisten Modelle eindeutig zugeordnet sind. Es gibt keine Auswahl des besten Aufbaus je Modell.
• Hat ein Modell mehrere Konfigurationen im selben Benchmark, gilt die mit der höchsten dokumentierten Reasoning-Stufe. Das Ergebnis entscheidet nie über die Auswahl.
• Eine Reihe braucht mindestens 5 Modelle.
• Zusammengesetzte Indizes anderer Anbieter zählen nicht zusätzlich zu ihren Einzeltests, damit nichts doppelt eingeht.

• Jede Reihe wird auf eine gemeinsame Skala gebracht. Ein Wert zählt danach, wie weit er über oder unter dem Durchschnitt seiner Reihe liegt. Prozentwerte werden dabei so gedehnt, dass der Abstand zwischen 95 und 98 Prozent mehr zählt als der zwischen 50 und 53.
• Aus allen Reihen schätzt der Index für jedes Modell eine gemeinsame Stärke. Reihen, die starke und schwache Modelle gut trennen, zählen dabei mehr.
• Hat ein Modell erst wenige Testreihen, zieht der Index seine Stärke leicht zur Mitte. So hebt ein einzelner Ausreißer ein neues Modell nicht gleich an die Spitze. Seit Version 5 ist dieser Zug schwächer. Ein Modell mit 8 Testreihen landet im Mittel dort, wo es mit allen Reihen auch stehen würde. Bis Version 4 lag es etwa 1,5 bis 2 Punkte darunter.
• Dazu kommt je Bereich eine Abweichung von der gemeinsamen Stärke. Hat ein Modell in einem Bereich nur wenige Messungen, wird sie Richtung null gezogen. Die Bereiche sind Coding, Reasoning, Mathe, Wissen, Agenten, Allgemeines und Multimodales (Kernbereiche) sowie Finanzen, Recht und Gesundheit.
• Der Gesamtwert gewichtet die 7 Kernbereiche mit 75 % und die 3 übrigen Bereiche zusammen mit 25 %. Ein Bereich ohne eigene Messung zählt mit der gemeinsamen Stärke des Modells, nicht als null.

Wert

100 ist der Durchschnitt einer festen Referenzgruppe von Modellen. 15 Punkte Abstand bedeuten, dass das höhere Modell in einem typischen Benchmark in etwa drei von vier direkten Vergleichen vorn liegt. Die Skala ist nach oben und unten offen und kein Prozentwert.

Platz

Die Position unter allen Modellen mit Platz, sortiert nach dem Gesamtwert. Einen Platz bekommt ein Modell nur, wenn sein Wert sicher genug ist. Die Unsicherheit darf dafür höchstens 7,35 Punkte betragen. Sonst steht der Wert als vorläufig da. Wer schon einen Platz hat, behält ihn bis zu einer Unsicherheit von 7,65 Punkten, damit kleine Rechenschwankungen keine Plätze verschieben.

Leistungsgruppen

Zur Spitzengruppe (3 Modelle) gehören der Sieger und die Modelle, die mit ihm gleichauf liegen. Danach folgen die obere Gruppe ab 115 Punkten (7 Modelle), das Mittelfeld ab 85 Punkten (41) und darunter die untere Gruppe (44).

gleichauf

Ein Modell liegt mit dem Sieger gleichauf, wenn es in mindestens 5 % der Neuberechnungen vor ihm landet. Bleibt der Sieger gegenüber dem jüngsten Indexstand derselbe, bleiben Modelle, die dort schon zur Spitzengruppe gehörten, bis 3,5 % gleichauf. Neue Modelle kommen dann erst ab 6,5 % hinzu. Dafür rechnet der Index 1.000 Mal neu und lässt jedes Mal zufällig Testfamilien mehrfach oder gar nicht einfließen.

Siegchance

Der Anteil dieser Neuberechnungen, in denen ein Modell auf Platz 1 steht. Die Siegchancen eines Bereichs ergeben zusammen höchstens 100 %.

Ein Gesamtwert braucht mindestens 8 Testreihen, 2 Quellen und 3 Bereiche mit eigenen Messungen. Fehlt etwas davon, gibt es keinen Wert. Das ist kein Nullwert, sondern eine Lücke.

Modelle, denen nur die zweite Quelle fehlt, zeigen einen vorläufigen Wert, immer als „eine Quelle“ gekennzeichnet (18 Modelle). Sie bekommen keinen Platz, keine Gruppe und keine Siegchance und verändern die Skala nicht.

Modelle ohne unabhängigen Gesamtwert können eine Schätzung aus Herstellerangaben erhalten. Sie steht getrennt und geht nie in den Index ein. Sie wird nur gezeigt, wenn genügend Modelle für den Abgleich vorliegen und die Schätzung deren Reihenfolge gut genug trifft.

Vals AI liefert 58 % aller Beobachtungen im Index. Rechnet der Index ohne diese Quelle neu, führt Claude Opus 5.5 statt Claude Fable 5.2.

Die Spitze hängt damit an einer einzigen Quelle. Lies sie als Hinweis, nicht als Urteil.

• Modelle mit wenigen Messungen haben eine größere Unsicherheit. Neue Modelle bekommen deshalb oft erst nach einigen weiteren Tests einen Platz, und ihr Wert kann sich bis dahin noch um einige Punkte bewegen.
• Die Herstellerschätzung liegt im Schnitt rund 10 Punkte neben dem unabhängigen Wert. Sie ist also nur eine grobe Einordnung. Bei den Modellen, die die Herstellerschätzung am höchsten einschätzt, liegt sie etwas zu niedrig. Dieser Unterschied ist aber nicht groß genug, um als gesichert zu gelten.
• Je Reihe zählt die höchste dokumentierte Reasoning-Stufe. Manche Spitzenmodelle sind nur bis zu einer niedrigeren Stufe gemessen, der Index vergleicht teils also auch Rechenaufwand. Die Charts kennzeichnen das.
• Benchmarks messen Aufgaben, die jemand ausgewählt hat. Deine Aufgabe kann anders aussehen.

1. Version 119. Oktober 2026

   Rangprozente, jeder Bereich mit gleichem Gewicht.

2. Version 220. Oktober 2026

   Feste redaktionelle Gewichte je Bereich und Testfamilie.

3. Version 320. Oktober 2026

   Statistisches Modell mit gemeinsamer Stärke je Modell, Neuberechnungen statt fester Gleichstandsgrenzen.

4. Version 44. November 2026

   Skala mit 100 als Mittel und 15 Punkten Abstand, nicht gemessene Bereiche gelten als unbekannt, Prüfung mit zurückgehaltenen Testfamilien.

5. Ergänzungen in Version 410. November 2026

   Mehr Neuberechnungen, Leistungsgruppen, Hinweis auf den Anteil der größten Quelle und vorläufige Werte bei nur einer Quelle.

6. Version 511. November 2026

   Schwächerer Zug zur Mitte für Modelle mit wenigen Testreihen. Die Grenze für einen Platz bleibt in Punkten gleich. Werte aus Version 4 und 5 lassen sich nicht direkt vergleichen.

7. Ergänzungen in Version 511. November 2026

   Ein Platz und ein Platz in der Spitzengruppe gehen nicht mehr durch kleine Rechenschwankungen verloren. Die Herstellerschätzung zieht wieder so stark zur Mitte wie bis Version 4.

Die jüngste Messung im Index stammt vom 12. November 2026.

• Prüfdatei (JSON)

  alle einbezogenen und ausgeschlossenen Messwerte mit Gründen

• Datenstand

  von wann jeder Datensatz ist

• LLM-Vergleich

  der Index in der Rangliste

• Bestes LLM je Aufgabe

  die Bereichswerte als eigene Ranglisten

• LLM-Mehrfachvergleich

  bis zu fünf Modelle nebeneinander

Der Beliebtheitswert zeigt, wie viele Menschen ein Modell suchen, nutzen und besprechen. Er reicht von 0 bis 100 und hat je Bereich eine eigene Skala. Die Werte sind innerhalb eines Bereichs vergleichbar, nicht zwischen den Bereichen.

• Suche zählt mit 54 %, Nutzung mit 36 % (zum Beispiel API-Tokens, Downloads oder Installationen) und Erwähnungen in Nachrichten und Newslettern mit 10 %.
• Es zählen nur Kanäle, für die ein Wert vorliegt. Fehlt ein Kanal, verteilt sich sein Gewicht auf die übrigen. Ein fehlender Wert ist unbekannt und nie 0.
• Die Erwähnungen gehen als Mittel der letzten 30 Tage ein, das Suchvolumen als Monatswert. Ein Modell, für das nur Erwähnungen vorliegen, bekommt noch keinen Wert.
• Als Trend gilt „Steigend“ ab +4 Punkten gegenüber etwa vier Wochen vorher, „Stark steigend“ ab +10. „Neu“ steht bei steigenden Modellen, die höchstens 14 Tage alt sind.
• Bei Harnesses und KI-Abos gelten dieselben Gewichte. Bei den bekanntesten Köpfen der Branche zählen Wikipedia-Aufrufe mit 70 % und Nennungen in Newslettern und Feeds mit 30 %.

Im LLM-Vergleich lässt sich der Wert nach Welt, EU und Deutschland umschalten. Regional zählen nur Suche und Aufmerksamkeit, weil es für die Nutzung keine regionale Quelle gibt.

Beliebt heißt nicht gut. Ändert sich die Methode, etwa durch neue Datenquellen oder eine neue Skala, kann ein Wert springen. Die Verläufe der Modellprofile markieren solche Wechsel, sie sind kein Marktereignis.

• KI-Trends

  die beliebtesten Modelle, Anbieter, Harnesses und KI-Abos

Für Anbieter erheben wir eigene Signale. Die Modellwerte einfach zusammenzurechnen würde die Beliebtheit einzelner Modelle messen und Anbieter mit vielen Modellen bevorzugen.

• Suche (54 %): das weltweite monatliche Suchvolumen nach dem Anbieter, einschließlich seiner KI-Marke, etwa ChatGPT bei OpenAI. Je Monat zählt die stärkste Schreibweise, Schreibweisen werden nie addiert.
• Nutzung (36 %): Token des Anbieters bei OpenRouter und Downloads seiner Modelle bei Hugging Face, beide gleich gewichtet.
• Aufmerksamkeit (10 %): der Anteil der Meldungen einer festen öffentlichen Stichprobe aus RSS-Feeds und Hacker News, die den Anbieter nennen, im Mittel der letzten 30 Tage.
• Jeder Kanal wird auf 0 bis 100 abgebildet. Fehlt ein Kanal, zählen nur die übrigen. Ein fehlender Kanal ist unbekannt und nie 0.

Downloads sind keine Nutzerzahl, und Token bei OpenRouter bilden nur einen Teil des Marktes ab. Auch hier gilt: Beliebt heißt nicht gut.

• KI-Trends

  die beliebtesten Anbieter

Das Tempo ist keine eigene Messung. Die Werte kommen von Artificial Analysis und geben die Ausgabe-Token pro Sekunde an. Wo keine aktuelle Messung vorliegt, bleibt der Wert leer.

• Die schnellsten LLMs

  das Tempo-Diagramm im LLM-Vergleich

Das Diagramm „Leistung gegen Kosten je Aufgabe“ stellt den Gesamtindex den Kosten gegenüber, die Vals AI je Aufgabe des Vals Index bezahlt hat, bei der jeweils genannten Reasoning-Stufe. Höhere Stufen kosten mehr, weil das Modell länger nachdenkt. Die Kostenachse ist logarithmisch.

• Leistung gegen Kosten je Aufgabe

  das Diagramm im LLM-Vergleich

GraduallyBench Image v2 ist unser eigener Bildtest. Jedes Modell bekommt dieselben vier Aufgaben. Zwei KI-Prüfer vergleichen die Bilder paarweise und blind. Daraus entstehen Punkte von 0 bis 100 je Aufgabe, der Gesamtwert ist das Mittel der vier festen Aufgaben.

• Je Aufgabe zählt ein Bild je Modell. Das Ranking stützt sich also auf einen Versuch und bleibt getrennt von Forschungsbenchmarks und den Blindabstimmungen der Arenen.
• Modelle, denen noch Aufgaben oder die gemeinsame Bewertung fehlen, bekommen keinen Platz.
• Neben unserem Test zeigt der Bildmodell-Vergleich die Wertungen aus den anonymen Blindvergleichen der LMArena.

Bei Videomodellen zeigen wir Beispielclips und die Wertungen aus Blindabstimmungen von Arenen. Eine eigene Punktzahl vergeben wir für Videos nicht.

• Bildmodell-Vergleich

  alle Bilder aus GraduallyBench Image v2

• Videomodell-Vergleich

  Beispielclips, Arena-Wertung und Preise

Die Kategorie-Seiten für Entscheidungs- und Audiomodelle zeigen drei automatisch ausgewertete Tests. Sie sind Pilotprotokolle, vergeben keine Gesamtrangliste und gelten nur für die genaue getestete Modellkennung und Route. Jedes getestete Modell trägt seinen Status, etwa „Benchmark durchgeführt“, „Teilweise getestet“, „Technischer Test“ oder „Kurzer Funktionstest“.

GraduallyBench Decision v1

60 Testfälle aus 30 Szenarien auf Deutsch und Englisch. Fünf gleich gewichtete Aufgabenfamilien (Dringlichkeit, Zuständigkeit, Auswahl mit Bedingungen, Zahlen und Tabellen, ausreichende Evidenz) ergeben einen Wert von 0 bis 100. Fehlgeschlagene Anfragen und ungültige Antworten zählen als nicht erfolgreich. Robustheitsvarianten und Entwicklungsfälle stehen getrennt.

GraduallyBench STT v1

Spracherkennung an 32 gelesenen Aufnahmen auf Deutsch und Englisch mit je vier Sprechenden, dazu vier Clips mit digitaler Stille. Gemessen werden die Wortfehlerrate (WER) und die Zeichenfehlerrate (CER), bei der Stille die erfundenen Wörter. Spontane Sprache und Störgeräusche deckt der Test nicht ab.

GraduallyBench TTS v1

Das Modell spricht einen Text, ein Erkennungsmodell schreibt die Aufnahme zurück, und wir vergleichen den Rücktext mit dem Eingabetext. Das misst, wie genau der Inhalt ankommt, nicht wie natürlich eine Stimme klingt.

Die Referenzantworten folgen gespeicherten Regeln und Quelltranskripten. Aufgabenformulierungen, Übersetzungen und Transkripte wurden nicht von Menschen gegengeprüft.

• Entscheidungsmodelle

  Ergebnisse von GraduallyBench Decision v1

• Audiomodelle

  Spracherkennung und Sprachausgabe