Zum Hauptinhalt springen

Methode

So entsteht der Gesamtindex (Gradually Meta-Score v5)

Eine Zahl für ein ganzes Sprachmodell klingt einfach. Hier steht, was dahinter steckt, wie du die Zahl liest und wo sie an ihre Grenzen kommt.
Testreihen
84
Messwerte
3.623
Modelle mit Gesamtwert
114
Modelle mit Platz
94

Was der Index beantwortet und was nicht

Der Gesamtindex fasst zusammen, wie ein Sprachmodell in unabhängigen Benchmarks abschneidet. Er beantwortet die Frage, wie stark ein Modell im Vergleich zu den anderen ist, wenn viele Tests aus vielen Bereichen zusammenkommen.

Der Index misst nicht, wie viele Menschen ein Modell nutzen. Dafür gibt es den Beliebtheitsindex. Er sagt auch nicht, welches Modell für deine Aufgabe das beste ist. Ein Modell mit niedrigerem Gesamtwert kann bei deinem Anwendungsfall vorn liegen. Und er ist keine Erfolgswahrscheinlichkeit.

Welche Messungen zählen

Aktuell fließen 3.623 Messwerte aus 84 Testreihen ein. 114 Modelle haben einen Gesamtwert, 94 davon einen Platz. Eine Testreihe ist ein Benchmark, den mehrere Modelle durchlaufen haben.

  • Es zählen nur unabhängige Auswerter und offizielle Ranglisten. Eine Zahl aus der Modellkarte des Herstellers fließt nicht ein.
  • Von jeder Quelle gilt nur der aktuelle Stand. Ältere Abrufe ersetzen keine neue Reihe.
  • Je Quelle und Benchmark zählt ein Testaufbau, nämlich der, in dem die meisten Modelle eindeutig zugeordnet sind. Es gibt keine Auswahl des besten Aufbaus je Modell.
  • Hat ein Modell mehrere Konfigurationen im selben Benchmark, gilt die mit der höchsten dokumentierten Reasoning-Stufe. Das Ergebnis entscheidet nie über die Auswahl.
  • Eine Reihe braucht mindestens 5 Modelle.
  • Zusammengesetzte Indizes anderer Anbieter zählen nicht zusätzlich zu ihren Einzeltests, damit nichts doppelt eingeht.

Wie die Werte zusammenkommen

  • Jede Reihe wird auf eine gemeinsame Skala gebracht. Ein Wert zählt danach, wie weit er über oder unter dem Durchschnitt seiner Reihe liegt. Prozentwerte werden dabei so gedehnt, dass der Abstand zwischen 95 und 98 Prozent mehr zählt als der zwischen 50 und 53.
  • Aus allen Reihen schätzt der Index für jedes Modell eine gemeinsame Stärke. Reihen, die starke und schwache Modelle gut trennen, zählen dabei mehr.
  • Hat ein Modell erst wenige Testreihen, zieht der Index seine Stärke leicht zur Mitte. So hebt ein einzelner Ausreißer ein neues Modell nicht gleich an die Spitze. Seit Version 5 ist dieser Zug schwächer. Ein Modell mit 8 Testreihen landet im Mittel dort, wo es mit allen Reihen auch stehen würde. Bis Version 4 lag es etwa 1,5 bis 2 Punkte darunter.
  • Dazu kommt je Bereich eine Abweichung von der gemeinsamen Stärke. Hat ein Modell in einem Bereich nur wenige Messungen, wird sie Richtung null gezogen. Die Bereiche sind Coding, Reasoning, Mathe, Wissen, Agenten, Allgemeines und Multimodales (Kernbereiche) sowie Finanzen, Recht und Gesundheit.
  • Der Gesamtwert gewichtet die 7 Kernbereiche mit 75 % und die 3 übrigen Bereiche zusammen mit 25 %. Ein Bereich ohne eigene Messung zählt mit der gemeinsamen Stärke des Modells, nicht als null.

Wie du die Zahl liest

Wert
100 ist der Durchschnitt einer festen Referenzgruppe von Modellen. 15 Punkte Abstand bedeuten, dass das höhere Modell in einem typischen Benchmark in etwa drei von vier direkten Vergleichen vorn liegt. Die Skala ist nach oben und unten offen und kein Prozentwert.
Platz
Die Position unter allen Modellen mit Platz, sortiert nach dem Gesamtwert. Einen Platz bekommt ein Modell nur, wenn sein Wert sicher genug ist. Die Unsicherheit darf dafür höchstens 7,35 Punkte betragen. Sonst steht der Wert als vorläufig da.
Leistungsgruppen
Zur Spitzengruppe (3 Modelle) gehören die Modelle ab Platz 1, die mit dem Sieger gleichauf liegen. Danach folgen die obere Gruppe ab 115 Punkten (7 Modelle), das Mittelfeld ab 85 Punkten (41) und darunter die untere Gruppe (43).
gleichauf
Ein Modell liegt mit dem Sieger gleichauf, wenn es in mindestens 5 % der Neuberechnungen vor ihm landet. Dafür rechnet der Index 1.000 Mal neu und lässt jedes Mal zufällig Testfamilien mehrfach oder gar nicht einfließen.
Siegchance
Der Anteil dieser Neuberechnungen, in denen ein Modell auf Platz 1 steht. Die Siegchancen eines Bereichs ergeben zusammen höchstens 100 %.

Wann ein Modell keinen oder nur einen vorläufigen Wert bekommt

Ein Gesamtwert braucht mindestens 8 Testreihen, 2 Quellen und 3 Bereiche mit eigenen Messungen. Fehlt etwas davon, gibt es keinen Wert. Das ist kein Nullwert, sondern eine Lücke.

Modelle, denen nur die zweite Quelle fehlt, zeigen einen vorläufigen Wert, immer als „eine Quelle“ gekennzeichnet (17 Modelle). Sie bekommen keinen Platz, keine Gruppe und keine Siegchance und verändern die Skala nicht.

Modelle ohne unabhängigen Gesamtwert können eine Schätzung aus Herstellerangaben erhalten. Sie steht getrennt und geht nie in den Index ein. Sie wird nur gezeigt, wenn genügend Modelle für den Abgleich vorliegen und die Schätzung deren Reihenfolge gut genug trifft.

Grenzen des Index

Vals AI liefert 58 % aller Beobachtungen im Index. Rechnet der Index ohne diese Quelle neu, führt Claude Opus 5.5 statt Claude Fable 5.2.

Die Spitze hängt damit an einer einzigen Quelle. Lies sie als Hinweis, nicht als Urteil.

  • Modelle mit wenigen Messungen haben eine größere Unsicherheit. Neue Modelle bekommen deshalb oft erst nach einigen weiteren Tests einen Platz, und ihr Wert kann sich bis dahin noch um einige Punkte bewegen.
  • Die Herstellerschätzung zieht die Spitze eher zusammen. Sehr starke Modelle schätzt sie tendenziell etwas zu niedrig. Der Unterschied liegt noch innerhalb der Unsicherheit, ist also nicht gesichert.
  • Je Reihe zählt die höchste dokumentierte Reasoning-Stufe. Manche Spitzenmodelle sind nur bis zu einer niedrigeren Stufe gemessen, der Index vergleicht teils also auch Rechenaufwand. Die Charts kennzeichnen das.
  • Benchmarks messen Aufgaben, die jemand ausgewählt hat. Deine Aufgabe kann anders aussehen.

Versionen und Daten

  1. Version 119. Oktober 2026

    Rangprozente, jeder Bereich mit gleichem Gewicht.

  2. Version 220. Oktober 2026

    Feste redaktionelle Gewichte je Bereich und Testfamilie.

  3. Version 320. Oktober 2026

    Statistisches Modell mit gemeinsamer Stärke je Modell, Neuberechnungen statt fester Gleichstandsgrenzen.

  4. Version 44. November 2026

    Skala mit 100 als Mittel und 15 Punkten Abstand, nicht gemessene Bereiche gelten als unbekannt, Prüfung mit zurückgehaltenen Testfamilien.

  5. Ergänzungen in Version 410. November 2026

    Mehr Neuberechnungen, Leistungsgruppen, Hinweis auf den Anteil der größten Quelle und vorläufige Werte bei nur einer Quelle.

  6. Version 511. November 2026

    Schwächerer Zug zur Mitte für Modelle mit wenigen Testreihen. Die Grenze für einen Platz bleibt in Punkten gleich. Werte aus Version 4 und 5 lassen sich nicht direkt vergleichen.

Die jüngste Messung im Index stammt vom 10. November 2026.