KI-Bestenliste: Die besten LLMs im Benchmark-Vergleich

In den Index fließen nur geprüfte, aktive Messwerte unabhängiger Auswerter ein. Angaben der Hersteller aus ihren eigenen Modellkarten zählen nicht mit. Innerhalb jeder Testreihe werden die Werte standardisiert, sodass Prozentwerte, Elo-Punkte und Erfolgsquoten auf eine gemeinsame Skala kommen. Prozentwerte und Quoten werden vorher so gestreckt, dass Abstände nahe 0 und 100 % nicht gestaucht werden.

Ein statistisches Ein-Faktor-Modell schätzt daraus für jedes Modell eine gemeinsame Leistungsstärke und berücksichtigt dabei, wie deutlich eine Testreihe zwischen den Modellen trennt. Bereichswerte weichen von dieser Stärke nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke. Der Hinweis „geschätzt, ohne eigene Werte in …“ macht das sichtbar.

Der Gesamtwert gewichtet die Kernbereiche wie Programmieren, Schlussfolgern, Mathematik und Wissen mit 75 % und die Fachgebiete Finanzen, Recht und Gesundheit mit 25 %. Einen Gesamtwert bekommt ein Modell ab acht Testreihen aus mindestens zwei Quellen und drei Bereichen.

Die Unsicherheit stammt aus 200 Neuberechnungen, in denen die Testfamilien zufällig neu gezogen werden. Einen Platz bekommt ein Modell, sobald seine Unsicherheit klein genug ist. Ein Platzbereich wie „Platz 1 bis 3“ umfasst die Plätze, die das Modell in 90 % dieser Neuberechnungen belegt. Sieger ist das platzierte Modell mit dem höchsten Punktschätzer. Die Siegchance ist der Anteil von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien, in denen das Modell vorn liegt. Fehlt ein Modell in einer Neuberechnung, zählt sie für das Modell nicht als Sieg. Statistisch gleichauf mit dem Sieger ist ein Modell, das in mindestens 5 % der gemeinsamen Neuberechnungen vor dem Sieger liegt.

Der Index reicht von 0 bis 100 und ist kein Prozentwert. Ein Wert von 80 heißt nicht, dass ein Modell 80 % der Aufgaben löst. Er beschreibt die Position im Vergleich zu einer festen Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Die vollständige Rechnung mit allen Gewichten und Rohwerten steht im JSON-Export. Einzelne Modelle mit Quellen, Testbedingungen und Preisen findest du im KI-Modellverzeichnis.