SprachmodellAktiv

Grok 4.20 Reasoning

xAI

Veröffentlicht: 10. März 2026
Datenstand: 8. September 2026

Benchmark-Meta-Score: Nicht berechenbar
Werte aus nur einer Quelle
Geschwindigkeit: 105,9 Token/s
Ausgabe-Tempo
Preis: 1,25 $ · 2,5 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

Grok 4.20 Reasoning richtet sich auf einen kontrollierbaren mehrstufigen Denk- und Tool-Calling-Lauf. Das Modell nimmt Text und Bilder an und stellt für umfangreiche Arbeitskontexte eine Million Token bereit.

Die Variante trägt die API-Kennung grok-4.20-0309-reasoning. Sie unterscheidet den einzelnen Denk- und Tool-Calling-Lauf von Grok 4.20 Multi-Agent, das auf parallele Recherche ausgerichtet ist. xAI veröffentlicht weder Gewichte noch eine Parameterzahl.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	ProprietärQuelle
Zugang	APIQuelle
Kontextfenster	1.000.000 TokenQuelle
Hinweise	1M Kontext, Reasoning-Modus und agentisches Tool-Calling, Parameteranzahl nicht veröffentlichtQuelle
API-Modellkennung	grok-4.20-0309-reasoningQuelle
Status laut Quelle	activeQuelle
Veröffentlichung	2026-03-10Quelle
Maximale Ausgabe	not statedQuelle
Eingabe	Text, BildQuelle
Ausgabe	TextQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle
Modell-Aliase	grok-4.20-reasoningQuelle
Reasoning-Modus	low, medium, highQuelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-10-15 - 2026-10-15

Gesamtindex

Noch nicht genug unabhängige Werte für einen Score

Ein Gesamtwert braucht Werte aus mindestens zwei Quellen.

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Testreihen: 22
Testfamilien: 20 / 65
Quellen: 1
Anteil am festen Testpanel (informativ): 30 %

Programmieren

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,4
95-%-Intervall: 0,0 bis 5,4
Testreihen: 6
Testfamilien: 5 / 15
Quellen: 1
Anteil am festen Testpanel (informativ): 26 %

Schlussfolgern

Index 1,9 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,4
95-%-Intervall: 0,4 bis 6,8
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Wissen

Index 1,3 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,9
95-%-Intervall: 0,3 bis 4,3
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Finanzen

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,1
95-%-Intervall: 0,0 bis 1,8
Testreihen: 6
Testfamilien: 6 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 86 %

Recht

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,4
95-%-Intervall: 0,0 bis 2,5
Testreihen: 3
Testfamilien: 3 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 75 %

Gesundheit

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,1
95-%-Intervall: 0,0 bis 0,6
Testreihen: 3
Testfamilien: 3 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 100 %

Multimodal

Index 1,5 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,1
95-%-Intervall: 0,3 bis 5,4
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 13 %

Bildung

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,1
95-%-Intervall: 0,0 bis 0,5
Testreihen: 1
Testfamilien: 1 / 2
Quellen: 1
Anteil am festen Testpanel (informativ): 50 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 21 Testfamilien und 12 von 22 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: GPQA Diamond
Schlussfolgern · Mittleres Rangperzentil der Familie: 65,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-gpqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,77 %
  Rohwert:
  88,636 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  77
  Rangperzentil innerhalb der Kohorte:
  65,8 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-gpqa:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-gpqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 59.421. Standardfehler: 1.594. Kosten je Aufgabe in USD: 0.034461. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MMMU-Pro
Multimodal · Mittleres Rangperzentil der Familie: 48,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mmmu
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  1,34 %
  Rohwert:
  83,468 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  48
  Rangperzentil innerhalb der Kohorte:
  48,9 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mmmu:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mmmu:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 44.461. Standardfehler: 0.893. Kosten je Aufgabe in USD: 0.026669. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmmu-2026-10-15-29395186eddd. Prüfsumme der Quelldaten: 29395186eddd2c70601228c584a14b3c1d8f9dba4b68256561b46b0dd03c635a. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: SWE-bench Verified
Programmieren · Mittleres Rangperzentil der Familie: 33,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-swebench
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,36 %
  Rohwert:
  72,2 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  60
  Rangperzentil innerhalb der Kohorte:
  33,9 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-swebench:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-swebench:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 134.759. Standardfehler: 2.006. Kosten je Aufgabe in USD: 0.515946. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-swebench-2026-10-15-7a4e2e848528. Prüfsumme der Quelldaten: 7a4e2e8485283caac500127419f68ec4bd5414c837ade114fc6afa5b2d34ccaa. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Terminal-Bench
Programmieren · Mittleres Rangperzentil der Familie: 30,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 33 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-terminal-bench-2
  Gewicht der Messreihe innerhalb der Testfamilie:
  16,67 %
  Nominaler Beitrag zum Gesamtpanel:
  0,12 %
  Rohwert:
  40,449 %
  Messgröße:
  accuracy
  Version:
  2.0
  Teilnehmende Modelle:
  43
  Rangperzentil innerhalb der Kohorte:
  48,8 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-terminal-bench-2:2.0:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-terminal-bench-2:2.0:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-06-04. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 161.408. Standardfehler: 5.232. Kosten je Aufgabe in USD: 0.154109. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-terminal-bench-2-2026-10-15-38e640d99525. Prüfsumme der Quelldaten: 38e640d995259778e531f048b2f2c7b3b281cb05b56be643ddc9dc53eb85adf7. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-terminal-bench-2-1
  Gewicht der Messreihe innerhalb der Testfamilie:
  16,67 %
  Nominaler Beitrag zum Gesamtpanel:
  0,12 %
  Rohwert:
  44,195 %
  Messgröße:
  accuracy
  Version:
  2.1
  Teilnehmende Modelle:
  57
  Rangperzentil innerhalb der Kohorte:
  12,5 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-terminal-bench-2-1:2.1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-terminal-bench-2-1:2.1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-28. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 305.726. Standardfehler: 0.991. Kosten je Aufgabe in USD: 0.407362. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-terminal-bench-2-1-2026-10-15-a5306805cdf8. Prüfsumme der Quelldaten: a5306805cdf86495bdcceff6b2c8534a3768b9853f5077895dab975b809b054f. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Code Migration
Programmieren · Mittleres Rangperzentil der Familie: 1,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-code-migration
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,71 %
  Rohwert:
  0,314 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  63
  Rangperzentil innerhalb der Kohorte:
  1,6 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-code-migration:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-code-migration:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 373.673. Standardfehler: 0.11. Kosten je Aufgabe in USD: 0.289486. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: CorpFin v2
Finanzen · Mittleres Rangperzentil der Familie: 62,2 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-corp-fin-v2
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  63,675 %
  Messgröße:
  accuracy
  Version:
  2
  Teilnehmende Modelle:
  75
  Rangperzentil innerhalb der Kohorte:
  62,2 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-corp-fin-v2:2:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-corp-fin-v2:2:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 9.67. Standardfehler: 0.947. Kosten je Aufgabe in USD: 0.163386. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: EMB
Finanzen · Mittleres Rangperzentil der Familie: 5,1 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-emb
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  11,739 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  60
  Rangperzentil innerhalb der Kohorte:
  5,1 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-emb:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-emb:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 367.615. Standardfehler: 1.553. Kosten je Aufgabe in USD: 0.469926. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-10-15-e1170aaade72. Prüfsumme der Quelldaten: e1170aaade72d6b81079f9cb90244c41f028a12e29d982c3ec1d6e9913a9872d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Finance Agent (v2)
Finanzen · Mittleres Rangperzentil der Familie: 5,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-finance-agent-v2
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  28,492 %
  Messgröße:
  accuracy
  Version:
  2
  Teilnehmende Modelle:
  61
  Rangperzentil innerhalb der Kohorte:
  5,0 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-finance-agent-v2:2:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-finance-agent-v2:2:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 351.413. Standardfehler: 0.315. Kosten je Aufgabe in USD: 0.791809. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-10-15-3780be1a23c9. Prüfsumme der Quelldaten: 3780be1a23c9133a3c34a6095024af162b35a8ef50963a62fc67a6049880426c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LiveCodeBench v6
Programmieren · Mittleres Rangperzentil der Familie: 64,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-lcb
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,71 %
  Rohwert:
  84,265 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  78
  Rangperzentil innerhalb der Kohorte:
  64,9 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-lcb:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-lcb:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 76.09. Standardfehler: 1.028. Kosten je Aufgabe in USD: 0.05249. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Harvey's Legal Agent Benchmark
Recht · Mittleres Rangperzentil der Familie: 10,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-legal-agent-benchmark
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  0 %
  Messgröße:
  task resolution rate
  Version:
  1
  Teilnehmende Modelle:
  62
  Rangperzentil innerhalb der Kohorte:
  10,7 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-legal-agent-benchmark:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-legal-agent-benchmark:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-10-12. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 502.903. Standardfehler: 0. Kosten je Aufgabe in USD: 0.986814. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-10-15-7587eca48586. Prüfsumme der Quelldaten: 7587eca48586be017c9db8c1a11e6f6797b1eb62b7627cbf198f35f592f4fc69. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LegalBench
Recht · Mittleres Rangperzentil der Familie: 20,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-legal-bench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  77,738 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  79
  Rangperzentil innerhalb der Kohorte:
  20,5 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-legal-bench:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-legal-bench:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000
  Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-10-13. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 2000000. Latenz in Sekunden: 7.574. Standardfehler: 0.48. Kosten je Aufgabe in USD: 0.006065. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-10-15-c8486ba756ba. Prüfsumme der Quelldaten: c8486ba756baa5cd3955d035edff67440e8db23e69d62ad1a9e18d15b8c4bc52. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Legal Research Bench
Recht · Mittleres Rangperzentil der Familie: 15,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedCode
Gesundheit · Mittleres Rangperzentil der Familie: 9,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedQA
Gesundheit · Mittleres Rangperzentil der Familie: 76,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedScribe
Gesundheit · Mittleres Rangperzentil der Familie: 4,4 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMLU-Pro
Wissen · Mittleres Rangperzentil der Familie: 61,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MortgageTax
Finanzen · Mittleres Rangperzentil der Familie: 1,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SAGE
Bildung · Mittleres Rangperzentil der Familie: 22,4 / 100
Gewicht der Familie im festen Testpanel (informativ): 0 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Tax Agent Bench
Finanzen · Mittleres Rangperzentil der Familie: 12,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: TaxEval v2
Finanzen · Mittleres Rangperzentil der Familie: 61,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Vibe Code Bench v1.1
Programmieren · Mittleres Rangperzentil der Familie: 11,1 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	0	0	6
Vals AI	24	1	186

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Bei 6 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.

Veröffentlichte Benchmarks

Taste-Bench

Overall

502 technische Entscheidungspunkte aus Engineering- und Forschungsabläufen. Jedes Fragenpaar wird in beiden Antwortreihenfolgen vorgelegt. Der Gesamtscore mittelt Engineering und Forschung und verlangt, dass beide Reihenfolgen richtig beantwortet werden. Nicht parsebare Antworten zählen als falsch. Reasoning-Einstellung und Ausgabegrenze gehören zum Testaufbau.

Hinweis (Grok 4.20 Reasoning): 459 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

1.GPT-5.6 Sol59,7 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

2.GPT-5.559,5 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

3.Claude Opus 555,5 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

4.Grok 4.554,6 %

Hinweis: 10 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

5.GPT-5.6 Terra54 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

6.GLM-5.253,9 %

Hinweis: 17 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

7.Claude Sonnet 551,6 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

8.GPT-5.6 Luna49 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

9.MiniMax M345,3 %

Hinweis: 3 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

10.DeepSeek-V4-Flash43,3 %

Hinweis: 2 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

11.GPT-5.4 mini40,1 %

Hinweis: 112 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

12.Mistral Medium 3.537,7 %

Hinweis: 24 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

13.GPT-5.4 nano36,6 %

Hinweis: 93 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

14.Grok 4.20 Reasoning15,7 %

höhere Werte sind besserStand 26. September 2026Skala: 0 % - 100 %

Quelle: Taste-Bench paper

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: taste-bench-paper-v2-502
Messgröße: both-orders-correct, engineering/research macro average
Skala: 0-100
Teilnehmer: 14
Methodik und Einordnung: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/grok-4.20-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: xAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: default. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-b780156e6976. Prüfsumme der Quelldaten: b780156e6976a567e249d97bf51e2088015b07b0c2aa65663f57ed1fba7c45b0. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Taste-Bench paper

Gesundheit

MedCode

Overall

1.MiniMax M346,29 %

2.GLM-5.141,6 %

3.Nemotron 3 Ultra38,62 %

4.Grok 4.338,07 %

5.MiniMax M2.734,44 %

6.MiniMax M2.134,08 %

7.MiMo-V2.5-Pro32,48 %

8.Ling 3.0 Flash32,28 %

9.Grok 4.20 Reasoning32,16 %

10.MiMo-V2.531,9 %

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medcode:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 10
Methodik und Einordnung: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 16.546. Standardfehler: 2.124. Kosten je Aufgabe in USD: 0.036189. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-10-15-988a6ae1e07e. Prüfsumme der Quelldaten: 988a6ae1e07e33ce031572ed4a804be11c36ee97a1dd75cbe4740fff3b534f8c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Quelle: Vals AI

MedScribe

Overall

1.MiniMax M387,25 %

2.MiMo-V2.5-Pro83,73 %

3.Ling 3.0 Flash80,9 %

4.MiniMax M2.180,78 %

5.MiniMax M2.779,87 %

6.Grok 4.374,4 %

7.GLM-5.172,27 %

8.MiMo-V2.572,15 %

9.Grok 4.20 Reasoning63,41 %

10.Nemotron 3.5 Lightning4,27 %

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medscribe:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 10
Methodik und Einordnung: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 18.596. Standardfehler: 2.095. Kosten je Aufgabe in USD: 0.031303. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-10-15-271fc122ddc2. Prüfsumme der Quelldaten: 271fc122ddc2b0602bd6c7947f65a9a7f0d8cab94f6dc27d62a9380a9317f9c0. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Quelle: Vals AI

Bildung

SAGE

Teilaufgabe	Grok 4.20 Reasoning (Dieses Modell)	MiniMax M3	Qwen 3.6 27B	Grok 4.3	MiMo-V2.5
Automata	40,48 % (bester Wert dieser Zeile)	37,3 %	35,71 %	35,32 %	29,76 %
Linear Algebra	39,33 %	66,8 % (bester Wert dieser Zeile)	59,75 %	18,33 %	58,76 %
Overall	38,24 %	50,57 % (bester Wert dieser Zeile)	45,58 %	19,74 %	43,27 %
Partial Differential Equations	34,92 %	47,62 % (bester Wert dieser Zeile)	41,27 %	5,56 %	41,27 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

SAGE

Calculus

1.Grok 4.348,15 %

2.Grok 4.20 Reasoning40,12 %

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-sage:1:calculus
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 2
Methodik und Einordnung: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 119.528. Standardfehler: 6.472. Kosten je Aufgabe in USD: 0.130055. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Quelle: Vals AI

Vals Multimodal Index

SWE-bench

1.GPT-5.6 Sol99,02 %

2.Claude Fable 597,06 %

3.Claude Opus 595,1 %

3.Kimi K395,1 %

5.GPT-5.6 Luna93,14 %

6.Claude Opus 4.889,22 %

7.Qwen 3.8 Max 090287,26 %

8.Grok 4.586,28 %

9.GPT-5.582,6 %

10.Claude Opus 4.782,35 %

11.Claude Sonnet 4.677,45 %

11.Gemini 3.6 Flash77,45 %

13.Claude Sonnet 575,49 %

13.Gemini 3.5 Flash75,49 %

13.Inkling75,49 %

13.Inkling Small75,49 %

17.Kimi K2.674,51 %

18.GPT-5.6 Terra73,53 %

19.Gemini 3.1 Pro Preview72,55 %

20.Grok 4.370,59 %

21.MiniMax M369,61 %

22.Gemini 3 Flash Preview68,63 %

23.GPT-5.4 mini67,65 %

23.GPT-5.4 nano67,65 %

25.Grok 4.20 Reasoning66,67 %

25.Qwen 3.7 Plus66,67 %

27.MiMo-V2.564,71 %

27.Mistral Medium 3.564,71 %

29.Gemini 3.1 Flash-Lite57,84 %

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-vals-multimodal-index:1.2:swebench
Messgröße: benchmark score
Skala: 0-100
Teilnehmer: 29
Methodik und Einordnung: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-11. Latenz in Sekunden: 151.343. Standardfehler: 4.668. Kosten je Aufgabe in USD: 0.586871. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_multimodal_index-2026-10-15-077b22575f6e. Prüfsumme der Quelldaten: 077b22575f6e075b7b78157d000ec8f94d7ead409c7dcbcf04887630ed572a2d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Quelle: Vals AI

Messungen ohne passende Vergleichswerte

Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.

AIME: AIME 2024 (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 98.75
Bewertung: 98.75
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: aime_2024
Aufgabenbezeichnung: AIME 2024
Richtung: Mehr ist besser
Vergleichskohorte: vals-aime:1:aime_2024
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Temperatur: 0.7. Top P: 0.95. Latenz in Sekunden: 97.839. Standardfehler: 0.61. Kosten je Aufgabe in USD: 0.051914. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-aime-2026-10-15-7d016210b39d. Prüfsumme der Quelldaten: 7d016210b39d24351bbb5d12be09a973decac461bb2486eb1f23724fed2b7e6c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 0.7. Top P: 0.95
Einordnung: Der Benchmark ist im Quelldatensatz als archiviert markiert. Der Wert bleibt als historische Evidenz sichtbar und ist nicht mit einer aktiven Rangliste gleichzusetzen.

AIME: AIME 2025 (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 94.167
Bewertung: 94.167
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: aime_2025
Aufgabenbezeichnung: AIME 2025
Richtung: Mehr ist besser
Vergleichskohorte: vals-aime:1:aime_2025
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Temperatur: 0.7. Top P: 0.95. Latenz in Sekunden: 115.759. Standardfehler: 0.833. Kosten je Aufgabe in USD: 0.06688. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-aime-2026-10-15-7d016210b39d. Prüfsumme der Quelldaten: 7d016210b39d24351bbb5d12be09a973decac461bb2486eb1f23724fed2b7e6c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 0.7. Top P: 0.95
Einordnung: Der Benchmark ist im Quelldatensatz als archiviert markiert. Der Wert bleibt als historische Evidenz sichtbar und ist nicht mit einer aktiven Rangliste gleichzusetzen.

AIME: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 96.458
Bewertung: 96.458
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-aime:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Temperatur: 0.7. Top P: 0.95. Latenz in Sekunden: 106.799. Standardfehler: 0.516. Kosten je Aufgabe in USD: 0.059397. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-aime-2026-10-15-7d016210b39d. Prüfsumme der Quelldaten: 7d016210b39d24351bbb5d12be09a973decac461bb2486eb1f23724fed2b7e6c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 0.7. Top P: 0.95
Einordnung: Der Benchmark ist im Quelldatensatz als archiviert markiert. Der Wert bleibt als historische Evidenz sichtbar und ist nicht mit einer aktiven Rangliste gleichzusetzen.

Dokumentierte Messdetails

Taste-Bench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 15.7
Bewertung: 15.7
Messgröße: both-orders-correct, engineering/research macro average
Einheit: %
Benchmark-Version: arxiv:2609.25804v2
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: taste-bench-paper-v2-502
Quellentyp: independent-evaluator
Auswertung: Taste-Bench paper
Status: active
Abrufdatum: 2026-09-26
Methodik: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/grok-4.20-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: xAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: default. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-b780156e6976. Prüfsumme der Quelldaten: b780156e6976a567e249d97bf51e2088015b07b0c2aa65663f57ed1fba7c45b0. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
Einordnung: 459 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

Quelle Taste-Bench paper

MedCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 32.156
Bewertung: 32.156
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medcode:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 16.546. Standardfehler: 2.124. Kosten je Aufgabe in USD: 0.036189. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-10-15-988a6ae1e07e. Prüfsumme der Quelldaten: 988a6ae1e07e33ce031572ed4a804be11c36ee97a1dd75cbe4740fff3b534f8c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

MedScribe: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 63.412
Bewertung: 63.412
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medscribe:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 18.596. Standardfehler: 2.095. Kosten je Aufgabe in USD: 0.031303. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-10-15-271fc122ddc2. Prüfsumme der Quelldaten: 271fc122ddc2b0602bd6c7947f65a9a7f0d8cab94f6dc27d62a9380a9317f9c0. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

SAGE: Automata (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 40.476
Bewertung: 40.476
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: education
Aufgabe: automata
Aufgabenbezeichnung: Automata
Richtung: Mehr ist besser
Vergleichskohorte: vals-sage:1:automata
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 84.742. Standardfehler: 6.345. Kosten je Aufgabe in USD: 0.044921. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

SAGE: Linear Algebra (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 39.329
Bewertung: 39.329
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: education
Aufgabe: linear_algebra
Aufgabenbezeichnung: Linear Algebra
Richtung: Mehr ist besser
Vergleichskohorte: vals-sage:1:linear_algebra
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 49.23. Standardfehler: 5.459. Kosten je Aufgabe in USD: 0.083369. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

SAGE: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.242
Bewertung: 38.242
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: education
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-sage:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 66.358. Standardfehler: 3.425. Kosten je Aufgabe in USD: 0.063231. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

SAGE: Partial Differential Equations (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 34.921
Bewertung: 34.921
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: education
Aufgabe: PDEs
Aufgabenbezeichnung: Partial Differential Equations
Richtung: Mehr ist besser
Vergleichskohorte: vals-sage:1:PDEs
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 65.101. Standardfehler: 5.962. Kosten je Aufgabe in USD: 0.061403. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

SAGE: Calculus (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 40.123
Bewertung: 40.123
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: education
Aufgabe: calculus
Aufgabenbezeichnung: Calculus
Richtung: Mehr ist besser
Vergleichskohorte: vals-sage:1:calculus
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: SpaceXAI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 119.528. Standardfehler: 6.472. Kosten je Aufgabe in USD: 0.130055. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000

Vals Multimodal Index: SWE-bench (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 66.667
Bewertung: 66.667
Messgröße: benchmark score
Einheit: %
Benchmark-Version: 1.2
Kategorie: aggregate
Aufgabe: swebench
Aufgabenbezeichnung: SWE-bench
Richtung: Mehr ist besser
Vergleichskohorte: vals-vals-multimodal-index:1.2:swebench
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: grok/grok-4.20-0309-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-11. Latenz in Sekunden: 151.343. Standardfehler: 4.668. Kosten je Aufgabe in USD: 0.586871. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_multimodal_index-2026-10-15-077b22575f6e. Prüfsumme der Quelldaten: 077b22575f6e075b7b78157d000ec8f94d7ead409c7dcbcf04887630ed572a2d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Seite 1 von 17

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	SpaceXAI. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · Modellmetadaten (abgerufen 8. September 2026) · xAI developer docs, Grok 4.20 0309 Reasoning · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · xAI developer docs, Grok 4.20 0309 Reasoning · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · xAI developer docs, Grok 4.20 0309 Reasoning · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	parameters-billions Originalwortlaut xAI does not publish parameter counts on the model page.
In den geprüften Quellen nicht gefunden	active-parameters-billions Originalwortlaut xAI does not publish active parameter counts on the model page.
In den geprüften Quellen nicht gefunden	knowledge-cutoff Originalwortlaut The official xAI model page did not state a knowledge cutoff.
In den geprüften Quellen nicht gefunden	profile-benchmarks Originalwortlaut The exact model documentation page exposed capabilities and pricing but no benchmark table.
Weitere Quelle	Taste-Bench paper (abgerufen 26. September 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0