SprachmodellAktiv

GPT-5.4 mini

OpenAI

Veröffentlicht: 17. März 2026
Datenstand: 8. September 2026
Vorgängermodell: GPT-5 mini

Benchmark-Meta-Score: Nicht berechenbar
Mindestabdeckung fehlt
Geschwindigkeit: 159 Token/s
Ausgabe-Tempo
Preis: 0,75 $ · 4,5 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

GPT-5.4 mini verbesserte gegenüber GPT-5 mini vor allem Coding, Reasoning und Werkzeugnutzung. OpenAI meldete zum Start außerdem eine mehr als doppelt so hohe Geschwindigkeit. Mini übernimmt dafür Fähigkeiten der größeren GPT-5.4-Linie in eine kompaktere Modellstufe.

Mini unterstützt native Computerbedienung und kann als Subagent einzelne Coding-Aufgaben für ein größeres Modell übernehmen. Die ebenfalls veröffentlichte GPT-5.4 nano-Stufe übernimmt einfachere unterstützende Aufgaben.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	ProprietärQuelle
Zugang	APIQuelle
Kontextfenster	400.000 TokenQuelle
Knowledge Cutoff	31. August 2025Quelle
Hinweise	400K Kontext, Parameterzahl nicht veröffentlichtQuelle
API-Modellkennung	gpt-5.4-miniQuelle
Maximale Ausgabe	128.000 TokenQuelle
Eingabe	Text, BildQuelle
Ausgabe	TextQuelle
Reasoning-Modus	none, low, medium, high, xhighQuelle
API-Schnittstellen	Responses API, Chat Completions APIQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle
Veröffentlichung	2026-03-17Quelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-10-15 - 2026-10-19

Gesamtindex

Noch nicht genug Abdeckung für einen Score

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 34 %
Testfamilien: 32 / 71
Quellen: 3
Mathematische Grenzen bei fehlenden Werten: 13,3-79,1 / 100

Programmieren

Noch nicht genug Abdeckung für einen Score

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 43 %
Testfamilien: 7 / 15
Quellen: 3
Mathematische Grenzen bei fehlenden Werten: 13,7-70,4 / 100

Schlussfolgern

Noch nicht genug Abdeckung für einen Score

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 43 %
Testfamilien: 4 / 7
Quellen: 2
Mathematische Grenzen bei fehlenden Werten: 21,3-78,4 / 100

Wissen

Index 38,5 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 67 %
Testfamilien: 2 / 3
Quellen: 2
Mathematische Grenzen bei fehlenden Werten: 25,7-59,0 / 100

Agenten

Index 41,3 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 50 %
Testfamilien: 6 / 12
Quellen: 1
Mathematische Grenzen bei fehlenden Werten: 20,6-70,6 / 100

Allgemein

Noch nicht genug Abdeckung für einen Score

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 40 %
Testfamilien: 2 / 5
Quellen: 2
Mathematische Grenzen bei fehlenden Werten: 19,3-79,3 / 100

Finanzen

Index 30,0 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 86 %
Testfamilien: 6 / 7
Quellen: 1
Mathematische Grenzen bei fehlenden Werten: 25,7-40,0 / 100

Recht

Index 12,0 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 50 %
Testfamilien: 2 / 4
Quellen: 1
Mathematische Grenzen bei fehlenden Werten: 6,0-56,0 / 100

Multimodal

Index 25,8 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 50 %
Testfamilien: 2 / 4
Quellen: 3
Mathematische Grenzen bei fehlenden Werten: 12,9-62,9 / 100

Bildung

Noch nicht genug Abdeckung für einen Score

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Abdeckung des Panelgewichts: 50 %
Testfamilien: 1 / 2
Quellen: 1
Mathematische Grenzen bei fehlenden Werten: 40,5-90,5 / 100

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v1

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf; bei gleichem Datum wird der breitere Schnitt verwendet. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Bei dieser Auswahl zwischen mehreren Ergebnissen führen unbekannte oder mehrdeutige Stufen zum Ausschluss des Modells aus der betreffenden Reihe. Eindeutige Einzelkonfigurationen benötigen keine Stufenreihenfolge. Das jeweils beste Einzelergebnis eines Modells wird nicht ausgewählt. Rangperzentile mit gleichen Rohwerten teilen sich dasselbe Perzentil. Mehrere Reihen desselben Auswerters innerhalb einer Testfamilie werden gleich gewichtet, danach werden Auswerter in der Testfamilie, Testfamilien im Bereich und Bereiche im Gesamtindex jeweils gleich gewichtet. Nicht gemessene Reihen bleiben in Abdeckung und Grenzen sichtbar. Ein Gesamtwert erfordert mindestens vier Bereiche, sechs Testfamilien und zwei Quellen. Ein Bereichswert erfordert mindestens zwei Testfamilien. Jeder Gesamt- und Bereichsscore benötigt außerdem mindestens 50 % des jeweiligen Panelgewichts.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Anteile werden nicht als Nullwert eingesetzt. Sie senken die Abdeckung und fließen nur in die ausgewiesenen Grenzen ein. Werte aus unterschiedlichen Abdeckungen sind daher nicht unmittelbar gleich vollständig.

Die Grenzen halten die vorhandenen Perzentile fest und setzen für fehlende Beiträge beliebige Werte von 0 bis 100 an. Sie sind keine Konfidenzintervalle und keine Prognose für spätere Neuberechnungen.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 32 Testfamilien und 12 von 36 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: AA-AnalystAgent
Agenten · Familienindex: 15,8 / 100
Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-aa-analyst-agent
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,6 %
  Rohwert:
  15 %
  Messgröße:
  pass^5 reliability
  Version:
  AA cohort: 80 questions
  Teilnehmende Modelle:
  39
  Rangperzentil innerhalb der Kohorte:
  15,8 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-aa-analyst-agent:AA cohort: 80 questions:standalone:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-aa-analyst-agent","AA cohort: 80 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Harness:
  Artificial Analysis Stirrup
  Agent:
  Stirrup analyst agent
  Werkzeugregeln:
  100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission
  Versuche:
  pass^5, 5 independent attempts per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 15,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: AA-Briefcase
Agenten · Familienindex: 39,0 / 100
Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-aa-briefcase
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,6 %
  Rohwert:
  719,36 Elo
  Messgröße:
  AA-Briefcase Elo
  Version:
  v1.1
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  39,0 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-aa-briefcase:v1.1:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-aa-briefcase","v1.1","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: AA-LCR
Schlussfolgern · Familienindex: 46,3 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-aa-lcr
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,02 %
  Rohwert:
  77 %
  Messgröße:
  Pass rate
  Version:
  v1.1
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  46,3 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-aa-lcr","v1.1","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 77,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: APEX-Agents-AA
Agenten · Familienindex: 57,7 / 100
Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-apex-agents-aa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,6 %
  Rohwert:
  28,1710914454277 %
  Messgröße:
  Pass@1 success rate
  Version:
  AA public cohort: 452 tasks
  Teilnehmende Modelle:
  27
  Rangperzentil innerhalb der Kohorte:
  57,7 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-apex-agents-aa","AA public cohort: 452 tasks","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Harness:
  Artificial Analysis Stirrup
  Agent:
  Stirrup agent
  Werkzeugregeln:
  200-turn cap; MCP-backed workplace tools in Archipelago
  Versuche:
  pass@1, averaged over 3 repeats per task
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 28,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: AutomationBench-AA
Agenten · Familienindex: 57,3 / 100
Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-automationbench-aa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,6 %
  Rohwert:
  26,204887225711754 %
  Messgröße:
  Objectives completed without guardrail violations
  Version:
  unspecified
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  57,3 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-automationbench-aa","unspecified","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 26,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: GDP.pdf
Schlussfolgern · Familienindex: 62,2 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-gdp-pdf
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,02 %
  Rohwert:
  13,4 %
  Messgröße:
  All-pass rate
  Version:
  unspecified
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  62,2 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-gdp-pdf","unspecified","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 13,4 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: GDPval-AA
Agenten · Familienindex: 46,3 / 100
Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-gdpval-aa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,6 %
  Rohwert:
  1.011,97 Elo
  Messgröße:
  GDPval-AA Elo
  Version:
  v2.1
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  46,3 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-gdpval-aa:v2.1:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-gdpval-aa","v2.1","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: IFBench
Allgemein · Familienindex: 79,7 / 100
Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-ifbench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,43 %
  Rohwert:
  73,265306122449 %
  Messgröße:
  IFBench prompt-level loose accuracy (pass@1)
  Version:
  AA test set: 294 questions
  Teilnehmende Modelle:
  70
  Rangperzentil innerhalb der Kohorte:
  79,7 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-ifbench","AA test set: 294 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Single-turn answer evaluated with the official IFBench source code
  Versuche:
  pass@1, 5 repeats per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 73,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: ITBench-AA (SRE)
Agenten · Familienindex: 31,4 / 100
Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-itbench-aa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,6 %
  Rohwert:
  35,2165725047081 %
  Messgröße:
  Average precision at full recall
  Version:
  AA cohort: 59 tasks
  Teilnehmende Modelle:
  36
  Rangperzentil innerhalb der Kohorte:
  31,4 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-itbench-aa","AA cohort: 59 tasks","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Harness:
  Artificial Analysis Stirrup
  Agent:
  Stirrup agent
  Werkzeugregeln:
  Shell access to an offline Kubernetes incident snapshot
  Versuche:
  Average precision at full recall, 3 repeats per task
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 35,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: AA-Omniscience
Wissen · Familienindex: 32,9 / 100
Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-omniscience
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,38 %
  Rohwert:
  -18,916666666666668 points
  Messgröße:
  AA-Omniscience Index
  Version:
  unspecified
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  32,9 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-omniscience:unspecified:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-omniscience","unspecified","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: GPQA Diamond
Schlussfolgern · Familienindex: 43,4 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-gpqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,51 %
  Rohwert:
  83,08 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  77
  Rangperzentil innerhalb der Kohorte:
  43,4 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-gpqa:1:overall
  Reasoning-Stufe:
  xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-gpqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 63.11. Standardfehler: 2.457. Kosten je Aufgabe in USD: 0.012743. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Humanity’s Last Exam
Schlussfolgern · Familienindex: 37,8 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-humanitys-last-exam
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,51 %
  Rohwert:
  28,127896200185397 %
  Messgröße:
  Text-only pass@1 accuracy
  Version:
  unspecified
  Teilnehmende Modelle:
  83
  Rangperzentil innerhalb der Kohorte:
  37,8 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-humanitys-last-exam:unspecified:v4.3.2:reasoning:tokens=0:suffix=Xhigh
  Reasoning-Stufe:
  Xhigh
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-humanitys-last-exam","unspecified","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh
  Exakte AA-Konfiguration: GPT-5.4 mini (Xhigh) (Release gpt-5-4-mini, Zeile gpt-5-4-mini, UUID ba242e40-83b7-4cd3-a0e0-b56237984914, reasoning=true, source reasoning-token configuration budget=0, suffix=Xhigh). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/ba242e40-83b7-4cd3-a0e0-b56237984914/gpt-5-4-mini/gpt-5-4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-5.4 mini (Xhigh). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Xhigh. Angezeigter Wert: 28,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: LMArena Code Arena WebDev
Programmieren · Familienindex: 8,3 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: LMArena Text, Style Control
Allgemein · Familienindex: 16,7 / 100
Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: LMArena Vision, Style Control
Multimodal · Familienindex: 20,0 / 100
Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMMU-Pro
Multimodal · Familienindex: 31,7 / 100
Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SWE-bench Verified
Programmieren · Familienindex: 35,6 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 50 %
Testfamilie: Terminal-Bench
Programmieren · Familienindex: 45,6 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Code Migration
Programmieren · Familienindex: 22,6 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: CorpFin v2
Finanzen · Familienindex: 43,2 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: EMB
Finanzen · Familienindex: 25,4 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Finance Agent (v2)
Finanzen · Familienindex: 33,3 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: LiveCodeBench v6
Programmieren · Familienindex: 41,6 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Harvey's Legal Agent Benchmark
Recht · Familienindex: 10,7 / 100
Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Legal Research Bench
Recht · Familienindex: 13,3 / 100
Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMLU-Pro
Wissen · Familienindex: 44,2 / 100
Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MortgageTax
Finanzen · Familienindex: 26,9 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: ProgramBench
Programmieren · Familienindex: 24,5 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SAGE
Bildung · Familienindex: 81,0 / 100
Nominales Familiengewicht im Gesamtpanel: 3,57 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Tax Agent Bench
Finanzen · Familienindex: 18,2 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: TaxEval v2
Finanzen · Familienindex: 32,9 / 100
Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Vibe Code Bench v1.1
Programmieren · Familienindex: 45,8 / 100
Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	13	1	25
Vals AI	22	2	195
LMArena	3	0	42

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Veröffentlichte Benchmarks

Taste-Bench

Overall

502 technische Entscheidungspunkte aus Engineering- und Forschungsabläufen. Jedes Fragenpaar wird in beiden Antwortreihenfolgen vorgelegt. Der Gesamtscore mittelt Engineering und Forschung und verlangt, dass beide Reihenfolgen richtig beantwortet werden. Nicht parsebare Antworten zählen als falsch. Reasoning-Einstellung und Ausgabegrenze gehören zum Testaufbau.

Hinweis (GPT-5.4 mini): 112 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

1.GPT-5.6 Sol59,7 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

2.GPT-5.559,5 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

3.Claude Opus 555,5 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

4.Grok 4.554,6 %

Hinweis: 10 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

5.GPT-5.6 Terra54 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

6.GLM-5.253,9 %

Hinweis: 17 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

7.Claude Sonnet 551,6 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

8.GPT-5.6 Luna49 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

9.MiniMax M345,3 %

Hinweis: 3 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

10.DeepSeek-V4-Flash43,3 %

Hinweis: 2 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

11.GPT-5.4 mini40,1 %

12.Mistral Medium 3.537,7 %

Hinweis: 24 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

13.GPT-5.4 nano36,6 %

Hinweis: 93 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

14.Grok 4.20 Reasoning15,7 %

Hinweis: 459 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

höhere Werte sind besserStand 26. September 2026Skala: 0 % - 100 %

Quelle: Taste-Bench paper

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: taste-bench-paper-v2-502
Messgröße: both-orders-correct, engineering/research macro average
Skala: 0-100
Teilnehmer: 14
Methodik und Einordnung: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/gpt-5.4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-8d521554a8e2. Prüfsumme der Quelldaten: 8d521554a8e2145aac33904b3e38d2b8fa2ad428110361d37e0b277ded8478b8. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Taste-Bench paper

LMArena Vision, Style Control

Humor

Hinweis (GPT-5.4 mini): Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.

1.Claude Opus 4.61.296,35 Bewertung

Hinweis: Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.

2.GPT-5.4 mini1.238,17 Bewertung

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 Bewertung - 1.296,35 Bewertung

Quelle: LMArena

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: lmarena-vision-style-control:2026-10-09:humor
Messgröße: style-controlled Bradley-Terry rating
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 2
Methodik und Einordnung: Arena-Bewertung aus 869 veröffentlichten Paarvergleichen.. Kennung des Quellmodells: lmarena/gpt-5.4-mini-high. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-high. Evaluator: LMArena. Datensatztyp: public-crowdsourced-preferences. Stand der Rangliste: 2026-10-09. Harness: Arena Vision, style control. Reasoning-Stufe: high. Quellenkennung: lmarena. Kennung der Evidenzaufnahme: lmarena-vision_style_control-4589dee83b594891961ae5190c508a9288d2c2ae-6cf1fae8efc9. Prüfsumme der Quelldaten: 6cf1fae8efc9ef6fe066f27d5bbe558cd360803a9c0fa6d89905aa53934efdb4. Parserversion: lmarena-dataset-v1. Importiert am: 2026-10-15

Quelle: LMArena

Programmieren

Code Migration

Teilaufgabe	GPT-5.4 mini (Dieses Modell)	GPT-5.5	GPT-5.4
CLI	8,2 %	36,88 % (bester Wert dieser Zeile)	23,79 %
COBOL	27,14 %	70 % (bester Wert dieser Zeile)	68,57 %
Overall	12,94 %	45,16 % (bester Wert dieser Zeile)	34,98 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Code Migration

Code Quality

1.GPT-5.43,63 Bewertung

2.GPT-5.53,5 Bewertung

3.GPT-5.4 mini3,05 Bewertung

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 Bewertung - 3,63 Bewertung

Quelle: Vals AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-code-migration:1:code_quality
Messgröße: mean reviewer code-quality rating
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 3
Methodik und Einordnung: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 1733.471. Standardfehler: 0.076. Kosten je Aufgabe in USD: 1.953198. Angezeigter Wert: 3,053 / 5. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Quelle: Vals AI

Finanzen

CorpFin v2

Teilaufgabe	GPT-5.4 mini (Dieses Modell)	GPT-5.5	GPT-5.4	GPT-5.6 Terra
Exact Pages	61,54 %	65,62 % (bester Wert dieser Zeile)	64,1 %	63,17 %
Max Fitting Context	60,96 %	70,05 % (bester Wert dieser Zeile)	64,92 %	66,32 %
Overall	60,92 %	68,42 % (bester Wert dieser Zeile)	65,27 %	65,31 %
Shared Max Context	60,26 %	69,58 % (bester Wert dieser Zeile)	66,78 %	66,43 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Dokumentierte Messdetails

Taste-Bench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 40.1
Bewertung: 40.1
Messgröße: both-orders-correct, engineering/research macro average
Einheit: %
Benchmark-Version: arxiv:2609.25804v2
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: taste-bench-paper-v2-502
Quellentyp: independent-evaluator
Auswertung: Taste-Bench paper
Status: active
Abrufdatum: 2026-09-26
Methodik: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/gpt-5.4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-8d521554a8e2. Prüfsumme der Quelldaten: 8d521554a8e2145aac33904b3e38d2b8fa2ad428110361d37e0b277ded8478b8. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
Einordnung: 112 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

Quelle Taste-Bench paper

LMArena Vision, Style Control: Humor (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1238.1732758740177
Bewertung: 1238.1732758740177
Messgröße: style-controlled Bradley-Terry rating
Einheit: rating
Benchmark-Version: style-control-v1
Kategorie: multimodal
Aufgabe: humor
Aufgabenbezeichnung: Humor
Richtung: Mehr ist besser
Vergleichskohorte: lmarena-vision-style-control:2026-10-09:humor
Konfidenzintervall: 21.176563
Quellentyp: official-leaderboard
Auswertung: LMArena
Status: active
Abrufdatum: 2026-10-15
Methodik: Arena-Bewertung aus 869 veröffentlichten Paarvergleichen.. Kennung des Quellmodells: lmarena/gpt-5.4-mini-high. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-high. Evaluator: LMArena. Datensatztyp: public-crowdsourced-preferences. Stand der Rangliste: 2026-10-09. Harness: Arena Vision, style control. Reasoning-Stufe: high. Quellenkennung: lmarena. Kennung der Evidenzaufnahme: lmarena-vision_style_control-4589dee83b594891961ae5190c508a9288d2c2ae-6cf1fae8efc9. Prüfsumme der Quelldaten: 6cf1fae8efc9ef6fe066f27d5bbe558cd360803a9c0fa6d89905aa53934efdb4. Parserversion: lmarena-dataset-v1. Importiert am: 2026-10-15
Vergleichsmethodik: Arena-Bewertung aus 869 veröffentlichten Paarvergleichen.. Harness: Arena Vision, style control. Reasoning-Stufe: high
Einordnung: Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.

Code Migration: CLI (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 8.2
Bewertung: 8.2
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: cli
Aufgabenbezeichnung: CLI
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:cli
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 1956.927. Standardfehler: 1.295. Kosten je Aufgabe in USD: 2.31844. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

Code Migration: COBOL (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 27.143
Bewertung: 27.143
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: cobol
Aufgabenbezeichnung: COBOL
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:cobol
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 1063.103. Standardfehler: 14.038. Kosten je Aufgabe in USD: 0.857472. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

Code Migration: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 12.936
Bewertung: 12.936
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 1733.471. Standardfehler: 3.641. Kosten je Aufgabe in USD: 1.953198. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

Code Migration: Code Quality (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 3.053
Bewertung: 3.053
Messgröße: mean reviewer code-quality rating
Einheit: rating
Benchmark-Version: 1
Kategorie: coding
Aufgabe: code_quality
Aufgabenbezeichnung: Code Quality
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:code_quality
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 1733.471. Standardfehler: 0.076. Kosten je Aufgabe in USD: 1.953198. Angezeigter Wert: 3,053 / 5. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

CorpFin v2: Exact Pages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 61.538
Bewertung: 61.538
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: exact_pages
Aufgabenbezeichnung: Exact Pages
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:exact_pages
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 44.668. Standardfehler: 1.661. Kosten je Aufgabe in USD: 0.014516. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

CorpFin v2: Max Fitting Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 60.956
Bewertung: 60.956
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: max_fitting_context
Aufgabenbezeichnung: Max Fitting Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:max_fitting_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 66.943. Standardfehler: 1.665. Kosten je Aufgabe in USD: 0.146241. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 60.917
Bewertung: 60.917
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 52.297. Standardfehler: 0.962. Kosten je Aufgabe in USD: 0.076368. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

CorpFin v2: Shared Max Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 60.256
Bewertung: 60.256
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: shared_max_context
Aufgabenbezeichnung: Shared Max Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:shared_max_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-5.4-mini-2026-03-17. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-5.4-mini-2026-03-17. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 45.279. Standardfehler: 1.671. Kosten je Aufgabe in USD: 0.068348. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: xhigh. Maximale Ausgabetoken: 128000

Seite 1 von 21

Vorgänger und Nachfolger

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	OpenAI, xhigh effort. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 7. September 2026. Quelle: Artificial Analysis · Geschwindigkeit (Artificial Analysis)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 7. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · GPT-5.4 mini API model documentation · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 7. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · GPT-5.4 mini API model documentation · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	parameters-billions Originalwortlaut OpenAI does not publish parameter counts.
In den geprüften Quellen nicht gefunden	independent-benchmarks Originalwortlaut The evaluated rows in this artifact are the exact OpenAI release-table entries; no independent evaluator row was merged.
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Taste-Bench paper (abgerufen 26. September 2026)
Weitere Quelle	LMArena (abgerufen 15. Oktober 2026)
Weitere Quelle	LMArena (abgerufen 15. Oktober 2026)
Weitere Quelle	LMArena (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 11. August 2026; 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	OpenAI (abgerufen 8. September 2026) · Introducing GPT-5.4 mini and nano · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0