SprachmodellAktiv

GPT-4o mini

OpenAI

Veröffentlicht: 18. Juli 2024
Datenstand: 8. September 2026
Nachfolgermodell: GPT-4.1 mini

Benchmark-Meta-Score: 0 / 100
Vorläufig, noch ohne Platz. Standardfehler ± 0
Geschwindigkeit: 149,3 Token/s
Ausgabe-Tempo
Preis: 0,15 $ · 0,6 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

GPT-4o mini übertrug die Text- und Bildeingaben der GPT-4o-Generation auf eine kompakte, günstige API-Stufe.

GPT-4.1 mini folgte mit einem deutlich größeren Kontextfenster und stärkerem Schwerpunkt auf Coding und Instruktionsbefolgung.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	ProprietärQuelle nicht angegeben
Zugang	APIQuelle
Parameter	8 Mrd. (geschätzt)Quelle nicht angegeben
Kontextfenster	128.000 TokenQuelle
Knowledge Cutoff	Oktober 2023Quelle
Hinweise	Analystenschätzungen deuten auf ~8B Parameter hinQuelle nicht angegeben
API-Modellkennung	gpt-4o-miniQuelle
Maximale Ausgabe	16.384 TokenQuelle
Wissensstand	2023-10-01Quelle
Eingabe	Text, BildQuelle
Ausgabe	TextQuelle
Reasoning-Modus	noneQuelle
API-Schnittstellen	Responses API, Chat Completions APIQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle
Veröffentlichung	2024-07-18Quelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-08-05 - 2026-10-19

Gesamtindex

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 14
Testfamilien: 13 / 65
Quellen: 3
Anteil am festen Testpanel (informativ): 22 %

Programmieren

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 15
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Schlussfolgern

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Mathematik

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 2
Testfamilien: 2 / 5
Quellen: 1
Anteil am festen Testpanel (informativ): 40 %

Wissen

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Agenten

Index unter 1 / 100

vorläufig

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 2
Testfamilien: 2 / 12
Quellen: 1
Anteil am festen Testpanel (informativ): 17 %

Allgemein

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 5
Quellen: 1
Anteil am festen Testpanel (informativ): 20 %

Finanzen

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 3
Testfamilien: 3 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 43 %

Gesundheit

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Multimodal

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 2
Testfamilien: 1 / 4
Quellen: 2
Anteil am festen Testpanel (informativ): 25 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 13 Testfamilien und 12 von 14 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: IFBench
Allgemein · Mittleres Rangperzentil der Familie: 8,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-ifbench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  30,952380952381 %
  Messgröße:
  IFBench prompt-level loose accuracy (pass@1)
  Version:
  AA test set: 294 questions
  Teilnehmende Modelle:
  70
  Rangperzentil innerhalb der Kohorte:
  8,7 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:tokens=0:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-ifbench","AA test set: 294 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Single-turn answer evaluated with the official IFBench source code
  Versuche:
  pass@1, 5 repeats per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-4o mini (Release gpt-4o-mini, Zeile gpt-4o-mini, UUID b5c1c91a-7474-4409-9a9c-9c2ac45d9eb6, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning
  Exakte AA-Konfiguration: GPT-4o mini (Release gpt-4o-mini, Zeile gpt-4o-mini, UUID b5c1c91a-7474-4409-9a9c-9c2ac45d9eb6, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/b5c1c91a-7474-4409-9a9c-9c2ac45d9eb6/gpt-4o-mini/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-4o mini. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Angezeigter Wert: 31,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: GPQA Diamond
Schlussfolgern · Mittleres Rangperzentil der Familie: 3,3 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-gpqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,77 %
  Rohwert:
  44,192 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  77
  Rangperzentil innerhalb der Kohorte:
  3,3 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-gpqa:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-gpqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 15.32. Standardfehler: 2.495. Kosten je Aufgabe in USD: 0.000536. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: GAIA Reliability
Agenten · Mittleres Rangperzentil der Familie: 0,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Princeton HAL
  Einzelmessung:
  hal-gaia-reliability
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,89 %
  Rohwert:
  26,3 %
  Messgröße:
  exact-match accuracy
  Version:
  final leak-cleaned public validation set
  Teilnehmende Modelle:
  9
  Rangperzentil innerhalb der Kohorte:
  0,0 %
  Abgerufen:
  2026-08-06
  Vergleichskohorte:
  hal-gaia-reliability-hal-reliability-overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  hal-gaia-reliability-hal-reliability-overall
  Datensatztyp:
  public
  Harness:
  HAL Reliability
  Agent:
  HAL Reliability
  Setup- und Modellparameter
  165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Harness: HAL Reliability. Agent: HAL Reliability
  165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-441190f58bf4. Prüfsumme der Quelldaten: 441190f58bf43ee1768f98ba21281cc3c97dbd93e50fdde45d9e816fc9137976. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: τ-bench Airline Clean
Agenten · Mittleres Rangperzentil der Familie: 0,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Princeton HAL
  Einzelmessung:
  hal-tau-airline-clean
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,89 %
  Rohwert:
  29,5 %
  Messgröße:
  task success rate
  Version:
  26-task cleaned subset
  Teilnehmende Modelle:
  9
  Rangperzentil innerhalb der Kohorte:
  0,0 %
  Abgerufen:
  2026-08-05
  Vergleichskohorte:
  hal-tau-airline-clean-hal-reliability-overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  hal-tau-airline-clean-hal-reliability-overall
  Datensatztyp:
  public
  Harness:
  HAL Reliability
  Agent:
  HAL Reliability
  Setup- und Modellparameter
  26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Harness: HAL Reliability. Agent: HAL Reliability
  26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-d92ebee642b2. Prüfsumme der Quelldaten: d92ebee642b24d08cf3917332b6eb47c5e1332b475553443f7b181dd115c5b91. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: MMMU-Pro
Multimodal · Mittleres Rangperzentil der Familie: 2,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-mmmu-pro
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  1,34 %
  Rohwert:
  41,5028901734104 %
  Messgröße:
  pass@1 accuracy
  Version:
  AA cohort: 1,730 questions
  Teilnehmende Modelle:
  57
  Rangperzentil innerhalb der Kohorte:
  3,6 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:non-reasoning:tokens=0:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-mmmu-pro","AA cohort: 1,730 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Ten-option multiple choice; regex answer extraction
  Versuche:
  pass@1, one run per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-4o mini (Release gpt-4o-mini, Zeile gpt-4o-mini, UUID b5c1c91a-7474-4409-9a9c-9c2ac45d9eb6, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning
  Exakte AA-Konfiguration: GPT-4o mini (Release gpt-4o-mini, Zeile gpt-4o-mini, UUID b5c1c91a-7474-4409-9a9c-9c2ac45d9eb6, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/b5c1c91a-7474-4409-9a9c-9c2ac45d9eb6/gpt-4o-mini/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: GPT-4o mini. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Angezeigter Wert: 41,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mmmu
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  1,34 %
  Rohwert:
  56,557 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  48
  Rangperzentil innerhalb der Kohorte:
  2,1 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mmmu:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mmmu:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 45.016. Standardfehler: 1.191. Kosten je Aufgabe in USD: 0.00037. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmmu-2026-10-15-29395186eddd. Prüfsumme der Quelldaten: 29395186eddd2c70601228c584a14b3c1d8f9dba4b68256561b46b0dd03c635a. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: CorpFin v2
Finanzen · Mittleres Rangperzentil der Familie: 4,1 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-corp-fin-v2
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  45,455 %
  Messgröße:
  accuracy
  Version:
  2
  Teilnehmende Modelle:
  75
  Rangperzentil innerhalb der Kohorte:
  4,1 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-corp-fin-v2:2:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-corp-fin-v2:2:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 0.041. Standardfehler: 0.977. Kosten je Aufgabe in USD: 0.008848. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LiveCodeBench v6
Programmieren · Mittleres Rangperzentil der Familie: 1,3 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-lcb
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,71 %
  Rohwert:
  26,423 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  78
  Rangperzentil innerhalb der Kohorte:
  1,3 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-lcb:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-lcb:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 7.364. Standardfehler: 1.129. Kosten je Aufgabe in USD: 0.000298. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MATH 500
Mathematik · Mittleres Rangperzentil der Familie: 4,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-math500
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  72,6 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  23
  Rangperzentil innerhalb der Kohorte:
  4,5 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-math500:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-math500:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 0. Maximale Ausgabetoken: 8192
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Reasoning-Stufe: high. Temperatur: 0. Maximale Ausgabetoken: 8192. Latenz in Sekunden: 6.304. Standardfehler: 3.898. Kosten je Aufgabe in USD: 0.00035. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-10-15-435ec4da1112. Prüfsumme der Quelldaten: 435ec4da1112362c0a6bb4afeab53bf7b0faf2000e1ddbe1a878735dca1fe35b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MedQA
Gesundheit · Mittleres Rangperzentil der Familie: 12,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-medqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,78 %
  Rohwert:
  72,436 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  40
  Rangperzentil innerhalb der Kohorte:
  12,8 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-medqa:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-medqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 2.322. Standardfehler: 0.799. Kosten je Aufgabe in USD: 0.000157. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medqa-2026-10-15-d67905978d93. Prüfsumme der Quelldaten: d67905978d932f64698ebe9e230d9519e5bae1c9d7176dda8379dc3874b6f90f. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MGSM
Mathematik · Mittleres Rangperzentil der Familie: 13,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mgsm
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  86,182 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  30
  Rangperzentil innerhalb der Kohorte:
  13,8 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mgsm:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mgsm:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 4.033. Standardfehler: 2.133. Kosten je Aufgabe in USD: 0.000187. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mgsm-2026-10-15-1b87f953e52c. Prüfsumme der Quelldaten: 1b87f953e52c00bf4bdd90c3add26165f644eeb7a74a8382d2a0324ff0cc1040. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MMLU-Pro
Wissen · Mittleres Rangperzentil der Familie: 1,3 / 100
Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mmlu-pro
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  3,57 %
  Rohwert:
  62,735 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  78
  Rangperzentil innerhalb der Kohorte:
  1,3 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mmlu-pro:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mmlu-pro:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384
  Kennung des Quellmodells: openai/gpt-4o-mini-2024-07-18. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4o-mini-2024-07-18. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 5.086. Standardfehler: 0.461. Kosten je Aufgabe in USD: 0.000412. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-10-15-dab025507f46. Prüfsumme der Quelldaten: dab025507f46c716dd8d145e90ec0a737d9c56219853f41e4b1cc3c5e8c222b4. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MortgageTax
Finanzen · Mittleres Rangperzentil der Familie: 11,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: TaxEval v2
Finanzen · Mittleres Rangperzentil der Familie: 2,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	2	1	9
Vals AI	11	0	56
Princeton HAL	2	0	12

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Bei 6 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.

Veröffentlichte Benchmarks

Agentenaufgaben

GAIA Reliability

Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen. Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Teilaufgabe	GPT-4o mini (Dieses Modell)	Claude Opus 4.5	Claude Opus 4.7	Gemini 3.1 Pro Preview	Gemini 3.5 Flash	Gemini 2.5 Pro	Gemini 2.5 Flash	o1	GPT-5.5
Consistency	0,73	0,81 (bester Wert dieser Zeile)	0,81 (bester Wert dieser Zeile)	0,76	0,75	0,72	0,7	0,68	0,61
Predictability	0,58	0,84 (bester Wert dieser Zeile)	0,73	0,78	0,8	0,71	0,64	0,68	0,8
Reliability	0,76	0,85 (bester Wert dieser Zeile)	0,84	0,82	0,84	0,78	0,74	0,79	0,79
Robustness	0,97	0,91	0,99	0,94	0,96	0,91	0,87	1 (bester Wert dieser Zeile)	0,95
Safety	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)

Einheit: Bewertunghöhere Werte sind besserStand 6. August 2026Quelle: Princeton HALBalken je Zeile skaliert, nicht über Zeilen hinweg

GAIA Reliability

Accuracy

1.Gemini 3.5 Flash79,2 %

2.Gemini 3.1 Pro Preview76,2 %

3.Claude Opus 4.773,3 %

4.Claude Opus 4.568,5 %

5.GPT-5.562,8 %

6.Gemini 2.5 Pro52,5 %

7.Gemini 2.5 Flash46,7 %

8.o134,4 %

9.GPT-4o mini26,3 %

höhere Werte sind besserStand 6. August 2026Skala: 0 % - 100 %

Quelle: Princeton HAL

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Messgröße: exact-match accuracy
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-441190f58bf4. Prüfsumme der Quelldaten: 441190f58bf43ee1768f98ba21281cc3c97dbd93e50fdde45d9e816fc9137976. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Princeton HAL

τ-bench Airline Clean

26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen. Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Teilaufgabe	GPT-4o mini (Dieses Modell)	Claude Opus 4.7	Claude Opus 4.5	GPT-5.5	Gemini 3.1 Pro Preview	Gemini 3.5 Flash	Gemini 2.5 Flash	Gemini 2.5 Pro	o1
Consistency	0,74	0,88 (bester Wert dieser Zeile)	0,84	0,84	0,81	0,78	0,75	0,74	0,71
Predictability	0,35	0,87 (bester Wert dieser Zeile)	0,85	0,84	0,83	0,82	0,6	0,78	0,74
Reliability	0,67	0,89 (bester Wert dieser Zeile)	0,88	0,89 (bester Wert dieser Zeile)	0,86	0,86	0,72	0,81	0,81
Robustness	0,93	0,91	0,97	0,97	0,94	0,97	0,82	0,93	0,98 (bester Wert dieser Zeile)
Safety	0,85	0,94	0,98	0,96	0,97	0,99 (bester Wert dieser Zeile)	0,9	0,92	0,91

Einheit: Bewertunghöhere Werte sind besserStand 5. August 2026Quelle: Princeton HALBalken je Zeile skaliert, nicht über Zeilen hinweg

τ-bench Airline Clean

Accuracy

1.Claude Opus 4.784,6 %

2.Gemini 3.1 Pro Preview82,1 %

3.Claude Opus 4.580,8 %

3.Gemini 3.5 Flash80,8 %

5.GPT-5.579,5 %

6.Gemini 2.5 Pro71,8 %

7.o166,2 %

8.Gemini 2.5 Flash59 %

9.GPT-4o mini29,5 %

höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %

Quelle: Princeton HAL

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-overall
Messgröße: task success rate
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-d92ebee642b2. Prüfsumme der Quelldaten: d92ebee642b24d08cf3917332b6eb47c5e1332b475553443f7b181dd115c5b91. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Princeton HAL

Dokumentierte Messdetails

GAIA Reliability: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.73
Bewertung: 0.73
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-b9a95297d4ec. Prüfsumme der Quelldaten: b9a95297d4ece6abc36f31aac8cf976f92d4246a3ed4b99cf2e842f06b58c87b. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.58
Bewertung: 0.58
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b241e589f41. Prüfsumme der Quelldaten: 7b241e589f419187e043f7adb2ced034d2473c897385c649ba050b1bdb0b3229. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.76
Bewertung: 0.76
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-da0b6b1749b6. Prüfsumme der Quelldaten: da0b6b1749b66a7ae012a8ccbd11b9177f90c132f5afacfcc96b8dd9297396ea. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.97
Bewertung: 0.97
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-bf43b4155a46. Prüfsumme der Quelldaten: bf43b4155a4669508574513fe077bd40298dd1e3bb98afa4ec694839481574a1. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1
Bewertung: 1
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-ecc218e3d73e. Prüfsumme der Quelldaten: ecc218e3d73e8416cb96ec0b8cf34ce2c4d21f205c4ab9d1229d78121c4725e0. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 26.3
Bewertung: 26.3
Messgröße: exact-match accuracy
Einheit: %
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-441190f58bf4. Prüfsumme der Quelldaten: 441190f58bf43ee1768f98ba21281cc3c97dbd93e50fdde45d9e816fc9137976. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

τ-bench Airline Clean: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.74
Bewertung: 0.74
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-8400878e788c. Prüfsumme der Quelldaten: 8400878e788c6664ed84932f7fca367058ab95c3e531fcd1c51e93e57a4dd233. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.35
Bewertung: 0.35
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-c35619e391d3. Prüfsumme der Quelldaten: c35619e391d36c7d2812660952978da8fb1f54d02512d7c7757a4361611e6382. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.67
Bewertung: 0.67
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-1269bcbf9a8c. Prüfsumme der Quelldaten: 1269bcbf9a8c4ef53772153b789f62ea2ad09834c781605a213cad2df6524c81. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.93
Bewertung: 0.93
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6d10b4cb6839. Prüfsumme der Quelldaten: 6d10b4cb68392cf777aaac6a06fee2bddff25e9ee793486587e866d09158b5ac. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.85
Bewertung: 0.85
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-c133a6448b92. Prüfsumme der Quelldaten: c133a6448b92ae287d22a270b7228dc9c155982dd9f47c2e15616b61d2f94df3. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 29.5
Bewertung: 29.5
Messgröße: task success rate
Einheit: %
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gpt-4o-mini. Name des Quellmodells: GPT-4o mini. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-d92ebee642b2. Prüfsumme der Quelldaten: d92ebee642b24d08cf3917332b6eb47c5e1332b475553443f7b181dd115c5b91. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

Seite 1 von 8

Vorgänger und Nachfolger

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	OpenAI. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise (abgerufen 8. September 2026) · GPT-4o mini API model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · API-Preise (abgerufen 8. September 2026) · GPT-4o mini API model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · API-Preise (abgerufen 8. September 2026) · GPT-4o mini API model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	parameters-billions Originalwortlaut OpenAI does not publish parameter counts.
In den geprüften Quellen nicht gefunden	independent-benchmarks Originalwortlaut This pass retained the exact OpenAI launch-page results; no independent evaluator row was merged.
Weitere Quelle	Kontextfenster-Daten
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Princeton HAL (abgerufen 6. August 2026)
Weitere Quelle	Princeton HAL (abgerufen 5. August 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	OpenAI (abgerufen 8. September 2026) · GPT-4o mini: advancing cost-efficient intelligence · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0
Weitere Quelle	Introducing GPT-4.1 in the API (2026-09-19)

Technische Daten und Zugang

Gesamt- und Bereichsscores

Gesamtindex

Programmieren

Schlussfolgern

Mathematik

Wissen

Agenten

Allgemein

Finanzen

Gesundheit

Multimodal

Testfamilie: IFBench

Testfamilie: GPQA Diamond

Testfamilie: GAIA Reliability

Testfamilie: τ-bench Airline Clean

Testfamilie: MMMU-Pro

Testfamilie: CorpFin v2

Testfamilie: LiveCodeBench v6

Testfamilie: MATH 500

Testfamilie: MedQA

Testfamilie: MGSM

Testfamilie: MMLU-Pro

Testfamilie: MortgageTax

Testfamilie: TaxEval v2

Benchmarkquellen im Überblick

Veröffentlichte Benchmarks

Agentenaufgaben

GAIA Reliability

GAIA Reliability

τ-bench Airline Clean

τ-bench Airline Clean

Dokumentierte Messdetails

Unsere Tests

SVG-Kurztest

GPT-4o mini

Pelikan auf dem Fahrrad

Beliebtheit

Veröffentlichte Preise

Vorgänger und Nachfolger

Quellen und Datenstand