SprachmodellAktiv

o4-mini

OpenAI

Veröffentlicht: 16. April 2025
Datenstand: 8. September 2026

Intelligenz: Nicht gerankt
Gesamtwertung
Geschwindigkeit: 161 Token/s
Ausgabe-Tempo
Preis: 1,1 $ · 4,4 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.

Einträge 1-12 von 129. Seite 1 von 11.

Veröffentlichte Benchmarks

Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.

Wissen

2 Messreihen

MMLU-ProX

Average across 29 languages

Was der Benchmark prüft: 11.829 parallele Aufgaben je Sprache vergleichen Fachwissen und Reasoning in 29 Sprachen.

Einordnung: Die Ergebnisse gelten für 5-Shot Chain of Thought und sind nicht mit MMLU-Pro gleichzusetzen.

Mehr ist besser4 Modelleo4-mini: Platz 4 von 4Datenstand: 9. August 2026

1.DeepSeek-R175,5 %

2.GPT-4.172,7 %

3.DeepSeek-V370,5 %

4.o4-mini69,3 %

Skala: 0 % - 100 %

Quelle: MMLU-ProX

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: mmlu-prox:official:avg29
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-4ae1f5ee58bb. Prüfsumme der Quelldaten: 4ae1f5ee58bb2e6a2208d8415e43a17057b39437e9be1a5e159682b4382c3ad2. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: MMLU-ProX

MMLU-ProX

German

Was der Benchmark prüft: 11.829 parallele Aufgaben je Sprache vergleichen Fachwissen und Reasoning in 29 Sprachen.

Einordnung: Die Ergebnisse gelten für 5-Shot Chain of Thought und sind nicht mit MMLU-Pro gleichzusetzen.

Mehr ist besser4 Modelleo4-mini: Platz 4 von 4Datenstand: 9. August 2026

1.DeepSeek-R176,7 %

2.GPT-4.176,4 %

3.DeepSeek-V375,1 %

4.o4-mini73,5 %

Skala: 0 % - 100 %

Quelle: MMLU-ProX

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: mmlu-prox:official:de
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-90d621bff777. Prüfsumme der Quelldaten: 90d621bff777c9d2aa7dc65218750275ba47744d0837d4d5a64cba8b8dc534c7. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: MMLU-ProX

Finanzen

5 Messreihen

PRBench Finance

Overall

Was der Benchmark prüft: 600 realistische Finanzfragen mit gewichteten Kriterien, davon 300 im schwierigen Teildatensatz.

Einordnung: Ein o4-mini-Juror bewertet die Antworten. Fachliche Richtigkeit und praktische Verlässlichkeit bleiben deshalb getrennte Fragen.

Mehr ist besser16 Modelleo4-mini: Platz 12 von 16Datenstand: 26. August 2026

1.Claude Fable 553,86 %

2.Claude Opus 4.653,28 %

3.GPT-551,32 %

4.GPT-5 pro51,06 %

5.GPT-5.6 Sol50,45 %

6.o3-pro49,08 %

7.o347,69 %

8.Claude Opus 4.546,16 %

9.GPT-5.445,63 %

10.Claude Sonnet 4.543,79 %

11.Gemini 3.1 Pro Preview41,87 %

12.o4-mini39,22 %

13.Gemini 2.5 Pro38,92 %

14.Gemini 2.5 Flash38,41 %

15.GPT-4.134,32 %

16.Llama 4 Maverick22,36 %

Skala: 0 % - 100 %

Quelle: Scale AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-prbench-finance-full
Messgröße: weighted rubric score
Skala: 0-100
Teilnehmer: 16
Methodik und Einordnung: 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 39,22 % ± 0,51. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-cb85511c79df. Prüfsumme der Quelldaten: cb85511c79df577c828d76d1634d384655e39073f2581851974791a5d6b35d8a. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Scale AI

CorpFin v2

Exact Pages

Mehr ist besser3 Modelleo4-mini: Platz 1 von 3Datenstand: 11. August 2026

1.o4-mini63,99 %

2.o363,52 %

3.o3-mini56,41 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:exact_pages
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 3
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-06. Reasoning-Stufe: high. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 8.361. Standardfehler: 1.639. Kosten je Aufgabe in USD: 0.00449. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-08-11-d9e58d191cd9. Prüfsumme der Quelldaten: d9e58d191cd9f1690e3b59f0a37055813038531410f2d73e765676893c0f9526. Parserversion: vals-astro-v2. Importiert am: 2026-08-11

Quelle: Vals AI

CorpFin v2

Max Fitting Context

Mehr ist besser3 Modelleo4-mini: Platz 2 von 3Datenstand: 11. August 2026

1.o356,06 %

2.o4-mini55,01 %

3.o3-mini33,57 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:max_fitting_context
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 3
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-06. Reasoning-Stufe: high. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 27.127. Standardfehler: 1.698. Kosten je Aufgabe in USD: 0.144774. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-08-11-d9e58d191cd9. Prüfsumme der Quelldaten: d9e58d191cd9f1690e3b59f0a37055813038531410f2d73e765676893c0f9526. Parserversion: vals-astro-v2. Importiert am: 2026-08-11

Quelle: Vals AI

CorpFin v2

Overall

Mehr ist besser50 Modelleo4-mini: Platz 38 von 50Datenstand: 4. September 2026

1.Claude Opus 573,19 %

2.Claude Fable 571,83 %

3.Kimi K371,56 %

4.Inkling Small69,62 %

5.Inkling68,57 %

6.Grok 4.368,53 %

7.GPT-5.568,42 %

8.Kimi K2.568,26 %

9.Grok 4.567,41 %

10.Claude Sonnet 566,98 %

11.Kimi K2.666,74 %

12.Gemini 3 Flash66,43 %

13.Grok 4.666,16 %

14.GLM-5.266,12 %

15.GPT-5.6 Terra65,31 %

16.GPT-5.465,27 %

17.Gemini 3.5 Flash64,69 %

18.Gemini 3.1 Pro Preview64,49 %

19.GLM-5.164,45 %

20.GPT-5.6 Sol64,38 %

21.GPT-5.6 Luna64,22 %

22.Gemini 3.6 Flash63,33 %

23.GPT-4.163,05 %

24.GLM-562,9 %

25.MiMo-V2.5-Pro61,42 %

26.DeepSeek-V4-Pro61,38 %

27.GPT-5.4 nano61,19 %

28.GPT-561,07 %

29.GLM-4.560,96 %

30.GPT-5.4 mini60,92 %

31.Gemini 2.5 Pro60,8 %

32.Gemini 3.5 Flash-Lite60,68 %

33.Kimi K2 Thinking60,57 %

34.GPT-5 mini60,18 %

35.MiMo-V2.559,91 %

36.o359,71 %

37.Gemini 3.1 Flash-Lite59,36 %

38.o4-mini58,97 %

39.GPT OSS 120B58,24 %

40.GPT-4.1 mini57,93 %

41.GLM-4.656,84 %

42.DeepSeek-V3 032454,74 %

43.Trinity Large Thinking54,66 %

44.DeepSeek-R154,12 %

45.GPT OSS 20B53,15 %

46.DeepSeek-V352,49 %

47.GLM-4.746,39 %

48.GPT-4o mini45,46 %

49.o3-mini45,3 %

50.GPT-4.1 nano42,08 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 50
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 17.528. Kosten je Aufgabe in USD: 0.074104. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-04-46dad6684551. Prüfsumme der Quelldaten: 46dad668455190ee4239b7c743d00d81c6fd3127e0d87123c518ec107c13b44d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

CorpFin v2

Shared Max Context

Mehr ist besser3 Modelleo4-mini: Platz 2 von 3Datenstand: 11. August 2026

1.o359,56 %

2.o4-mini57,93 %

3.o3-mini45,92 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:shared_max_context
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 3
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-06. Reasoning-Stufe: high. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 17.095. Standardfehler: 1.685. Kosten je Aufgabe in USD: 0.073049. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-08-11-d9e58d191cd9. Prüfsumme der Quelldaten: d9e58d191cd9f1690e3b59f0a37055813038531410f2d73e765676893c0f9526. Parserversion: vals-astro-v2. Importiert am: 2026-08-11

Quelle: Vals AI

PRBench Legal

Overall

Was der Benchmark prüft: 500 realistische Rechtsfragen mit gewichteten Kriterien aus unterschiedlichen Ländern und Rechtsgebieten.

Einordnung: Der Benchmark misst professionelle Antwortqualität, ersetzt aber weder Rechtsprüfung noch menschliche Verantwortung.

Mehr ist besser16 Modelleo4-mini: Platz 14 von 16Datenstand: 26. August 2026

1.Claude Fable 552,56 %

2.Claude Opus 4.652,27 %

3.GPT-5.6 Sol50,5 %

4.GPT-5 pro49,89 %

5.o3-pro49,67 %

6.GPT-548,96 %

7.o348,57 %

8.GPT-5.444,35 %

9.Claude Opus 4.544,21 %

10.Gemini 3.1 Pro Preview44,02 %

11.Gemini 2.5 Pro41,43 %

12.Gemini 2.5 Flash41,02 %

13.Claude Sonnet 4.540,84 %

14.o4-mini38,11 %

15.GPT-4.136,48 %

16.Llama 4 Maverick24,84 %

Skala: 0 % - 100 %

Quelle: Scale AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-prbench-legal-full
Messgröße: weighted rubric score
Skala: 0-100
Teilnehmer: 16
Methodik und Einordnung: 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 38,11 % ± 0,69. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-b3b5c9b3fda5. Prüfsumme der Quelldaten: b3b5c9b3fda5d72967ecd21d2e35d5f69dbc954956c56834f6c4ae03b83b0bc5. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Scale AI

VisualToolBench

Overall

Was der Benchmark prüft: 1.204 visuelle Aufgaben verlangen Bildbearbeitung, Python, Websuche oder Rechnerzugriff mit höchstens 20 Werkzeugaufrufen.

Einordnung: Der Score gehört zum kompletten multimodalen Werkzeugsystem. Das Modell allein lässt sich daraus nicht isolieren.

Mehr ist besser10 Modelleo4-mini: Platz 6 von 10Datenstand: 26. August 2026

1.GPT-5.429,17 %

2.Gemini 3.1 Pro Preview28,97 %

3.Claude Opus 4.627,52 %

4.o313,74 %

5.Gemini 2.5 Pro11,75 %

6.o4-mini11,12 %

7.GPT-4.15,52 %

8.Gemini 2.5 Flash4,69 %

9.Llama 4 Scout1,58 %

10.Llama 4 Maverick1,41 %

Skala: 0 % - 100 %

Quelle: Scale AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-visual-toolbench-apr
Messgröße: average pass rate
Skala: 0-100
Teilnehmer: 10
Methodik und Einordnung: 1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 11,12 % ± 0,08. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-257d5236c47b. Prüfsumme der Quelldaten: 257d5236c47bbd830a034d02fa519f4460680db0bc46903d64a6d61d4dfa924d. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Scale AI

Reasoning

3 Messreihen

GPQA Diamond

Few-Shot CoT

Mehr ist besser4 Modelleo4-mini: Platz 3 von 4Datenstand: 11. August 2026

1.o382,83 %

2.o3-mini74,24 %

3.o4-mini73,74 %

4.o172,73 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:diamond_few_shot_cot
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-08-09. Reasoning-Stufe: high. Maximale Ausgabetoken: 100000. Latenz in Sekunden: 28.254. Standardfehler: 3.127. Kosten je Aufgabe in USD: 0.012662. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-08-11-d3325290a404. Prüfsumme der Quelldaten: d3325290a40411054e05ecb86812143465b4d8eee24a0f71f6cf5dfee5b232a1. Parserversion: vals-astro-v2. Importiert am: 2026-08-11

Quelle: Vals AI

GPQA Diamond

Zero-Shot CoT

Mehr ist besser4 Modelleo4-mini: Platz 3 von 4Datenstand: 11. August 2026

1.o385,35 %

2.o3-mini76,77 %

3.o4-mini75,25 %

4.o173,74 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:diamond_zero_shot_cot
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-08-09. Reasoning-Stufe: high. Maximale Ausgabetoken: 100000. Latenz in Sekunden: 31.754. Standardfehler: 3.067. Kosten je Aufgabe in USD: 0.01326. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-08-11-d3325290a404. Prüfsumme der Quelldaten: d3325290a40411054e05ecb86812143465b4d8eee24a0f71f6cf5dfee5b232a1. Parserversion: vals-astro-v2. Importiert am: 2026-08-11

Quelle: Vals AI

GPQA Diamond

Overall

Mehr ist besser54 Modelleo4-mini: Platz 42 von 54Datenstand: 4. September 2026

1.Gemini 3.1 Pro Preview95,45 %

2.GPT-5.6 Sol95,2 %

3.Grok 4.694,7 %

4.Gemini 3.8 Flash94,44 %

5.Gemini 3.7 Flash93,94 %

6.Claude Opus 593,43 %

6.Gemini 3.6 Flash93,43 %

8.Claude Fable 593,18 %

8.GPT-5.593,18 %

10.Grok 4.592,93 %

10.Kimi K392,93 %

12.Gemini 3.5 Flash92,68 %

13.GPT-5.491,67 %

13.GPT-5.6 Luna91,67 %

15.Grok 4.391,41 %

16.GPT-5.6 Terra90,91 %

17.DeepSeek-V4-Pro89,39 %

18.Kimi K2.689,14 %

19.Claude Sonnet 588,89 %

20.GLM-5.388,13 %

21.Gemini 3 Flash87,88 %

22.Inkling87,12 %

23.GLM-5.3-Flash86,36 %

24.GLM-5.285,61 %

24.GPT-585,61 %

26.GLM-5.184,52 %

27.Kimi K2.584,09 %

27.o384,09 %

29.Gemini 3.5 Flash-Lite83,84 %

30.Inkling Small83,59 %

31.GLM-583,33 %

32.GPT-5.4 mini83,08 %

33.MiMo-V2.5-Pro82,58 %

34.MiMo-V2.581,57 %

35.Gemini 3.1 Flash-Lite81,06 %

36.GPT-5 mini80,3 %

37.GLM-4.780,05 %

38.GPT OSS 120B78,54 %

38.Kimi K2 Thinking78,54 %

40.GPT-5.4 nano77,53 %

41.o3-mini75,51 %

42.GLM-4.674,5 %

42.o4-mini74,5 %

44.o173,23 %

45.GLM-4.572,22 %

46.GPT OSS 20B68,94 %

47.GPT-4.1 mini67,93 %

48.GPT-4.165,4 %

49.GPT-5 nano63,38 %

50.DeepSeek-V3 032461,62 %

51.DeepSeek-V354,55 %

52.GPT-4.1 nano50,76 %

53.GPT-4o mini44,19 %

54.Command R+31,06 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 30.004. Kosten je Aufgabe in USD: 0.012961. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-04-fc438726f0d8. Prüfsumme der Quelldaten: fc438726f0d8523d320f02d75ae372a3fa38b28b36f70fe318d119f55153560d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

MMLU-ProX: Average across 29 languages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 69.3
Bewertung: 69.3
Messgröße: accuracy
Einheit: %
Benchmark-Version: EMNLP 2025 full release
Kategorie: knowledge
Aufgabe: avg29
Aufgabenbezeichnung: Average across 29 languages
Richtung: Mehr ist besser
Vergleichskohorte: mmlu-prox:official:avg29
Quellentyp: official-leaderboard
Auswertung: MMLU-ProX
Status: active
Abrufdatum: 2026-08-09
Methodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-4ae1f5ee58bb. Prüfsumme der Quelldaten: 4ae1f5ee58bb2e6a2208d8415e43a17057b39437e9be1a5e159682b4382c3ad2. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.

Quelle MMLU-ProX

MMLU-ProX: German (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 73.5
Bewertung: 73.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: EMNLP 2025 full release
Kategorie: knowledge
Aufgabe: de
Aufgabenbezeichnung: German
Richtung: Mehr ist besser
Vergleichskohorte: mmlu-prox:official:de
Quellentyp: official-leaderboard
Auswertung: MMLU-ProX
Status: active
Abrufdatum: 2026-08-09
Methodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-90d621bff777. Prüfsumme der Quelldaten: 90d621bff777c9d2aa7dc65218750275ba47744d0837d4d5a64cba8b8dc534c7. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.

Quelle MMLU-ProX

PRBench Finance: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 39.22
Bewertung: 39.22
Messgröße: weighted rubric score
Einheit: %
Benchmark-Version: full finance set
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-prbench-finance-full
Konfidenzintervall: 0.51
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 39,22 % ± 0,51. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-cb85511c79df. Prüfsumme der Quelldaten: cb85511c79df577c828d76d1634d384655e39073f2581851974791a5d6b35d8a. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.

Quelle Scale AI

PRBench Legal: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.11
Bewertung: 38.11
Messgröße: weighted rubric score
Einheit: %
Benchmark-Version: full legal set
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-prbench-legal-full
Konfidenzintervall: 0.69
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 38,11 % ± 0,69. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-b3b5c9b3fda5. Prüfsumme der Quelldaten: b3b5c9b3fda5d72967ecd21d2e35d5f69dbc954956c56834f6c4ae03b83b0bc5. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.

Quelle Scale AI

VisualToolBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 11.12
Bewertung: 11.12
Messgröße: average pass rate
Einheit: %
Benchmark-Version: 1,204-task release
Kategorie: multimodal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-visual-toolbench-apr
Konfidenzintervall: 0.08
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.. Kennung des Quellmodells: curated/o4-mini. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 11,12 % ± 0,08. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-257d5236c47b. Prüfsumme der Quelldaten: 257d5236c47bbd830a034d02fa519f4460680db0bc46903d64a6d61d4dfa924d. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.

Quelle Scale AI

CorpFin v2: Exact Pages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 63.986
Bewertung: 63.986
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: exact_pages
Aufgabenbezeichnung: Exact Pages
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:exact_pages
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-08-11
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-06. Reasoning-Stufe: high. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 8.361. Standardfehler: 1.639. Kosten je Aufgabe in USD: 0.00449. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-08-11-d9e58d191cd9. Prüfsumme der Quelldaten: d9e58d191cd9f1690e3b59f0a37055813038531410f2d73e765676893c0f9526. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vergleichsmethodik: Reasoning-Stufe: high. Maximale Ausgabetoken: 16384

Quelle Vals AI

CorpFin v2: Max Fitting Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 55.012
Bewertung: 55.012
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: max_fitting_context
Aufgabenbezeichnung: Max Fitting Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:max_fitting_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-08-11
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-06. Reasoning-Stufe: high. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 27.127. Standardfehler: 1.698. Kosten je Aufgabe in USD: 0.144774. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-08-11-d9e58d191cd9. Prüfsumme der Quelldaten: d9e58d191cd9f1690e3b59f0a37055813038531410f2d73e765676893c0f9526. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vergleichsmethodik: Reasoning-Stufe: high. Maximale Ausgabetoken: 16384

Quelle Vals AI

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 58.974
Bewertung: 58.974
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 17.528. Kosten je Aufgabe in USD: 0.074104. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-04-46dad6684551. Prüfsumme der Quelldaten: 46dad668455190ee4239b7c743d00d81c6fd3127e0d87123c518ec107c13b44d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

CorpFin v2: Shared Max Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 57.925
Bewertung: 57.925
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: shared_max_context
Aufgabenbezeichnung: Shared Max Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:shared_max_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-08-11
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-06. Reasoning-Stufe: high. Maximale Ausgabetoken: 16384. Latenz in Sekunden: 17.095. Standardfehler: 1.685. Kosten je Aufgabe in USD: 0.073049. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-08-11-d9e58d191cd9. Prüfsumme der Quelldaten: d9e58d191cd9f1690e3b59f0a37055813038531410f2d73e765676893c0f9526. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vergleichsmethodik: Reasoning-Stufe: high. Maximale Ausgabetoken: 16384

Quelle Vals AI

GPQA Diamond: Few-Shot CoT (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 73.737
Bewertung: 73.737
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: diamond_few_shot_cot
Aufgabenbezeichnung: Few-Shot CoT
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:diamond_few_shot_cot
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-08-11
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-08-09. Reasoning-Stufe: high. Maximale Ausgabetoken: 100000. Latenz in Sekunden: 28.254. Standardfehler: 3.127. Kosten je Aufgabe in USD: 0.012662. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-08-11-d3325290a404. Prüfsumme der Quelldaten: d3325290a40411054e05ecb86812143465b4d8eee24a0f71f6cf5dfee5b232a1. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vergleichsmethodik: Reasoning-Stufe: high. Maximale Ausgabetoken: 100000

Quelle Vals AI

GPQA Diamond: Zero-Shot CoT (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 75.253
Bewertung: 75.253
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: diamond_zero_shot_cot
Aufgabenbezeichnung: Zero-Shot CoT
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:diamond_zero_shot_cot
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-08-11
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Anbieter laut Quelle: OpenAI. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-08-09. Reasoning-Stufe: high. Maximale Ausgabetoken: 100000. Latenz in Sekunden: 31.754. Standardfehler: 3.067. Kosten je Aufgabe in USD: 0.01326. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-08-11-d3325290a404. Prüfsumme der Quelldaten: d3325290a40411054e05ecb86812143465b4d8eee24a0f71f6cf5dfee5b232a1. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vergleichsmethodik: Reasoning-Stufe: high. Maximale Ausgabetoken: 100000

Quelle Vals AI

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 74.495
Bewertung: 74.495
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: openai/o4-mini-2025-04-16. Name des Quellmodells: o4-mini. Modellstand: o4-mini-2025-04-16. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 30.004. Kosten je Aufgabe in USD: 0.012961. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-04-fc438726f0d8. Prüfsumme der Quelldaten: fc438726f0d8523d320f02d75ae372a3fa38b28b36f70fe318d119f55153560d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

o4-mini

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

Nachweise

Quellen und Datenstand

Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.

Geschwindigkeit: OpenAI, High effort. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026.
Artificial Analysis Messmethode
Preis: API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten.
Preise
Eingabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation
Ausgabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation

Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.

Offene Nachweise und Recherchehinweise (Originalwortlaut)

In den geprüften Quellen nicht gefunden

parameters-billions. OpenAI API and release pages do not publish total or active parameter counts.

In den geprüften Quellen nicht gefunden

independent-benchmarks. This pass used the exact OpenAI model-column tables; no separate independent evaluator record was added.

Modellmetadaten (abgerufen 8. September 2026)Quelle
API-Preise (abgerufen 8. September 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 6. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 6. August 2026)Quelle
MMLU-ProX (abgerufen 9. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
OpenAI (abgerufen 8. September 2026)Quelle
Artificial Analysis (abgerufen 8. September 2026)Quelle
Messmethode der GeschwindigkeitQuelle

o4-mini

Veröffentlichte Benchmarks

Wissen

MMLU-ProX

MMLU-ProX

Finanzen

PRBench Finance

CorpFin v2

CorpFin v2

CorpFin v2

CorpFin v2

PRBench Legal

VisualToolBench

Reasoning

GPQA Diamond

GPQA Diamond

GPQA Diamond

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand