SprachmodellVeraltet

o3-pro

OpenAI

Veröffentlicht: 10. Juni 2025
Datenstand: 8. September 2026
Vorgängermodell: o1-pro (Herstellerdokumentation)
Nachfolgermodell: GPT-5 Pro

Benchmark-Meta-Score: Nicht berechenbar
Weniger als acht Testreihen
Preis: 20 $ · 80 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

Bei o3-pro liegt der Unterschied zu o3 im längeren Nachdenken vor der Antwort. OpenAI setzte diese Pro-Ausführung in ChatGPT Pro und der API ein.

GPT-5 Pro übernahm später die Pro-Rolle für besonders schwierige Fragen. o3-pro bleibt dabei ein eigener Checkpoint mit zusätzlichem Rechenaufwand gegenüber dem regulären o3.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	ProprietärQuelle
Zugang	APIQuelle
Kontextfenster	200.000 TokenQuelle
Knowledge Cutoff	1. Juni 2024Quelle
Hinweise	Reasoning-Modell, Parameterzahl nicht veröffentlichtQuelle
API-Modellkennung	o3-proQuelle
Maximale Ausgabe	100.000 TokenQuelle
Eingabe	Text, BildQuelle
Ausgabe	TextQuelle
Reasoning-Modus	medium, high, xhighQuelle
API-Schnittstellen	Responses APIQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle
Veröffentlichung	2025-06-10Quelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-08-26 - 2026-08-26

Gesamtindex

Noch nicht genug unabhängige Werte für einen Score

Ein Gesamtwert braucht mindestens acht Testreihen.

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Testreihen: 6
Testfamilien: 4 / 65
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Schlussfolgern

Index 5,7 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 2,6
95-%-Intervall: 2,1 bis 12,8
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 14 %

Finanzen

Index 16,6 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 4,6
95-%-Intervall: 9,1 bis 27,3
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 14 %

Recht

Index 21,1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 5,4
95-%-Intervall: 12,1 bis 33,1
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 25 %

Multimodal

Index 8,9 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 3,8
95-%-Intervall: 3,6 bis 18,7
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 25 %

Produktivität

Index 9,9 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 3,7
95-%-Intervall: 4,5 bis 19,1
Testreihen: 1
Testfamilien: 1 / 2
Quellen: 1
Anteil am festen Testpanel (informativ): 50 %

Bildung

Index 10,2 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 4,3
95-%-Intervall: 4,1 bis 21,2
Testreihen: 1
Testfamilien: 1 / 2
Quellen: 1
Anteil am festen Testpanel (informativ): 50 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 6 Testfamilien und 6 von 6 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: MultiChallenge
Produktivität · Mittleres Rangperzentil der Familie: 57,1 / 100
Gewicht der Familie im festen Testpanel (informativ): 0 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  multichallenge
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0 %
  Rohwert:
  62,4 %
  Messgröße:
  rubric pass rate
  Version:
  four multi-turn challenge types
  Teilnehmende Modelle:
  8
  Rangperzentil innerhalb der Kohorte:
  57,1 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-multichallenge-overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-multichallenge-overall
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.. Versuche: pass@1. Reasoning-Stufe: high
  Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 62,4 % ± 2,49. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-658a3e008a02. Prüfsumme der Quelldaten: 658a3e008a023110d3ccb0ba0342e3d55eb690fea0e546fd5c644a1287842ce7. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: MultiNRC
Schlussfolgern · Mittleres Rangperzentil der Familie: 45,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  multinrc
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,53 %
  Rohwert:
  49 %
  Messgröße:
  accuracy
  Version:
  French, Spanish, and Chinese release
  Teilnehmende Modelle:
  12
  Rangperzentil innerhalb der Kohorte:
  45,5 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-multinrc-native-languages
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-multinrc-native-languages
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.. Versuche: pass@1. Reasoning-Stufe: high
  Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 49 % ± 3,02. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-145f9b03fae8. Prüfsumme der Quelldaten: 145f9b03fae81a57d6da422e17ffd143e4dd7869da95b1408b0f8ce896b4246a. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: PRBench Finance
Finanzen · Mittleres Rangperzentil der Familie: 66,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  prbench-finance
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  49,08 %
  Messgröße:
  weighted rubric score
  Version:
  full finance set
  Teilnehmende Modelle:
  16
  Rangperzentil innerhalb der Kohorte:
  66,7 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-prbench-finance-full
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-prbench-finance-full
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Versuche: pass@1
  600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 49,08 % ± 0,79. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-a15dd5860124. Prüfsumme der Quelldaten: a15dd5860124c5d2805f234fc9e99880171cd19f76f66cacf63f4ab21a846ef0. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: PRBench Legal
Recht · Mittleres Rangperzentil der Familie: 73,3 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  prbench-legal
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  49,67 %
  Messgröße:
  weighted rubric score
  Version:
  full legal set
  Teilnehmende Modelle:
  16
  Rangperzentil innerhalb der Kohorte:
  73,3 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-prbench-legal-full
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-prbench-legal-full
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Versuche: pass@1
  500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 49,67 % ± 0,5. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-e1dcf6ae7d33. Prüfsumme der Quelldaten: e1dcf6ae7d33b234307f8bd4ba4bb133394e4cbca8c6ada0a92a5d927367d961. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: TutorBench
Bildung · Mittleres Rangperzentil der Familie: 66,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 0 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  tutorbench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0 %
  Rohwert:
  54,62 %
  Messgröße:
  weighted rubric score
  Version:
  1,490-task release
  Teilnehmende Modelle:
  10
  Rangperzentil innerhalb der Kohorte:
  66,7 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-tutorbench-overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-tutorbench-overall
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.. Versuche: pass@1
  1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 54,62 % ± 1,02. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-7a86c0e52382. Prüfsumme der Quelldaten: 7a86c0e52382f7157e90b4a75ffca0e79c104460ae4ac971206896a283b99856. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: VISTA
Multimodal · Mittleres Rangperzentil der Familie: 69,2 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vista
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,68 %
  Rohwert:
  51,63 %
  Messgröße:
  rubric score
  Version:
  758 private prompt-image pairs
  Teilnehmende Modelle:
  14
  Rangperzentil innerhalb der Kohorte:
  69,2 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-vista-private-overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-vista-private-overall
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.. Versuche: pass@1. Reasoning-Stufe: high
  758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 51,63 % ± 0,25. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-8a92ee7cf963. Prüfsumme der Quelldaten: 8a92ee7cf963b85d0a28682e186b6062fef61e9317b71ec8603f644cdb8020fd. Parserversion: curated-v1. Importiert am: 2026-10-15

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Scale AI Evals	6	0	6

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Veröffentlichte Benchmarks

Aider Polyglot

Overall

225 Code-Editing-Aufgaben aus Exercism in C++, Go, Java, JavaScript, Python und Rust. Aider, Edit-Format, Reasoning-Budget und zwei Versuche sind Teil des Resultats.

1.o3-pro84,9 %

2.Gemini 2.5 Pro83,1 %

3.o381,3 %

4.DeepSeek-R171,4 %

höhere Werte sind besserStand 2. September 2026Skala: 0 % - 100 %

Quelle: Aider

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: aider-polyglot-pass2-diff
Messgröße: percent correct after two attempts
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-28. Versuche: pass 2. Reasoning-Stufe: high. Latenz in Sekunden: 449. Kosten je Aufgabe in USD: 0.650332888888889. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-e7013fef86d5. Prüfsumme der Quelldaten: e7013fef86d5b6387e7d15e6603f3ef40570c3b4912902fafd102ce39a280110. Parserversion: curated-v1. Importiert am: 2026-10-15

MultiChallenge

Overall

Mehrstufige Gespräche prüfen Erinnern, Anweisungsbindung, versionierte Überarbeitung und innere Konsistenz. Die Aufgaben wurden anhand gemeinsamer Fehler sechs älterer Spitzenmodelle ausgewählt und können diese Modelle benachteiligen.

1.Gemini 3.1 Pro Preview71,37 %

2.GPT-5.4 Pro69,23 %

3.GPT-563,19 %

4.o3-pro62,4 %

5.Claude Opus 4.558,97 %

6.o356,62 %

7.Claude Opus 4.656,02 %

8.Claude Sonnet 4.555,32 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-multichallenge-overall
Messgröße: rubric pass rate
Skala: 0-100
Teilnehmer: 8
Methodik und Einordnung: Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 62,4 % ± 2,49. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-658a3e008a02. Prüfsumme der Quelldaten: 658a3e008a023110d3ccb0ba0342e3d55eb690fea0e546fd5c644a1287842ce7. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

MultiNRC

Overall

Native Reasoning-Aufgaben auf Französisch, Spanisch und Chinesisch, die nicht aus englischen Vorlagen übersetzt wurden. Drei Sprachen sind ein wichtiges Gegengewicht zu englischen Tests, aber noch keine globale Sprachabdeckung.

1.GPT-5 Pro65,2 %

2.Gemini 3.1 Pro Preview64,74 %

3.GPT-5.4 Pro62,27 %

4.GPT-5.458,29 %

5.GPT-552,13 %

6.o3-pro49 %

7.Gemini 2.5 Pro45,12 %

8.DeepSeek-R127,58 %

9.GPT-4.121,23 %

10.Llama 4 Maverick8,44 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-multinrc-native-languages
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 10
Methodik und Einordnung: Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 49 % ± 3,02. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-145f9b03fae8. Prüfsumme der Quelldaten: 145f9b03fae81a57d6da422e17ffd143e4dd7869da95b1408b0f8ce896b4246a. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

PRBench Finance

Overall

600 realistische Finanzfragen mit gewichteten Kriterien, davon 300 im schwierigen Teildatensatz. Ein o4-mini-Juror bewertet die Antworten. Fachliche Richtigkeit und praktische Verlässlichkeit bleiben deshalb getrennte Fragen.

1.Claude Fable 553,86 %

2.Claude Opus 4.653,28 %

3.GPT-551,32 %

4.GPT-5 Pro51,06 %

5.GPT-5.6 Sol50,45 %

6.o3-pro49,08 %

7.o347,69 %

8.Claude Opus 4.546,16 %

9.GPT-5.445,63 %

10.Claude Sonnet 4.543,79 %

11.Gemini 3.1 Pro Preview41,87 %

12.o4-mini39,22 %

13.Gemini 2.5 Pro38,92 %

14.Gemini 2.5 Flash38,41 %

15.GPT-4.134,32 %

16.Llama 4 Maverick22,36 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-prbench-finance-full
Messgröße: weighted rubric score
Skala: 0-100
Teilnehmer: 16
Methodik und Einordnung: 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 49,08 % ± 0,79. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-a15dd5860124. Prüfsumme der Quelldaten: a15dd5860124c5d2805f234fc9e99880171cd19f76f66cacf63f4ab21a846ef0. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

PRBench Legal

Overall

500 realistische Rechtsfragen mit gewichteten Kriterien aus unterschiedlichen Ländern und Rechtsgebieten. Der Benchmark misst professionelle Antwortqualität, ersetzt aber weder Rechtsprüfung noch menschliche Verantwortung.

1.Claude Fable 552,56 %

2.Claude Opus 4.652,27 %

3.GPT-5.6 Sol50,5 %

4.GPT-5 Pro49,89 %

5.o3-pro49,67 %

6.GPT-548,96 %

7.o348,57 %

8.GPT-5.444,35 %

9.Claude Opus 4.544,21 %

10.Gemini 3.1 Pro Preview44,02 %

11.Gemini 2.5 Pro41,43 %

12.Gemini 2.5 Flash41,02 %

13.Claude Sonnet 4.540,84 %

14.o4-mini38,11 %

15.GPT-4.136,48 %

16.Llama 4 Maverick24,84 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-prbench-legal-full
Messgröße: weighted rubric score
Skala: 0-100
Teilnehmer: 16
Methodik und Einordnung: 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 49,67 % ± 0,5. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-e1dcf6ae7d33. Prüfsumme der Quelldaten: e1dcf6ae7d33b234307f8bd4ba4bb133394e4cbca8c6ada0a92a5d927367d961. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

TutorBench

Overall

1.490 Aufgaben prüfen adaptive Erklärungen, Feedback und Hinweise in sechs MINT-Fächern. Ein Claude-4-Sonnet-Juror bewertet gewichtete Rubriken. Gute Testwerte beweisen keine sichere Betreuung echter Lernender.

1.GPT-5.4 Pro56,62 %

2.Gemini 2.5 Pro55,65 %

3.GPT-555,33 %

4.o3-pro54,62 %

5.Gemini 3.1 Pro Preview52,99 %

6.Gemini 3.1 Flash-Lite51,5 %

7.Llama 4 Maverick40,2 %

8.GPT-4o36,12 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-tutorbench-overall
Messgröße: weighted rubric score
Skala: 0-100
Teilnehmer: 8
Methodik und Einordnung: 1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 54,62 % ± 1,02. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-7a86c0e52382. Prüfsumme der Quelldaten: 7a86c0e52382f7157e90b4a75ffca0e79c104460ae4ac971206896a283b99856. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

VISTA

Overall

758 Bild-Text-Aufgaben verbinden OCR, räumliches Verständnis, Objekterkennung und offene visuelle Schlussfolgerungen. Der Datensatz ist privat und wird mit aufgabenspezifischen Rubriken bewertet. Die Ergebnisse sind daher schwer unabhängig nachzurechnen.

1.Gemini 2.5 Pro54,63 %

2.GPT-5.4 Pro53,89 %

3.GPT-5 Pro52,39 %

4.o3-pro51,63 %

5.GPT-5.450,89 %

6.GPT-5 mini50,39 %

7.GPT-549,69 %

8.GPT-4.145,34 %

9.GPT-4.1 mini41,14 %

10.Llama 4 Maverick38,33 %

11.GPT-4.1 nano26,55 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-vista-private-overall
Messgröße: rubric score
Skala: 0-100
Teilnehmer: 11
Methodik und Einordnung: 758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 51,63 % ± 0,25. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-8a92ee7cf963. Prüfsumme der Quelldaten: 8a92ee7cf963b85d0a28682e186b6062fef61e9317b71ec8603f644cdb8020fd. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

Messungen ohne passende Vergleichswerte

Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.

o3-pro win rate vs o3 - All Queries (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 64
Bewertung: 64
Messgröße: percent
Einheit: %
Kategorie: Human preference
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: OpenAI
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. o3-pro vs o3; human testers; point estimate

o3-pro win rate vs o3 - Scientific Analysis (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 64.9
Bewertung: 64.9
Messgröße: percent
Einheit: %
Kategorie: Human preference
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: OpenAI
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. o3-pro vs o3; human testers; point estimate

o3-pro win rate vs o3 - Personal Writing (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 66.7
Bewertung: 66.7
Messgröße: percent
Einheit: %
Kategorie: Human preference
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: OpenAI
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. o3-pro vs o3; human testers; point estimate

o3-pro win rate vs o3 - Computer Programming (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 62.7
Bewertung: 62.7
Messgröße: percent
Einheit: %
Kategorie: Human preference
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: OpenAI
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. o3-pro vs o3; human testers; point estimate

o3-pro win rate vs o3 - Data Analysis (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 64.3
Bewertung: 64.3
Messgröße: percent
Einheit: %
Kategorie: Human preference
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: OpenAI
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. o3-pro vs o3; human testers; point estimate

Dokumentierte Messdetails

Aider Polyglot: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 84.9
Bewertung: 84.9
Messgröße: percent correct after two attempts
Einheit: %
Benchmark-Version: 225-case polyglot suite
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: aider-polyglot-pass2-diff
Quellentyp: official-leaderboard
Auswertung: Aider
Status: active
Abrufdatum: 2026-09-02
Methodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-28. Versuche: pass 2. Reasoning-Stufe: high. Latenz in Sekunden: 449. Kosten je Aufgabe in USD: 0.650332888888889. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-e7013fef86d5. Prüfsumme der Quelldaten: e7013fef86d5b6387e7d15e6603f3ef40570c3b4912902fafd102ce39a280110. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.

MultiChallenge: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 62.4
Bewertung: 62.4
Messgröße: rubric pass rate
Einheit: %
Benchmark-Version: four multi-turn challenge types
Kategorie: productivity
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-multichallenge-overall
Konfidenzintervall: 2.49
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 62,4 % ± 2,49. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-658a3e008a02. Prüfsumme der Quelldaten: 658a3e008a023110d3ccb0ba0342e3d55eb690fea0e546fd5c644a1287842ce7. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.

Quelle Scale AI

MultiNRC: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 49
Bewertung: 49
Messgröße: accuracy
Einheit: %
Benchmark-Version: French, Spanish, and Chinese release
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-multinrc-native-languages
Konfidenzintervall: 3.02
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 49 % ± 3,02. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-145f9b03fae8. Prüfsumme der Quelldaten: 145f9b03fae81a57d6da422e17ffd143e4dd7869da95b1408b0f8ce896b4246a. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.

Quelle Scale AI

PRBench Finance: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 49.08
Bewertung: 49.08
Messgröße: weighted rubric score
Einheit: %
Benchmark-Version: full finance set
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-prbench-finance-full
Konfidenzintervall: 0.79
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 49,08 % ± 0,79. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-a15dd5860124. Prüfsumme der Quelldaten: a15dd5860124c5d2805f234fc9e99880171cd19f76f66cacf63f4ab21a846ef0. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.

Quelle Scale AI

PRBench Legal: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 49.67
Bewertung: 49.67
Messgröße: weighted rubric score
Einheit: %
Benchmark-Version: full legal set
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-prbench-legal-full
Konfidenzintervall: 0.5
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 49,67 % ± 0,5. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-e1dcf6ae7d33. Prüfsumme der Quelldaten: e1dcf6ae7d33b234307f8bd4ba4bb133394e4cbca8c6ada0a92a5d927367d961. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.

Quelle Scale AI

TutorBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 54.62
Bewertung: 54.62
Messgröße: weighted rubric score
Einheit: %
Benchmark-Version: 1,490-task release
Kategorie: education
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-tutorbench-overall
Konfidenzintervall: 1.02
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 54,62 % ± 1,02. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-7a86c0e52382. Prüfsumme der Quelldaten: 7a86c0e52382f7157e90b4a75ffca0e79c104460ae4ac971206896a283b99856. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.

Quelle Scale AI

VISTA: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 51.63
Bewertung: 51.63
Messgröße: rubric score
Einheit: %
Benchmark-Version: 758 private prompt-image pairs
Kategorie: multimodal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-vista-private-overall
Konfidenzintervall: 0.25
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.. Kennung des Quellmodells: curated/o3-pro. Name des Quellmodells: o3-pro. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: high. Angezeigter Wert: 51,63 % ± 0,25. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-8a92ee7cf963. Prüfsumme der Quelldaten: 8a92ee7cf963b85d0a28682e186b6062fef61e9317b71ec8603f644cdb8020fd. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.

Quelle Scale AI

Seite 1 von 2

Vorgänger und Nachfolger

Vorgänger: o1-pro (Herstellerdokumentation)
Herstellerdokumentation
Beleg zur Modellfolge
OpenAI announced o3-pro rolling out to all ChatGPT Pro and Team users in the model picker in place of o1-pro, the previous Pro-tier reasoning model; o1-pro has no directory profile.
OpenAI o3-pro rollout announcement (2026-09-19)
Nachfolger: GPT-5 Pro
Beleg zur Modellfolge
OpenAI describes GPT-5 pro as replacing OpenAI o3-pro for the most challenging, complex tasks. This records the provider's explicit Pro-tier replacement statement, not the broader GPT-5 model-picker migration.
OpenAI, "Introducing GPT-5" (2026-09-22)

Quellen und Datenstand

Art	Nachweis und Datenstand
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · Modellmetadaten (abgerufen 8. September 2026) · o3-pro API model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · o3-pro API model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · o3-pro API model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 7 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	independent-benchmarks Originalwortlaut The recorded o3-pro benchmark rows are official vendor evaluations; no independent evaluator row was merged.
In den geprüften Quellen nicht gefunden	parameters-billions Originalwortlaut OpenAI does not publish parameter counts.
In den geprüften Quellen nicht gefunden	AA benchmark rows Originalwortlaut No exact-model row in the selected public JSON-LD datasets (some pages only expose N/A or unknown metric summaries).
Weitere Quelle	Aider (abgerufen 2. September 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	OpenAI (abgerufen 8. September 2026)
Weitere Quelle	OpenAI (abgerufen 8. September 2026)
Weitere Quelle	OpenAI (abgerufen 8. September 2026)
Weitere Quelle	Modellmetadaten (abgerufen 8. September 2026)
Weitere Quelle	Introducing OpenAI o3 and o4-mini · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0
Weitere Quelle	OpenAI o3-pro rollout announcement (2026-09-19)
Weitere Quelle	OpenAI, "Introducing GPT-5" (2026-09-22)