o3
In dieser Runde nicht verfügbar
OpenAI
Neu an o3 war die Verbindung von Reasoning und agentischer Werkzeugnutzung in ChatGPT. Das Modell kann selbst entscheiden, wann es Websuche, Python oder Bildgenerierung kombiniert. Es kann außerdem Bilder in seine Gedankengänge einbeziehen, statt sie nur vor dem Nachdenken zu beschreiben.
Gegenüber o1 berichtet OpenAI weniger schwere Fehler bei schwierigen Praxisaufgaben. o4-mini erschien parallel als kleinere, günstigere Stufe. o3-pro ergänzt o3 mit mehr Rechenaufwand für längeres Nachdenken.
Der Auswahlindex des LLM-Vergleichshubs mittelt Rangperzentile aus 65 dokumentierten Vergleichskohorten. Die Benchmark-Meta-Scores stehen im Benchmarkbereich.
Benchmark-Metaanalyse
Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.
Abrufstände der verwendeten Quellen 2026-08-05 - 2026-10-19
Index 4,3 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 5,0 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 2,7 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 1,2 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 4,4 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 4,6 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 6,3 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 7,7 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 13,1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 9,7 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 2,0 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 2,1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Index 3,0 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
Methodenfassung: benchmark-meta-score-v3
Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.
Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.
Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.
Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.
Die Quellenzahl ist keine Anzahl unabhängiger Experimente.
OECD-Handbuch zu zusammengesetzten IndikatorenAlle 28 Testfamilien und 12 von 29 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 0 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 50 %
Gewicht der Familie im festen Testpanel (informativ): 0 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 0 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 3 | 0 | 10 |
| Vals AI | 15 | 0 | 69 |
| METR | 1 | 0 | 2 |
| Princeton HAL | 6 | 0 | 9 |
| Scale AI Evals | 7 | 0 | 10 |
Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.
Bei 6 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.
Seite 1 von 11
Overall
225 Code-Editing-Aufgaben aus Exercism in C++, Go, Java, JavaScript, Python und Rust. Aider, Edit-Format, Reasoning-Budget und zwei Versuche sind Teil des Resultats.
höhere Werte sind besserStand 2. September 2026Skala: 0 % - 100 %
Accuracy
65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten. Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Accuracy
65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten. Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Accuracy
65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten. Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Accuracy
102 von Fachleuten geprüfte Aufgaben für datengetriebene wissenschaftliche Arbeit. Agentengerüst, Werkzeuge und Codeausführung sind Teil des Ergebnisses. HAL nennt an verschiedenen Stellen 42 und 44 zugrunde liegende Publikationen.
höhere Werte sind besserStand 6. August 2026Skala: 0 % - 100 %
Accuracy
Zufälliger, vollständig von Menschen geprüfter Ausschnitt mit 50 GitHub-Issues aus 12 Python-Repositories. Der kleine Ausschnitt ist günstiger, aber statistisch weniger stabil als die vollständigen 500 Aufgaben. SWE-Agent und HAL Generalist bleiben getrennt.
Hinweis (o3): HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.
Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.
Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.
Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Accuracy
307 algorithmische Programmieraufgaben von Bronze bis Platinum mit vollständigen Tests. Der Test misst Wettbewerbsprogrammierung, nicht Repository-Navigation, Wartbarkeit oder Produktkomfort.
höhere Werte sind besserStand 6. August 2026Skala: 0 % - 100 %
Accuracy
33 automatisch prüfbare HAL-Aufgaben aus 214 realistischen, zeitaufwendigen Web-Rechercheaufgaben. Der veröffentlichte HAL-Ausschnitt ist kleiner als der vollständige Datensatz. Die Kosten berücksichtigen keine Cache-Vorteile.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Accuracy
300 verifizierte Aufgaben auf 136 dynamischen Live-Websites. SeeAct und Browser-Use sind unterschiedliche Agentengerüste und bleiben deshalb getrennte Vergleichsgruppen.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Accuracy
300 verifizierte Aufgaben auf 136 dynamischen Live-Websites. SeeAct und Browser-Use sind unterschiedliche Agentengerüste und bleiben deshalb getrennte Vergleichsgruppen.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Aufgabenlänge nach menschlicher Bearbeitungszeit, bei der ein Modell-Agent 50 oder 80 Prozent Erfolgswahrscheinlichkeit erreicht. Die Minuten bezeichnen menschliche Aufgabenzeit, nicht Modelllaufzeit. Werte oberhalb von 16 Stunden sind laut METR unzuverlässig.
| Teilaufgabe | o3 (Dieses Modell) | Gemini 3.1 Pro Preview | GPT-5.3-Codex | GPT-5 |
|---|---|---|---|---|
| 50% time horizon | 119,73 | 384,15 (bester Wert dieser Zeile) | 349,53 | 203,01 |
| 80% time horizon | 29,98 | 89,8 (bester Wert dieser Zeile) | 54,74 | 38,31 |
Einheit: Minutenhöhere Werte sind besserStand 26. August 2026Quelle: METRBalken je Zeile skaliert, nicht über Zeilen hinweg
Seite 1 von 11
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
In dieser Runde nicht verfügbar
Community-Klassiker für eine freie SVG-Zeichnung.
o3

Reasoning (angefragt): high
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)22,2 / 100
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | ProprietärQuelle |
| Zugang | APIQuelle |
| Kontextfenster | 200.000 TokenQuelle |
| Knowledge Cutoff | 1. Juni 2024Quelle |
| Hinweise | Reasoning-Modell, Parameterzahl nicht veröffentlichtQuelle |
| API-Modellkennung | o3Quelle |
| Maximale Ausgabe | 100.000 TokenQuelle |
| Wissensstand | 2024-06-01Quelle |
| Eingabe | Text, BildQuelle |
| Ausgabe | TextQuelle |
| API-Schnittstellen | Responses API, Chat Completions APIQuelle |
| Reasoning-Modus | low, medium, high, xhighQuelle |
| Strukturierte Ausgabe | JaQuelle |
| Veröffentlichung | 2025-04-16Quelle |
OpenAI presents o3, released April 16, 2025, as the successor generation to o1, its prior full-size reasoning model (OpenAI skipped the name "o2" for trademark reasons).
OpenAI o3 and o4-mini system card / announcement (2026-09-19)