SprachmodellAktiv

o3

OpenAI

Veröffentlicht: 16. April 2025
Datenstand: 8. September 2026

Intelligenz: Nicht gerankt
Gesamtwertung
Geschwindigkeit: 178,4 Token/s
Ausgabe-Tempo
Preis: 2 $ · 8 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.

Einträge 1-12 von 124. Seite 1 von 11.

Veröffentlichte Benchmarks

Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.

Programmieren

7 Messreihen

Aider Polyglot

Overall

Was der Benchmark prüft: 225 Code-Editing-Aufgaben aus Exercism in C++, Go, Java, JavaScript, Python und Rust.

Einordnung: Aider, Edit-Format, Reasoning-Budget und zwei Versuche sind Teil des Resultats.

Mehr ist besser4 Modelleo3: Platz 3 von 4Datenstand: 2. September 2026

1.o3-pro84,9 %

2.Gemini 2.5 Pro83,1 %

3.o381,3 %

4.DeepSeek-R171,4 %

Skala: 0 % - 100 %

Quelle: Aider

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: aider-polyglot-pass2-diff
Messgröße: percent correct after two attempts
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-25. Versuche: pass 2. Reasoning-Stufe: high. Latenz in Sekunden: 197.3. Kosten je Aufgabe in USD: 0.09433733333333331. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-2c407c1b0871. Prüfsumme der Quelldaten: 2c407c1b08711911ae3339b8d2b4a107fea7ea85865b411dda839aa972c4195a. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Aider

SciCode

Accuracy

Was der Benchmark prüft: 65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten.

Einordnung: Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.

Mehr ist besser2 Modelleo3: Platz 1 von 2Datenstand: 5. August 2026

1.o33,08 %

2.GPT-4.11,54 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scicode-hal-generalist-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 2
Methodik und Einordnung: HAL Generalist auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Generalist. Agent: HAL Generalist. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 1.0304615384615383. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-0dae933d0c9e. Prüfsumme der Quelldaten: 0dae933d0c9e77627c932b50291c4be7cd13136af178d02a9b2fad27a4c037e8. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

SciCode

Accuracy

Was der Benchmark prüft: 65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten.

Einordnung: Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.

Mehr ist besser4 Modelleo3: Platz 1 von 4Datenstand: 5. August 2026

1.o39,23 %

2.GPT-56,15 %

3.Claude Sonnet 4.53,08 %

4.GPT-4.11,54 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scicode-scicode-tool-calling-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: SciCode Tool Calling auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Tool Calling. Agent: SciCode Tool Calling. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 1.7093846153846153. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-3b73275854bb. Prüfsumme der Quelldaten: 3b73275854bb2de797dd9ed67237c8ad83c065e9283768a925ef571bd04c9156. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

SciCode

Accuracy

Was der Benchmark prüft: 65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten.

Einordnung: Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.

Mehr ist besser3 Modelleo3: Platz 2 von 3Datenstand: 5. August 2026

1.GPT-4.16,15 %

2.o34,62 %

3.DeepSeek-V33,08 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scicode-scicode-zero-shot-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 3
Methodik und Einordnung: SciCode Zero Shot auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Zero Shot. Agent: SciCode Zero Shot. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.09276923076923076. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-df59398e4579. Prüfsumme der Quelldaten: df59398e457968e8e4222c4fd0fae3ecb1a86262fd0a3b12ddce6534ca487f62. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

ScienceAgentBench

Accuracy

Was der Benchmark prüft: 102 von Fachleuten geprüfte Aufgaben für datengetriebene wissenschaftliche Arbeit.

Einordnung: Agentengerüst, Werkzeuge und Codeausführung sind Teil des Ergebnisses. HAL nennt an verschiedenen Stellen 42 und 44 zugrunde liegende Publikationen.

Mehr ist besser5 Modelleo3: Platz 1 von 5Datenstand: 6. August 2026

1.o333,33 %

2.GPT-530,39 %

3.GPT-4.124,51 %

4.DeepSeek-R123,53 %

5.DeepSeek-V315,69 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scienceagentbench-sab-self-debug-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SAB Self-Debug. Agent: SAB Self-Debug. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.1146078431372549. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-9ade5dc68557. Prüfsumme der Quelldaten: 9ade5dc685576c1832cf9d48efadbc1874421ff2f41acf31b26b010ad5d90e6c. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

SWE-bench Verified Mini

Accuracy

Was der Benchmark prüft: Zufälliger, vollständig von Menschen geprüfter Ausschnitt mit 50 GitHub-Issues aus 12 Python-Repositories.

Einordnung: Der kleine Ausschnitt ist günstiger, aber statistisch weniger stabil als die vollständigen 500 Aufgaben. SWE-Agent und HAL Generalist bleiben getrennt.

Hinweis (o3): HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

Mehr ist besser4 Modelleo3: Platz 1 von 4Datenstand: 5. August 2026

1.GPT-546 %

Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

1.o346 %

3.GPT-4.144 %

Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

4.DeepSeek-V324 %

Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-swebench-verified-mini-swe-agent-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SWE-Agent. Agent: SWE-Agent. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 9.6686. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-dfc1141bc4df. Prüfsumme der Quelldaten: dfc1141bc4df34f7ad53b05ff9088f1baa14b509e1ab3d6f61197895235f081c. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

USACO

Accuracy

Was der Benchmark prüft: 307 algorithmische Programmieraufgaben von Bronze bis Platinum mit vollständigen Tests.

Einordnung: Der Test misst Wettbewerbsprogrammierung, nicht Repository-Navigation, Wartbarkeit oder Produktkomfort.

Mehr ist besser5 Modelleo3: Platz 2 von 5Datenstand: 6. August 2026

1.GPT-569,06 %

2.o346,25 %

3.GPT-4.144,95 %

4.DeepSeek-V339,09 %

5.DeepSeek-R138,11 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-usaco-usaco-episodic-semantic-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: USACO Episodic + Semantic. Agent: USACO Episodic + Semantic. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.18664495114006513. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-a6c14f678280. Prüfsumme der Quelldaten: a6c14f67828082f2e362b304d2937f0008fbe7325b9f9537343e362916bda5c2. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Agentenaufgaben

5 Messreihen

AssistantBench

Accuracy

Was der Benchmark prüft: 33 automatisch prüfbare HAL-Aufgaben aus 214 realistischen, zeitaufwendigen Web-Rechercheaufgaben.

Einordnung: Der veröffentlichte HAL-Ausschnitt ist kleiner als der vollständige Datensatz. Die Kosten berücksichtigen keine Cache-Vorteile.

Mehr ist besser4 Modelleo3: Platz 1 von 4Datenstand: 5. August 2026

1.o338,81 %

2.GPT-535,23 %

3.GPT-4.117,39 %

4.DeepSeek-V32,03 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-assistantbench-browser-use-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Ein gemeinsames Browser-Use-Gerüst löst 33 verifizierte HAL-Aufgaben. Kosten sind durch 33 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.4590909090909091. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-841883e41588. Prüfsumme der Quelldaten: 841883e4158871aba9a9d77489fe6a278e31e51c19da95a103f354da8eef2ce1. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Online Mind2Web

Accuracy

Was der Benchmark prüft: 300 verifizierte Aufgaben auf 136 dynamischen Live-Websites.

Einordnung: SeeAct und Browser-Use sind unterschiedliche Agentengerüste und bleiben deshalb getrennte Vergleichsgruppen.

Mehr ist besser5 Modelleo3: Platz 4 von 5Datenstand: 5. August 2026

1.GPT-4.136,33 %

2.DeepSeek-V332,33 %

3.GPT-532 %

4.o329 %

5.DeepSeek-R125,33 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-online-mind2web-browser-use-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 1.2386333333333333. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-77ccfede6f14. Prüfsumme der Quelldaten: 77ccfede6f14eea25d1a9500c263a7724e8796b6e0eadad09ca22ede439c8eee. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Online Mind2Web

Accuracy

Was der Benchmark prüft: 300 verifizierte Aufgaben auf 136 dynamischen Live-Websites.

Einordnung: SeeAct und Browser-Use sind unterschiedliche Agentengerüste und bleiben deshalb getrennte Vergleichsgruppen.

Mehr ist besser3 Modelleo3: Platz 2 von 3Datenstand: 5. August 2026

1.GPT-542,33 %

2.o339 %

3.GPT-4.130,33 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-online-mind2web-seeact-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 3
Methodik und Einordnung: Das SeeAct-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SeeAct. Agent: SeeAct. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.8624666666666667. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-a37c8133bcb5. Prüfsumme der Quelldaten: a37c8133bcb5512d66e07429ceef993f88084374775f340990b09ed7555b4e1b. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

METR Time Horizon

50% time horizon

Was der Benchmark prüft: Aufgabenlänge nach menschlicher Bearbeitungszeit, bei der ein Modell-Agent 50 oder 80 Prozent Erfolgswahrscheinlichkeit erreicht.

Einordnung: Die Minuten bezeichnen menschliche Aufgabenzeit, nicht Modelllaufzeit. Werte oberhalb von 16 Stunden sind laut METR unzuverlässig.

Mehr ist besser4 Modelleo3: Platz 4 von 4Datenstand: 26. August 2026

1.Gemini 3.1 Pro Preview384,15 Minuten

2.GPT-5.3-Codex349,53 Minuten

3.GPT-5203,01 Minuten

4.o3119,73 Minuten

Skala: 0 Minuten - 384,15 Minuten

Quelle: METR

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: metr-th1-1-p50
Messgröße: 50% time horizon
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 4
Methodik und Einordnung: Triframe-Agent, sechs unabhängige Läufe je Aufgabe. Die Zeit ist die geschätzte menschliche Bearbeitungsdauer.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Modellstand: o3-2025-04-16. Evaluator: METR. Datensatztyp: public. Stand der Rangliste: 2026-05-08. Harness: Triframe. Agent: Triframe. Versuche: 6 independent runs per task. Angezeigter Wert: 2 Std. (95-Prozent-Konfidenzintervall 1,2 Std. bis 3,2 Std.). Quellenkennung: metr. Kennung der Evidenzaufnahme: curated-metr-2026-08-26-ed07fab486b1. Prüfsumme der Quelldaten: ed07fab486b18c5739fa21d045fe99cbdcf441b72457a5e6ebf4c0dbd8cec361. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: METR

METR Time Horizon

80% time horizon

Was der Benchmark prüft: Aufgabenlänge nach menschlicher Bearbeitungszeit, bei der ein Modell-Agent 50 oder 80 Prozent Erfolgswahrscheinlichkeit erreicht.

Einordnung: Die Minuten bezeichnen menschliche Aufgabenzeit, nicht Modelllaufzeit. Werte oberhalb von 16 Stunden sind laut METR unzuverlässig.

Mehr ist besser4 Modelleo3: Platz 4 von 4Datenstand: 26. August 2026

1.Gemini 3.1 Pro Preview89,8 Minuten

2.GPT-5.3-Codex54,74 Minuten

3.GPT-538,31 Minuten

4.o329,98 Minuten

Skala: 0 Minuten - 89,8 Minuten

Quelle: METR

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: metr-th1-1-p80
Messgröße: 80% time horizon
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 4
Methodik und Einordnung: Triframe-Agent, sechs unabhängige Läufe je Aufgabe. Die Zeit ist die geschätzte menschliche Bearbeitungsdauer.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Modellstand: o3-2025-04-16. Evaluator: METR. Datensatztyp: public. Stand der Rangliste: 2026-05-08. Harness: Triframe. Agent: Triframe. Versuche: 6 independent runs per task. Angezeigter Wert: 30 min (95-Prozent-Konfidenzintervall 15,1 min bis 57,8 min). Quellenkennung: metr. Kennung der Evidenzaufnahme: curated-metr-2026-08-26-a746ff39dd06. Prüfsumme der Quelldaten: a746ff39dd06992cab61063345954aed9bfa44921409b3070db3620aed664011. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: METR

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

Aider Polyglot: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 81.3
Bewertung: 81.3
Messgröße: percent correct after two attempts
Einheit: %
Benchmark-Version: 225-case polyglot suite
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: aider-polyglot-pass2-diff
Quellentyp: official-leaderboard
Auswertung: Aider
Status: active
Abrufdatum: 2026-09-02
Methodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-25. Versuche: pass 2. Reasoning-Stufe: high. Latenz in Sekunden: 197.3. Kosten je Aufgabe in USD: 0.09433733333333331. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-2c407c1b0871. Prüfsumme der Quelldaten: 2c407c1b08711911ae3339b8d2b4a107fea7ea85865b411dda839aa972c4195a. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.

Quelle Aider

AssistantBench: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.81
Bewertung: 38.81
Messgröße: accuracy
Einheit: %
Benchmark-Version: HAL 33-task public set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-assistantbench-browser-use-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: Ein gemeinsames Browser-Use-Gerüst löst 33 verifizierte HAL-Aufgaben. Kosten sind durch 33 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.4590909090909091. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-841883e41588. Prüfsumme der Quelldaten: 841883e4158871aba9a9d77489fe6a278e31e51c19da95a103f354da8eef2ce1. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Ein gemeinsames Browser-Use-Gerüst löst 33 verifizierte HAL-Aufgaben. Kosten sind durch 33 geteilt.

Quelle Princeton HAL

Online Mind2Web: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 29
Bewertung: 29
Messgröße: accuracy
Einheit: %
Benchmark-Version: 300-task live set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-online-mind2web-browser-use-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 1.2386333333333333. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-77ccfede6f14. Prüfsumme der Quelldaten: 77ccfede6f14eea25d1a9500c263a7724e8796b6e0eadad09ca22ede439c8eee. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.

Quelle Princeton HAL

Online Mind2Web: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 39
Bewertung: 39
Messgröße: accuracy
Einheit: %
Benchmark-Version: 300-task live set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-online-mind2web-seeact-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: Das SeeAct-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SeeAct. Agent: SeeAct. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.8624666666666667. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-a37c8133bcb5. Prüfsumme der Quelldaten: a37c8133bcb5512d66e07429ceef993f88084374775f340990b09ed7555b4e1b. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Das SeeAct-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.

Quelle Princeton HAL

SciCode: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 3.08
Bewertung: 3.08
Messgröße: accuracy
Einheit: %
Benchmark-Version: 65-problem main set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scicode-hal-generalist-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: HAL Generalist auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Generalist. Agent: HAL Generalist. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 1.0304615384615383. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-0dae933d0c9e. Prüfsumme der Quelldaten: 0dae933d0c9e77627c932b50291c4be7cd13136af178d02a9b2fad27a4c037e8. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: HAL Generalist auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.

Quelle Princeton HAL

SciCode: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 9.23
Bewertung: 9.23
Messgröße: accuracy
Einheit: %
Benchmark-Version: 65-problem main set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scicode-scicode-tool-calling-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: SciCode Tool Calling auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Tool Calling. Agent: SciCode Tool Calling. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 1.7093846153846153. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-3b73275854bb. Prüfsumme der Quelldaten: 3b73275854bb2de797dd9ed67237c8ad83c065e9283768a925ef571bd04c9156. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SciCode Tool Calling auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.

Quelle Princeton HAL

SciCode: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 4.62
Bewertung: 4.62
Messgröße: accuracy
Einheit: %
Benchmark-Version: 65-problem main set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scicode-scicode-zero-shot-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: SciCode Zero Shot auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Zero Shot. Agent: SciCode Zero Shot. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.09276923076923076. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-df59398e4579. Prüfsumme der Quelldaten: df59398e457968e8e4222c4fd0fae3ecb1a86262fd0a3b12ddce6534ca487f62. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SciCode Zero Shot auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.

Quelle Princeton HAL

ScienceAgentBench: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 33.33
Bewertung: 33.33
Messgröße: accuracy
Einheit: %
Benchmark-Version: verified 102-task set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scienceagentbench-sab-self-debug-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SAB Self-Debug. Agent: SAB Self-Debug. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.1146078431372549. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-9ade5dc68557. Prüfsumme der Quelldaten: 9ade5dc685576c1832cf9d48efadbc1874421ff2f41acf31b26b010ad5d90e6c. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.

Quelle Princeton HAL

SWE-bench Verified Mini: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 46
Bewertung: 46
Messgröße: accuracy
Einheit: %
Benchmark-Version: 50-task random verified subset
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-swebench-verified-mini-swe-agent-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SWE-Agent. Agent: SWE-Agent. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 9.6686. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-dfc1141bc4df. Prüfsumme der Quelldaten: dfc1141bc4df34f7ad53b05ff9088f1baa14b509e1ab3d6f61197895235f081c. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.
Einordnung: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

Quelle Princeton HAL

USACO: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 46.25
Bewertung: 46.25
Messgröße: accuracy
Einheit: %
Benchmark-Version: HAL 307-problem set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-usaco-usaco-episodic-semantic-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: USACO Episodic + Semantic. Agent: USACO Episodic + Semantic. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 0.18664495114006513. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-a6c14f678280. Prüfsumme der Quelldaten: a6c14f67828082f2e362b304d2937f0008fbe7325b9f9537343e362916bda5c2. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.

Quelle Princeton HAL

METR Time Horizon: 50% time horizon (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 119.732634
Bewertung: 119.732634
Messgröße: 50% time horizon
Einheit: minutes
Benchmark-Version: TH 1.1
Kategorie: agentic
Aufgabe: p50
Aufgabenbezeichnung: 50% time horizon
Richtung: Mehr ist besser
Vergleichskohorte: metr-th1-1-p50
Quellentyp: independent-evaluator
Auswertung: METR
Status: active
Abrufdatum: 2026-08-26
Methodik: Triframe-Agent, sechs unabhängige Läufe je Aufgabe. Die Zeit ist die geschätzte menschliche Bearbeitungsdauer.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Modellstand: o3-2025-04-16. Evaluator: METR. Datensatztyp: public. Stand der Rangliste: 2026-05-08. Harness: Triframe. Agent: Triframe. Versuche: 6 independent runs per task. Angezeigter Wert: 2 Std. (95-Prozent-Konfidenzintervall 1,2 Std. bis 3,2 Std.). Quellenkennung: metr. Kennung der Evidenzaufnahme: curated-metr-2026-08-26-ed07fab486b1. Prüfsumme der Quelldaten: ed07fab486b18c5739fa21d045fe99cbdcf441b72457a5e6ebf4c0dbd8cec361. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Triframe-Agent, sechs unabhängige Läufe je Aufgabe. Die Zeit ist die geschätzte menschliche Bearbeitungsdauer.

Quelle METR

METR Time Horizon: 80% time horizon (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 29.981603
Bewertung: 29.981603
Messgröße: 80% time horizon
Einheit: minutes
Benchmark-Version: TH 1.1
Kategorie: agentic
Aufgabe: p80
Aufgabenbezeichnung: 80% time horizon
Richtung: Mehr ist besser
Vergleichskohorte: metr-th1-1-p80
Quellentyp: independent-evaluator
Auswertung: METR
Status: active
Abrufdatum: 2026-08-26
Methodik: Triframe-Agent, sechs unabhängige Läufe je Aufgabe. Die Zeit ist die geschätzte menschliche Bearbeitungsdauer.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Modellstand: o3-2025-04-16. Evaluator: METR. Datensatztyp: public. Stand der Rangliste: 2026-05-08. Harness: Triframe. Agent: Triframe. Versuche: 6 independent runs per task. Angezeigter Wert: 30 min (95-Prozent-Konfidenzintervall 15,1 min bis 57,8 min). Quellenkennung: metr. Kennung der Evidenzaufnahme: curated-metr-2026-08-26-a746ff39dd06. Prüfsumme der Quelldaten: a746ff39dd06992cab61063345954aed9bfa44921409b3070db3620aed664011. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Triframe-Agent, sechs unabhängige Läufe je Aufgabe. Die Zeit ist die geschätzte menschliche Bearbeitungsdauer.

Quelle METR

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

Nachweise

Quellen und Datenstand

Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.

Geschwindigkeit: OpenAI. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Abgerufen am 8. September 2026.
Artificial Analysis Messmethode
Preis: API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten.
Preise
Eingabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation
Ausgabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation

Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.

Offene Nachweise und Recherchehinweise (Originalwortlaut)

In den geprüften Quellen nicht gefunden

parameters-billions. OpenAI API and release pages do not publish total or active parameter counts.

In den geprüften Quellen nicht gefunden

independent-benchmarks. This pass used the exact OpenAI model-column tables; no separate independent evaluator record was added.

Modellmetadaten (abgerufen 8. September 2026)Quelle
API-Preise (abgerufen 8. September 2026)Quelle
Aider (abgerufen 2. September 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 6. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
Princeton HAL (abgerufen 6. August 2026)Quelle
METR (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Kaggle (abgerufen 9. August 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
OpenAI (abgerufen 8. September 2026)Quelle
Artificial Analysis (abgerufen 8. September 2026)Quelle
Messmethode der GeschwindigkeitQuelle

o3

Veröffentlichte Benchmarks

Programmieren

Aider Polyglot

SciCode

SciCode

SciCode

ScienceAgentBench

SWE-bench Verified Mini

USACO

Agentenaufgaben

AssistantBench

Online Mind2Web

Online Mind2Web

METR Time Horizon

METR Time Horizon

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand