SprachmodellAktiv

o1

OpenAI

Veröffentlicht: September 2024
Datenstand: 8. September 2026

Intelligenz: Nicht gerankt
Gesamtwertung
Preis: 15 $ · 60 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.

Einträge 1-12 von 96. Seite 1 von 8.

Veröffentlichte Benchmarks

Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.

Agentenaufgaben

12 Messreihen

GAIA Reliability

Consistency

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 Modelleo1: Platz 8 von 9Datenstand: 6. August 2026

1.Claude Opus 4.50,81 Bewertung

1.Claude Opus 4.70,81 Bewertung

3.Gemini 3.1 Pro Preview0,76 Bewertung

4.Gemini 3.5 Flash0,75 Bewertung

5.GPT-4o mini0,73 Bewertung

6.Gemini 2.5 Pro0,72 Bewertung

7.Gemini 2.5 Flash0,7 Bewertung

8.o10,68 Bewertung

9.GPT-5.50,61 Bewertung

Skala: 0 Bewertung - 0,81 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-consistency
Messgröße: aggregate consistency
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-27db66c4b150. Prüfsumme der Quelldaten: 27db66c4b1505bf60fa380eecd40fee7eda73c877f0803d008198df8b45f3791. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Accuracy

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 Modelleo1: Platz 8 von 9Datenstand: 6. August 2026

1.Gemini 3.5 Flash79,2 %

2.Gemini 3.1 Pro Preview76,2 %

3.Claude Opus 4.773,3 %

4.Claude Opus 4.568,5 %

5.GPT-5.562,8 %

6.Gemini 2.5 Pro52,5 %

7.Gemini 2.5 Flash46,7 %

8.o134,4 %

9.GPT-4o mini26,3 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Messgröße: exact-match accuracy
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-0b27954353a7. Prüfsumme der Quelldaten: 0b27954353a7c19a0cf4d633cf03db86774a4f1731e1998e0c8fb557f2d2a1e2. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Predictability

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 Modelleo1: Platz 7 von 9Datenstand: 6. August 2026

1.Claude Opus 4.50,84 Bewertung

2.Gemini 3.5 Flash0,8 Bewertung

2.GPT-5.50,8 Bewertung

4.Gemini 3.1 Pro Preview0,78 Bewertung

5.Claude Opus 4.70,73 Bewertung

6.Gemini 2.5 Pro0,71 Bewertung

7.o10,68 Bewertung

8.Gemini 2.5 Flash0,64 Bewertung

9.GPT-4o mini0,58 Bewertung

Skala: 0 Bewertung - 0,84 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-predictability
Messgröße: aggregate predictability
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-700f4d20dd9d. Prüfsumme der Quelldaten: 700f4d20dd9d307edd3b70ea63bea10521b9663f054fbd5396515c5e6d58a23e. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Reliability

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 Modelleo1: Platz 5 von 9Datenstand: 6. August 2026

1.Claude Opus 4.50,85 Bewertung

2.Claude Opus 4.70,84 Bewertung

2.Gemini 3.5 Flash0,84 Bewertung

4.Gemini 3.1 Pro Preview0,82 Bewertung

5.GPT-5.50,79 Bewertung

5.o10,79 Bewertung

7.Gemini 2.5 Pro0,78 Bewertung

8.GPT-4o mini0,76 Bewertung

9.Gemini 2.5 Flash0,74 Bewertung

Skala: 0 Bewertung - 0,85 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-reliability
Messgröße: aggregate reliability
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c89e5f0e01ee. Prüfsumme der Quelldaten: c89e5f0e01ee0e1799681553dc22a1859d3956fc995c42b953c9e9ca454623de. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Robustness

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 Modelleo1: Platz 1 von 9Datenstand: 6. August 2026

1.o11 Bewertung

2.Claude Opus 4.70,99 Bewertung

3.GPT-4o mini0,97 Bewertung

4.Gemini 3.5 Flash0,96 Bewertung

5.GPT-5.50,95 Bewertung

6.Gemini 3.1 Pro Preview0,94 Bewertung

7.Claude Opus 4.50,91 Bewertung

7.Gemini 2.5 Pro0,91 Bewertung

9.Gemini 2.5 Flash0,87 Bewertung

Skala: 0 Bewertung - 1 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-robustness
Messgröße: aggregate robustness
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-9be6ee834442. Prüfsumme der Quelldaten: 9be6ee83444284a66ed293c950e953648c71aa6c5f5a6948dfe582d11f5de1a7. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Safety

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 Modelleo1: Platz 1 von 9Datenstand: 6. August 2026

1.Claude Opus 4.51 Bewertung

1.Claude Opus 4.71 Bewertung

1.Gemini 2.5 Flash1 Bewertung

1.Gemini 2.5 Pro1 Bewertung

1.Gemini 3.1 Pro Preview1 Bewertung

1.Gemini 3.5 Flash1 Bewertung

1.GPT-4o mini1 Bewertung

1.GPT-5.51 Bewertung

1.o11 Bewertung

Skala: 0 Bewertung - 1 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-safety
Messgröße: aggregate safety
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b08c2b52623. Prüfsumme der Quelldaten: 7b08c2b5262365cef8eb694f50ae89c6c0f11eb7984429f024285528558e9d60. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

τ-bench Airline Clean

Consistency

Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.

Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Mehr ist besser9 Modelleo1: Platz 9 von 9Datenstand: 5. August 2026

1.Claude Opus 4.70,88 Bewertung

2.Claude Opus 4.50,84 Bewertung

2.GPT-5.50,84 Bewertung

4.Gemini 3.1 Pro Preview0,81 Bewertung

5.Gemini 3.5 Flash0,78 Bewertung

6.Gemini 2.5 Flash0,75 Bewertung

7.Gemini 2.5 Pro0,74 Bewertung

7.GPT-4o mini0,74 Bewertung

9.o10,71 Bewertung

Skala: 0 Bewertung - 0,88 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-consistency
Messgröße: aggregate consistency
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6bfdff20ad21. Prüfsumme der Quelldaten: 6bfdff20ad21b3817ab0b539ad53e6a383f542222890c8da5d58512d9c1fb6de. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

τ-bench Airline Clean

Accuracy

Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.

Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Mehr ist besser9 Modelleo1: Platz 7 von 9Datenstand: 5. August 2026

1.Claude Opus 4.784,6 %

2.Gemini 3.1 Pro Preview82,1 %

3.Claude Opus 4.580,8 %

3.Gemini 3.5 Flash80,8 %

5.GPT-5.579,5 %

6.Gemini 2.5 Pro71,8 %

7.o166,2 %

8.Gemini 2.5 Flash59 %

9.GPT-4o mini29,5 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-overall
Messgröße: task success rate
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-5c14c4dac3c3. Prüfsumme der Quelldaten: 5c14c4dac3c3d877041cbb52e3bbb6b35af52ee20551afb0f3638c0c305ace9a. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

τ-bench Airline Clean

Predictability

Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.

Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Mehr ist besser9 Modelleo1: Platz 7 von 9Datenstand: 5. August 2026

1.Claude Opus 4.70,87 Bewertung

2.Claude Opus 4.50,85 Bewertung

3.GPT-5.50,84 Bewertung

4.Gemini 3.1 Pro Preview0,83 Bewertung

5.Gemini 3.5 Flash0,82 Bewertung

6.Gemini 2.5 Pro0,78 Bewertung

7.o10,74 Bewertung

8.Gemini 2.5 Flash0,6 Bewertung

9.GPT-4o mini0,35 Bewertung

Skala: 0 Bewertung - 0,87 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-predictability
Messgröße: aggregate predictability
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-b8057f91c3e8. Prüfsumme der Quelldaten: b8057f91c3e8f20eb208ea8d8f905d219b30748861becf6a8e887a5aaffb89c4. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

τ-bench Airline Clean

Reliability

Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.

Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Mehr ist besser9 Modelleo1: Platz 6 von 9Datenstand: 5. August 2026

1.Claude Opus 4.70,89 Bewertung

1.GPT-5.50,89 Bewertung

3.Claude Opus 4.50,88 Bewertung

4.Gemini 3.1 Pro Preview0,86 Bewertung

4.Gemini 3.5 Flash0,86 Bewertung

6.Gemini 2.5 Pro0,81 Bewertung

6.o10,81 Bewertung

8.Gemini 2.5 Flash0,72 Bewertung

9.GPT-4o mini0,67 Bewertung

Skala: 0 Bewertung - 0,89 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-reliability
Messgröße: aggregate reliability
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-48cde879a7c5. Prüfsumme der Quelldaten: 48cde879a7c52057c3803e0d18835b0ea4e6df4b46597d59a6a52eb88436f488. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

τ-bench Airline Clean

Robustness

Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.

Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Mehr ist besser9 Modelleo1: Platz 1 von 9Datenstand: 5. August 2026

1.o10,98 Bewertung

2.Claude Opus 4.50,97 Bewertung

2.Gemini 3.5 Flash0,97 Bewertung

2.GPT-5.50,97 Bewertung

5.Gemini 3.1 Pro Preview0,94 Bewertung

6.Gemini 2.5 Pro0,93 Bewertung

6.GPT-4o mini0,93 Bewertung

8.Claude Opus 4.70,91 Bewertung

9.Gemini 2.5 Flash0,82 Bewertung

Skala: 0 Bewertung - 0,98 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-robustness
Messgröße: aggregate robustness
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-7b9ebb788fcf. Prüfsumme der Quelldaten: 7b9ebb788fcf11648139fae639ecce250a38592c83eefa9a7102bb675706babb. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

τ-bench Airline Clean

Safety

Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.

Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Mehr ist besser9 Modelleo1: Platz 7 von 9Datenstand: 5. August 2026

1.Gemini 3.5 Flash0,99 Bewertung

2.Claude Opus 4.50,98 Bewertung

3.Gemini 3.1 Pro Preview0,97 Bewertung

4.GPT-5.50,96 Bewertung

5.Claude Opus 4.70,94 Bewertung

6.Gemini 2.5 Pro0,92 Bewertung

7.o10,91 Bewertung

8.Gemini 2.5 Flash0,9 Bewertung

9.GPT-4o mini0,85 Bewertung

Skala: 0 Bewertung - 0,99 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-safety
Messgröße: aggregate safety
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-d485db5c9de6. Prüfsumme der Quelldaten: d485db5c9de6349be1692c7b6233d809eed3d2e75925a6fefa9a9e2191debf88. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

GAIA Reliability: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.68
Bewertung: 0.68
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-27db66c4b150. Prüfsumme der Quelldaten: 27db66c4b1505bf60fa380eecd40fee7eda73c877f0803d008198df8b45f3791. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 34.4
Bewertung: 34.4
Messgröße: exact-match accuracy
Einheit: %
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-0b27954353a7. Prüfsumme der Quelldaten: 0b27954353a7c19a0cf4d633cf03db86774a4f1731e1998e0c8fb557f2d2a1e2. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.68
Bewertung: 0.68
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-700f4d20dd9d. Prüfsumme der Quelldaten: 700f4d20dd9d307edd3b70ea63bea10521b9663f054fbd5396515c5e6d58a23e. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.79
Bewertung: 0.79
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c89e5f0e01ee. Prüfsumme der Quelldaten: c89e5f0e01ee0e1799681553dc22a1859d3956fc995c42b953c9e9ca454623de. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1
Bewertung: 1
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-9be6ee834442. Prüfsumme der Quelldaten: 9be6ee83444284a66ed293c950e953648c71aa6c5f5a6948dfe582d11f5de1a7. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1
Bewertung: 1
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b08c2b52623. Prüfsumme der Quelldaten: 7b08c2b5262365cef8eb694f50ae89c6c0f11eb7984429f024285528558e9d60. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

τ-bench Airline Clean: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.71
Bewertung: 0.71
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6bfdff20ad21. Prüfsumme der Quelldaten: 6bfdff20ad21b3817ab0b539ad53e6a383f542222890c8da5d58512d9c1fb6de. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 66.2
Bewertung: 66.2
Messgröße: task success rate
Einheit: %
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-5c14c4dac3c3. Prüfsumme der Quelldaten: 5c14c4dac3c3d877041cbb52e3bbb6b35af52ee20551afb0f3638c0c305ace9a. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.74
Bewertung: 0.74
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-b8057f91c3e8. Prüfsumme der Quelldaten: b8057f91c3e8f20eb208ea8d8f905d219b30748861becf6a8e887a5aaffb89c4. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.81
Bewertung: 0.81
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-48cde879a7c5. Prüfsumme der Quelldaten: 48cde879a7c52057c3803e0d18835b0ea4e6df4b46597d59a6a52eb88436f488. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.98
Bewertung: 0.98
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-7b9ebb788fcf. Prüfsumme der Quelldaten: 7b9ebb788fcf11648139fae639ecce250a38592c83eefa9a7102bb675706babb. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.91
Bewertung: 0.91
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-d485db5c9de6. Prüfsumme der Quelldaten: d485db5c9de6349be1692c7b6233d809eed3d2e75925a6fefa9a9e2191debf88. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

Nachweise

Quellen und Datenstand

Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.

Preis: API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten.
Preise
Eingabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation
Ausgabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation

Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.

Offene Nachweise und Recherchehinweise (Originalwortlaut)

In den geprüften Quellen nicht gefunden

parameters-billions. OpenAI API and release pages do not publish parameter counts.

In den geprüften Quellen nicht gefunden

independent-benchmarks. Only exact OpenAI appendix columns were used in this artifact.

Ungeklärt

release-date. The o1 family launched in September 2024, while the stable API snapshot was released in December 2024; this record does not choose between those distinct dates.

In den geprüften Quellen nicht gefunden

AA benchmark rows. No exact-model row in the selected public JSON-LD datasets (some pages only expose N/A or unknown metric summaries).

Kontextfenster-DatenQuelle
API-Preise (abgerufen 8. September 2026)Quelle
Princeton HAL (abgerufen 6. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
LongBench (abgerufen 2. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
OpenAI (abgerufen 8. September 2026)Quelle

o1

Veröffentlichte Benchmarks

Agentenaufgaben

GAIA Reliability

GAIA Reliability

GAIA Reliability

GAIA Reliability

GAIA Reliability

GAIA Reliability

τ-bench Airline Clean

τ-bench Airline Clean

τ-bench Airline Clean

τ-bench Airline Clean

τ-bench Airline Clean

τ-bench Airline Clean

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand