o1
In dieser Runde nicht verfügbar
SprachmodellVeraltet
o1
OpenAI
- Veröffentlicht
- Dezember 2024
- Datenstand
- 8. September 2026
- Nachfolgermodell
- o3
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild
- Ausgabe
- Text
Mit o1 setzte OpenAI auf ein Modell, das vor der Antwort zusätzliche Denkzeit nutzt. Verstärkendes Lernen trainierte es darauf, verschiedene Lösungswege zu prüfen und Fehler während des Nachdenkens zu erkennen. Das unterschied die o-Serie von GPT-Modellen mit direkten Antworten.
o3 erweiterte diese Reasoning-Linie später um agentische Werkzeugnutzung in ChatGPT, etwa die Kombination von Websuche und Python.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | ProprietärQuelle nicht angegeben |
| Zugang | APIQuelle |
| Kontextfenster | 200.000 TokenQuelle |
| Knowledge Cutoff | 1. Oktober 2023Quelle |
| Hinweise | Reasoning-Modell, Parameterzahl nicht veröffentlichtQuelle nicht angegeben |
| API-Modellkennung | o1Quelle |
| Maximale Ausgabe | 100.000 TokenQuelle |
| Wissensstand | 2023-10-01Quelle |
| Eingabe | Text, BildQuelle |
| Ausgabe | TextQuelle |
| Reasoning-Modus | highQuelle |
| API-Schnittstellen | Responses API, Chat Completions APIQuelle |
| Werkzeugaufrufe | JaQuelle |
| Strukturierte Ausgabe | JaQuelle |
Seite 1 von 8
Veröffentlichte Benchmarks
Agentenaufgaben
GAIA Reliability
Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen. Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
| Teilaufgabe | o1 (Dieses Modell) | Claude Opus 4.5 | Claude Opus 4.7 | Gemini 3.1 Pro Preview | Gemini 3.5 Flash | GPT-4o mini | Gemini 2.5 Pro | Gemini 2.5 Flash | GPT-5.5 |
|---|---|---|---|---|---|---|---|---|---|
| Consistency | 0,68 | 0,81 (bester Wert dieser Zeile) | 0,81 (bester Wert dieser Zeile) | 0,76 | 0,75 | 0,73 | 0,72 | 0,7 | 0,61 |
| Predictability | 0,68 | 0,84 (bester Wert dieser Zeile) | 0,73 | 0,78 | 0,8 | 0,58 | 0,71 | 0,64 | 0,8 |
| Reliability | 0,79 | 0,85 (bester Wert dieser Zeile) | 0,84 | 0,82 | 0,84 | 0,76 | 0,78 | 0,74 | 0,79 |
| Robustness | 1 (bester Wert dieser Zeile) | 0,91 | 0,99 | 0,94 | 0,96 | 0,97 | 0,91 | 0,87 | 0,95 |
| Safety | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) | 1 (bester Wert dieser Zeile) |
Einheit: Bewertunghöhere Werte sind besserStand 6. August 2026Quelle: Princeton HALBalken je Zeile skaliert, nicht über Zeilen hinweg
GAIA Reliability
Accuracy
Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen. Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
höhere Werte sind besserStand 6. August 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-overall
- Messgröße
- exact-match accuracy
- Skala
- 0-100
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-0b27954353a7. Prüfsumme der Quelldaten: 0b27954353a7c19a0cf4d633cf03db86774a4f1731e1998e0c8fb557f2d2a1e2. Parserversion: curated-v1. Importiert am: 2026-10-15
τ-bench Airline Clean
26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen. Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
| Teilaufgabe | o1 (Dieses Modell) | Claude Opus 4.7 | Claude Opus 4.5 | GPT-5.5 | Gemini 3.1 Pro Preview | Gemini 3.5 Flash | Gemini 2.5 Flash | Gemini 2.5 Pro | GPT-4o mini |
|---|---|---|---|---|---|---|---|---|---|
| Consistency | 0,71 | 0,88 (bester Wert dieser Zeile) | 0,84 | 0,84 | 0,81 | 0,78 | 0,75 | 0,74 | 0,74 |
| Predictability | 0,74 | 0,87 (bester Wert dieser Zeile) | 0,85 | 0,84 | 0,83 | 0,82 | 0,6 | 0,78 | 0,35 |
| Reliability | 0,81 | 0,89 (bester Wert dieser Zeile) | 0,88 | 0,89 (bester Wert dieser Zeile) | 0,86 | 0,86 | 0,72 | 0,81 | 0,67 |
| Robustness | 0,98 (bester Wert dieser Zeile) | 0,91 | 0,97 | 0,97 | 0,94 | 0,97 | 0,82 | 0,93 | 0,93 |
| Safety | 0,91 | 0,94 | 0,98 | 0,96 | 0,97 | 0,99 (bester Wert dieser Zeile) | 0,9 | 0,92 | 0,85 |
Einheit: Bewertunghöhere Werte sind besserStand 5. August 2026Quelle: Princeton HALBalken je Zeile skaliert, nicht über Zeilen hinweg
τ-bench Airline Clean
Accuracy
26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen. Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-overall
- Messgröße
- task success rate
- Skala
- 0-100
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-5c14c4dac3c3. Prüfsumme der Quelldaten: 5c14c4dac3c3d877041cbb52e3bbb6b35af52ee20551afb0f3638c0c305ace9a. Parserversion: curated-v1. Importiert am: 2026-10-15
Dokumentierte Messdetails
GAIA Reliability: Consistency (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.68
- Bewertung
- 0.68
- Messgröße
- aggregate consistency
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- consistency
- Aufgabenbezeichnung
- Consistency
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-consistency
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-27db66c4b150. Prüfsumme der Quelldaten: 27db66c4b1505bf60fa380eecd40fee7eda73c877f0803d008198df8b45f3791. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Predictability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.68
- Bewertung
- 0.68
- Messgröße
- aggregate predictability
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- predictability
- Aufgabenbezeichnung
- Predictability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-predictability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-700f4d20dd9d. Prüfsumme der Quelldaten: 700f4d20dd9d307edd3b70ea63bea10521b9663f054fbd5396515c5e6d58a23e. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Reliability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.79
- Bewertung
- 0.79
- Messgröße
- aggregate reliability
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- reliability
- Aufgabenbezeichnung
- Reliability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-reliability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c89e5f0e01ee. Prüfsumme der Quelldaten: c89e5f0e01ee0e1799681553dc22a1859d3956fc995c42b953c9e9ca454623de. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Robustness (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 1
- Bewertung
- 1
- Messgröße
- aggregate robustness
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- robustness
- Aufgabenbezeichnung
- Robustness
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-robustness
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-9be6ee834442. Prüfsumme der Quelldaten: 9be6ee83444284a66ed293c950e953648c71aa6c5f5a6948dfe582d11f5de1a7. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Safety (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 1
- Bewertung
- 1
- Messgröße
- aggregate safety
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- safety
- Aufgabenbezeichnung
- Safety
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-safety
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b08c2b52623. Prüfsumme der Quelldaten: 7b08c2b5262365cef8eb694f50ae89c6c0f11eb7984429f024285528558e9d60. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 34.4
- Bewertung
- 34.4
- Messgröße
- exact-match accuracy
- Einheit
- %
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accuracy
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-overall
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-0b27954353a7. Prüfsumme der Quelldaten: 0b27954353a7c19a0cf4d633cf03db86774a4f1731e1998e0c8fb557f2d2a1e2. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
τ-bench Airline Clean: Consistency (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.71
- Bewertung
- 0.71
- Messgröße
- aggregate consistency
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- consistency
- Aufgabenbezeichnung
- Consistency
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-consistency
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6bfdff20ad21. Prüfsumme der Quelldaten: 6bfdff20ad21b3817ab0b539ad53e6a383f542222890c8da5d58512d9c1fb6de. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Predictability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.74
- Bewertung
- 0.74
- Messgröße
- aggregate predictability
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- predictability
- Aufgabenbezeichnung
- Predictability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-predictability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-b8057f91c3e8. Prüfsumme der Quelldaten: b8057f91c3e8f20eb208ea8d8f905d219b30748861becf6a8e887a5aaffb89c4. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Reliability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.81
- Bewertung
- 0.81
- Messgröße
- aggregate reliability
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- reliability
- Aufgabenbezeichnung
- Reliability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-reliability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-48cde879a7c5. Prüfsumme der Quelldaten: 48cde879a7c52057c3803e0d18835b0ea4e6df4b46597d59a6a52eb88436f488. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Robustness (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.98
- Bewertung
- 0.98
- Messgröße
- aggregate robustness
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- robustness
- Aufgabenbezeichnung
- Robustness
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-robustness
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-7b9ebb788fcf. Prüfsumme der Quelldaten: 7b9ebb788fcf11648139fae639ecce250a38592c83eefa9a7102bb675706babb. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Safety (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.91
- Bewertung
- 0.91
- Messgröße
- aggregate safety
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- safety
- Aufgabenbezeichnung
- Safety
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-safety
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-d485db5c9de6. Prüfsumme der Quelldaten: d485db5c9de6349be1692c7b6233d809eed3d2e75925a6fefa9a9e2191debf88. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 66.2
- Bewertung
- 66.2
- Messgröße
- task success rate
- Einheit
- %
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accuracy
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-overall
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/o1. Name des Quellmodells: o1. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-5c14c4dac3c3. Prüfsumme der Quelldaten: 5c14c4dac3c3d877041cbb52e3bbb6b35af52ee20551afb0f3638c0c305ace9a. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Seite 1 von 8
Unsere Tests
SVG-Kurztest
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
Frühere Tests
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
o1
Reasoning (angefragt): high
Aktueller Versuch
- Datum des Testlaufs
- 02.10.2026
- API-Anbieter
- openrouter
- Angefragtes API-Modell
- openai/o1
- API-Modell laut Antwort
- openai/o1
- Reasoning-Einstellung
- high
- Festgelegter Endpunkt
- OpenAI | openai/o1-2024-12-17
- Temperatur
- Anbieterstandard
- Tokenlimit inklusive Reasoning
- 8.192 Token
- Testprotokoll
- community-visual-tests-v1
- Technische Prüfung
- Bestanden, keine Qualitätsbewertung
- Antwortzeit
- 15,4 s
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Frühere Versuche (1)
- 01.10.2026Ausgabe aus Sicherheitsgründen nicht dargestelltReasoning-Einstellung: high
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Beliebtheit
24,9 / 100
Vorgänger und Nachfolger
Quellen und Datenstand
| Art | Nachweis und Datenstand |
|---|---|
| Preis | API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. |
| Eingabe | Dokumentierte Modalitäten. Abgerufen am 8. September 2026. |
| Ausgabe | Dokumentierte Modalitäten. Abgerufen am 8. September 2026. |
| Recherchestand | Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell. |
| In den geprüften Quellen nicht gefunden | parameters-billions Originalwortlaut OpenAI API and release pages do not publish parameter counts. |
| In den geprüften Quellen nicht gefunden | independent-benchmarks Originalwortlaut Only exact OpenAI appendix columns were used in this artifact. |
| Ungeklärt | release-date Originalwortlaut The o1 family launched in September 2024, while the stable API snapshot was released in December 2024; this record does not choose between those distinct dates. |
| In den geprüften Quellen nicht gefunden | AA benchmark rows Originalwortlaut No exact-model row in the selected public JSON-LD datasets (some pages only expose N/A or unknown metric summaries). |
| Weitere Quelle | Kontextfenster-Daten · Introducing OpenAI o1 · Redaktionelle Beschreibung geprüft am 4. Oktober 2026 |
| Weitere Quelle | Princeton HAL (abgerufen 6. August 2026) |
| Weitere Quelle | Princeton HAL (abgerufen 5. August 2026) |
| Weitere Quelle | LongBench (abgerufen 2. September 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | Vals AI (abgerufen 15. Oktober 2026) |
| Weitere Quelle | OpenAI (abgerufen 8. September 2026) |
| Weitere Quelle | Learning to reason with LLMs · Redaktionelle Beschreibung geprüft am 4. Oktober 2026 |
| Weitere Quelle | OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0 |
| Weitere Quelle | Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0 |
| Weitere Quelle | Creative Commons Attribution 4.0 |
| Weitere Quelle | OpenAI o3 and o4-mini system card / announcement (2026-09-19) |