- Originalwert
- 46
- Bewertung
- 46
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 50-task random verified subset
- Kategorie
- coding
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accuracy
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-swebench-verified-mini-swe-agent-overall
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.. Kennung des Quellmodells: curated/o3. Name des Quellmodells: o3. Anbieter laut Quelle: OpenAI. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SWE-Agent. Agent: SWE-Agent. Reasoning-Stufe: medium. Kosten je Aufgabe in USD: 9.6686. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-dfc1141bc4df. Prüfsumme der Quelldaten: dfc1141bc4df34f7ad53b05ff9088f1baa14b509e1ab3d6f61197895235f081c. Parserversion: curated-v1. Importiert am: 2026-09-29
- Vergleichsmethodik
- SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.
- Einordnung
- HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.