- Originalwert
- 40.1
- Bewertung
- 40.1
- Messgröße
- both-orders-correct, engineering/research macro average
- Einheit
- %
- Benchmark-Version
- arxiv:2609.25804v2
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- taste-bench-paper-v2-502
- Quellentyp
- independent-evaluator
- Auswertung
- Taste-Bench paper
- Status
- active
- Abrufdatum
- 2026-09-26
- Methodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/gpt-5.4-mini. Name des Quellmodells: GPT-5.4 mini. Anbieter laut Quelle: OpenAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-8d521554a8e2. Prüfsumme der Quelldaten: 8d521554a8e2145aac33904b3e38d2b8fa2ad428110361d37e0b277ded8478b8. Parserversion: curated-v1. Importiert am: 2026-09-29
- Vergleichsmethodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
- Einordnung
- 112 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.