- Originalwert
- 54.6
- Bewertung
- 54.6
- Messgröße
- both-orders-correct, engineering/research macro average
- Einheit
- %
- Benchmark-Version
- arxiv:2609.25804v2
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- taste-bench-paper-v2-502
- Quellentyp
- independent-evaluator
- Auswertung
- Taste-Bench paper
- Status
- active
- Abrufdatum
- 2026-09-26
- Methodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/grok-4.5. Name des Quellmodells: Grok 4.5. Anbieter laut Quelle: xAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-315970b2d1e6. Prüfsumme der Quelldaten: 315970b2d1e6c18db344d2d5a91760e41f76568b7ccfc641f3e2a934f46eecfe. Parserversion: curated-v1. Importiert am: 2026-09-29
- Vergleichsmethodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
- Einordnung
- 10 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.