- Originalwert
- 15.7
- Bewertung
- 15.7
- Messgröße
- both-orders-correct, engineering/research macro average
- Einheit
- %
- Benchmark-Version
- arxiv:2609.25804v2
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- taste-bench-paper-v2-502
- Quellentyp
- independent-evaluator
- Auswertung
- Taste-Bench paper
- Status
- active
- Abrufdatum
- 2026-09-26
- Methodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/grok-4.20-reasoning. Name des Quellmodells: Grok 4.20 Reasoning. Anbieter laut Quelle: xAI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: default. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-b780156e6976. Prüfsumme der Quelldaten: b780156e6976a567e249d97bf51e2088015b07b0c2aa65663f57ed1fba7c45b0. Parserversion: curated-v1. Importiert am: 2026-09-29
- Vergleichsmethodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
- Einordnung
- 459 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.