- Originalwert
- 45.3
- Bewertung
- 45.3
- Messgröße
- both-orders-correct, engineering/research macro average
- Einheit
- %
- Benchmark-Version
- arxiv:2609.25804v2
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- taste-bench-paper-v2-502
- Quellentyp
- independent-evaluator
- Auswertung
- Taste-Bench paper
- Status
- active
- Abrufdatum
- 2026-09-26
- Methodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/minimax-m3. Name des Quellmodells: MiniMax M3. Anbieter laut Quelle: MiniMax. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: default. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-3a33ce33758a. Prüfsumme der Quelldaten: 3a33ce33758afc5b08eb5151c8d63e4b8f05059485c9e773ba86bba88c22f152. Parserversion: curated-v1. Importiert am: 2026-09-29
- Vergleichsmethodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
- Einordnung
- 3 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.