- Originalwert
- 69,7959183673
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 Fragen
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Mercury 2 (Release mercury-2, Zeile mercury-2, UUID 016d330a-2141-4afa-b2fc-62b314423dc1, reasoning=true, effort=high, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 0. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/016d330a-2141-4afa-b2fc-62b314423dc1/mercury-2/mercury-2. Name des Quellmodells: Mercury 2. Anbieter laut Quelle: Inception. Modellstand: Mercury 2. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: high. Angezeigter Wert: 69,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:effort=high:suffix=unspecified
- Vergleichsmethodik
- Exakte AA-Konfiguration: Mercury 2 (Release mercury-2, Zeile mercury-2, UUID 016d330a-2141-4afa-b2fc-62b314423dc1, reasoning=true, effort=high, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 0. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: high
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.