- Originalwert
- 38.0952380952381
- Bewertung
- 38.0952380952381
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Devstral 2 (Release devstral-2, Zeile devstral-2, UUID 09f43999-b67b-4c1b-b050-44df41ed7e62, reasoning=false, effort=nicht angegeben, suffix=nicht angegeben). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus.
Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/09f43999-b67b-4c1b-b050-44df41ed7e62/devstral-2/devstral-2. Name des Quellmodells: Devstral 2. Anbieter laut Quelle: Mistral. Modellstand: Devstral 2. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 38,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:effort=unspecified:suffix=unspecified
- Vergleichsmethodik
- Exakte AA-Konfiguration: Devstral 2 (Release devstral-2, Zeile devstral-2, UUID 09f43999-b67b-4c1b-b050-44df41ed7e62, reasoning=false, effort=nicht angegeben, suffix=nicht angegeben). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus.
Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.