- Originalwert
- 78.9595375722543
- Bewertung
- 78.9595375722543
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Ling-3.0-flash-VL (Release ling-3-0-flash-vl, Zeile ling-3-0-flash-vl, UUID 433d5c5d-3092-4026-9727-1587ca07915d, reasoning=true, effort=nicht angegeben, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/433d5c5d-3092-4026-9727-1587ca07915d/ling-3-0-flash-vl/ling-3-0-flash-vl. Name des Quellmodells: Ling-3.0-flash-VL. Anbieter laut Quelle: InclusionAI. Modellstand: Ling-3.0-flash-VL. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Angezeigter Wert: 79,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:effort=unspecified:suffix=unspecified
- Vergleichsmethodik
- Exakte AA-Konfiguration: Ling-3.0-flash-VL (Release ling-3-0-flash-vl, Zeile ling-3-0-flash-vl, UUID 433d5c5d-3092-4026-9727-1587ca07915d, reasoning=true, effort=nicht angegeben, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.