- Originalwert
- 16.25
- Bewertung
- 16.25
- Messgröße
- pass^5 reliability
- Einheit
- %
- Benchmark-Version
- AA cohort: 80 questions
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Ling-3.0-flash-Fin (Release ling-3-0-flash-fin, Zeile ling-3-0-flash-fin, UUID 6d6fa1c9-b833-40b2-8a58-fa810e24a84e, reasoning=true, effort=nicht angegeben, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Kennung des Quellmodells: artificial-analysis/6d6fa1c9-b833-40b2-8a58-fa810e24a84e/ling-3-0-flash-fin/ling-3-0-flash-fin. Name des Quellmodells: Ling-3.0-flash-Fin. Anbieter laut Quelle: InclusionAI. Modellstand: Ling-3.0-flash-Fin. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Angezeigter Wert: 16,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-aa-analyst-agent:AA cohort: 80 questions:standalone:reasoning:effort=unspecified:suffix=unspecified
- Vergleichsmethodik
- Exakte AA-Konfiguration: Ling-3.0-flash-Fin (Release ling-3-0-flash-fin, Zeile ling-3-0-flash-fin, UUID 6d6fa1c9-b833-40b2-8a58-fa810e24a84e, reasoning=true, effort=nicht angegeben, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled
- Einordnung
- Fragen, Quelldateien und Referenzantworten sind privat. pass^5 misst Zuverlässigkeit über alle fünf Wiederholungen, nicht pass@1.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.