- Originalwert
- 0.28571428571428603
- Bewertung
- 0.28571428571428603
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- v2
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: North Mini Code (Release north-mini-code, Zeile north-mini-code, UUID 1e9907e0-ffac-4595-b006-962e4f1da7cf, reasoning=true, effort=nicht angegeben, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
Der vollständige CritPt-v2-Lauf umfasst 70 Fragen mit fünf Wiederholungen. Der offizielle Grading-Server bewertet pass@1.. Kennung des Quellmodells: artificial-analysis/1e9907e0-ffac-4595-b006-962e4f1da7cf/north-mini-code/north-mini-code. Name des Quellmodells: North Mini Code. Anbieter laut Quelle: Cohere. Modellstand: North Mini Code. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Python functions, symbolic expressions, and numerical answers; official grading server. Versuche: 70 questions, five repeats per question, pass@1. Reasoning: reasoning enabled. Angezeigter Wert: 0,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-critpt-v2:v2:standalone:reasoning:effort=unspecified:suffix=unspecified
- Vergleichsmethodik
- Exakte AA-Konfiguration: North Mini Code (Release north-mini-code, Zeile north-mini-code, UUID 1e9907e0-ffac-4595-b006-962e4f1da7cf, reasoning=true, effort=nicht angegeben, suffix=nicht angegeben). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit.
Der vollständige CritPt-v2-Lauf umfasst 70 Fragen mit fünf Wiederholungen. Der offizielle Grading-Server bewertet pass@1.. Werkzeugrichtlinie: Python functions, symbolic expressions, and numerical answers; official grading server. Versuche: 70 questions, five repeats per question, pass@1. Reasoning: reasoning enabled
- Einordnung
- Die AA-Quelle enthält hier den ursprünglichen CritPt-Wert. Die frühere Zuordnung zu CritPt v2 ist falsch; Wert und frühere Beschriftung bleiben als strittiger Altbeleg erhalten.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.