Claude Mythos 5

Methodenfassung: benchmark-meta-score-v1

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf; bei gleichem Datum wird der breitere Schnitt verwendet. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Bei dieser Auswahl zwischen mehreren Ergebnissen führen unbekannte oder mehrdeutige Stufen zum Ausschluss des Modells aus der betreffenden Reihe. Eindeutige Einzelkonfigurationen benötigen keine Stufenreihenfolge. Das jeweils beste Einzelergebnis eines Modells wird nicht ausgewählt. Rangperzentile mit gleichen Rohwerten teilen sich dasselbe Perzentil. Mehrere Reihen desselben Auswerters innerhalb einer Testfamilie werden gleich gewichtet, danach werden Auswerter in der Testfamilie, Testfamilien im Bereich und Bereiche im Gesamtindex jeweils gleich gewichtet. Nicht gemessene Reihen bleiben in Abdeckung und Grenzen sichtbar. Ein Gesamtwert erfordert mindestens vier Bereiche, sechs Testfamilien und zwei Quellen. Ein Bereichswert erfordert mindestens zwei Testfamilien. Jeder Gesamt- und Bereichsscore benötigt außerdem mindestens 50 % des jeweiligen Panelgewichts.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Anteile werden nicht als Nullwert eingesetzt. Sie senken die Abdeckung und fließen nur in die ausgewiesenen Grenzen ein. Werte aus unterschiedlichen Abdeckungen sind daher nicht unmittelbar gleich vollständig.

Die Grenzen halten die vorhandenen Perzentile fest und setzen für fehlende Beiträge beliebige Werte von 0 bis 100 an. Sie sind keine Konfidenzintervalle und keine Prognose für spätere Neuberechnungen.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.