Kimi K3
SprachmodellAktiv
Kimi K3
Moonshot AI
- Veröffentlicht
- 16. Juli 2026
- Datenstand
- 8. September 2026
- Vorgängermodell
- Kimi K2.6
- Benchmark-Meta-Score
- Vorläufig, 59,9 % Panelabdeckung
- Geschwindigkeit
- 41,3 Token/sAusgabe-Tempo
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild, Video
- Ausgabe
- Text
Das Besondere an Kimi K3 ist die native visuelle Architektur mit KDA und AttnRes. Moonshot nennt 2,8 Billionen Gesamtparameter, 104 Milliarden aktive Parameter, 896 Experten mit 16 ausgewählten Experten pro Schritt und 1.048.576 Token Kontext. Text, Bilder und Videos gehören zum selben Modell.
Reasoning ist immer aktiv und lässt sich über Low, High und Max steuern. Moonshot stellt K3 der Kimi K2.6-Linie gegenüber. Für lokale Nutzung und Weitergabe gelten die Kimi-K3-Lizenz und die Bedingungen der veröffentlichten Gewichte.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | Open WeightsQuelle |
| Zugang | API, LokalQuelle |
| Parameter | 2,8 BillionenQuelle |
| Aktive Parameter | 104 Mrd.Quelle |
| Kontextfenster | 1.048.576 TokenQuelle |
| Hinweise | 2,8 Bio. insgesamt, 104B aktiv, 896 Experten mit 16 aktiven Experten pro Token, hybride lineare KDA-Attention, native visuelle Fähigkeiten und 1.048.576 Token Kontext. Die Gewichte sind veröffentlicht.Quelle |
| Lizenz | Kimi K3 LicenseQuelle |
| Parameter | 2.800 Mrd.Quelle |
| Aktive Parameter | 104 Mrd.Quelle |
| Architektur | MoE with KDA, gated MLA, 896 experts/16 selected, MoonViT V2Quelle |
| Ausgabe | TextQuelle |
| Werkzeugaufrufe | JaQuelle |
| Quantisierung | MXFP4 weights / MXFP8 activationsQuelle |
| Eingabe | Text, Bild, VideoQuelle |
| Reasoning-Modus | Always enabled; reasoning effort: low, high, max (default max).Quelle |
Benchmark-Metaanalyse
Gesamt- und Bereichsscores
Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.
Abrufstände der verwendeten Quellen 2026-10-15 - 2026-10-19
Gesamtindex
Index 75,2 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 60 %
- Testfamilien
- 46 / 71
- Quellen
- 4
- Mathematische Grenzen bei fehlenden Werten
- 45,1-85,2 / 100
Programmieren
Index 57,5 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 72 %
- Testfamilien
- 12 / 15
- Quellen
- 3
- Mathematische Grenzen bei fehlenden Werten
- 41,6-69,3 / 100
Schlussfolgern
Index 71,1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 64 %
- Testfamilien
- 5 / 7
- Quellen
- 3
- Mathematische Grenzen bei fehlenden Werten
- 45,7-81,4 / 100
Mathematik
Index 58,7 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 60 %
- Testfamilien
- 3 / 5
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 35,2-75,2 / 100
Wissen
Index 66,4 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 100 %
- Testfamilien
- 3 / 3
- Quellen
- 3
- Mathematische Grenzen bei fehlenden Werten
- 66,4-66,4 / 100
Agenten
Index 77,2 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 50 %
- Testfamilien
- 6 / 12
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 38,6-88,6 / 100
Allgemein
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 40 %
- Testfamilien
- 2 / 5
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 28,7-88,7 / 100
Finanzen
Index 75,9 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 86 %
- Testfamilien
- 6 / 7
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 65,1-79,4 / 100
Recht
Index 85,2 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 75 %
- Testfamilien
- 3 / 4
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 63,9-88,9 / 100
Gesundheit
Index 80,0 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 67 %
- Testfamilien
- 2 / 3
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 53,3-86,6 / 100
Cybersicherheit
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 100 %
- Testfamilien
- 1 / 1
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 84,8-84,8 / 100
Multimodal
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 25 %
- Testfamilien
- 1 / 4
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 19,4-94,4 / 100
Produktivität
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 50 %
- Testfamilien
- 1 / 2
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 40,8-90,8 / 100
Bildung
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 50 %
- Testfamilien
- 1 / 2
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 47,4-97,4 / 100
Dokumentierte Methode · Einbezogene Testfamilien und Messwerte
Methodenfassung: benchmark-meta-score-v1
Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf; bei gleichem Datum wird der breitere Schnitt verwendet. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Bei dieser Auswahl zwischen mehreren Ergebnissen führen unbekannte oder mehrdeutige Stufen zum Ausschluss des Modells aus der betreffenden Reihe. Eindeutige Einzelkonfigurationen benötigen keine Stufenreihenfolge. Das jeweils beste Einzelergebnis eines Modells wird nicht ausgewählt. Rangperzentile mit gleichen Rohwerten teilen sich dasselbe Perzentil. Mehrere Reihen desselben Auswerters innerhalb einer Testfamilie werden gleich gewichtet, danach werden Auswerter in der Testfamilie, Testfamilien im Bereich und Bereiche im Gesamtindex jeweils gleich gewichtet. Nicht gemessene Reihen bleiben in Abdeckung und Grenzen sichtbar. Ein Gesamtwert erfordert mindestens vier Bereiche, sechs Testfamilien und zwei Quellen. Ein Bereichswert erfordert mindestens zwei Testfamilien. Jeder Gesamt- und Bereichsscore benötigt außerdem mindestens 50 % des jeweiligen Panelgewichts.
Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.
Nicht gemessene Anteile werden nicht als Nullwert eingesetzt. Sie senken die Abdeckung und fließen nur in die ausgewiesenen Grenzen ein. Werte aus unterschiedlichen Abdeckungen sind daher nicht unmittelbar gleich vollständig.
Die Grenzen halten die vorhandenen Perzentile fest und setzen für fehlende Beiträge beliebige Werte von 0 bis 100 an. Sie sind keine Konfidenzintervalle und keine Prognose für spätere Neuberechnungen.
Die Quellenzahl ist keine Anzahl unabhängiger Experimente.
OECD-Handbuch zu zusammengesetzten IndikatorenAlle 46 Testfamilien und 12 von 51 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.
Testfamilie: AIME
Mathematik · Familienindex: 38,6 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
- Epoch AI benchmark run dataset snapshot
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- epoch-otis-mock-aime-2024-2025
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,43 %
- Rohwert:
- 0,9722222222222222 ratio
- Messgröße:
- model_extracted_exact_match
- Version:
- 1.1.6
- Teilnehmende Modelle:
- 23
- Rangperzentil innerhalb der Kohorte:
- 38,6 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- epoch-score-design-v1:["OTIS Mock AIME 2024-2025","OTIS Mock AIME 2024-2025","1.1.6","model_extracted_exact_match"]
- Reasoning-Stufe:
- max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- epoch-score-design-v1:["OTIS Mock AIME 2024-2025","OTIS Mock AIME 2024-2025","1.1.6","model_extracted_exact_match"]
- Datensatztyp:
- not-reported-in-captured-run-csv
- Setup- und Modellparameter
- Veröffentlichte Reasoning-Stufe: max. Weitere Inferenzparameter und ein Rechenbudget nennt der Capture nicht.
Unabhängige Evaluation. Epoch-Laufalias: kimi-k3_max. Epoch-Modellbezeichnung: Kimi K3. Anzeigenamenfeld: Kimi K3 (max). Im Alias kodierte Reasoning-Stufe: max. Task-ID: OTIS Mock AIME 2024-2025. Task-Version: 1.1.6. Lauf-ID: A33om9MTYMC7xYeLv9X7Ha. Startzeit: 2026-07-16T21:59:40.000Z. Ursprüngliche Task-Bezeichnung: OTIS Mock AIME 2024-2025. Die CSV-Zeile meldet mean_score=0.9722222222222222 und stderr=0.011158359139033182. Die CSV enthält keine Spalte zur Stichprobengröße. Sie wird daher nicht abgeleitet. Der Standardfehler wird nicht als Konfidenzintervall ausgegeben. Meta-Score-Auswahl: Pro Modell wird innerhalb desselben Epoch-Quell-Testdesigns, Original-Tasks, derselben Version und desselben Scorers die höchste dokumentierte Reasoning-Stufe verwendet, unabhängig vom Messwert. Diese abgeleitete Score-Kopie behauptet kein vergleichbares Rechenbudget; Epoch veröffentlicht im Capture weder ein einheitliches Budget noch alle Inferenzparameter. Die Rohbeobachtung im Modellprofil bleibt unverändert. Verwendete Reasoning-Stufe: max.
- Epoch AI benchmark run dataset snapshot
Testfamilie: AA-AnalystAgent
Agenten · Familienindex: 43,4 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-analyst-agent
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 38,75 %
- Messgröße:
- pass^5 reliability
- Version:
- AA cohort: 80 questions
- Teilnehmende Modelle:
- 39
- Rangperzentil innerhalb der Kohorte:
- 43,4 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-analyst-agent:AA cohort: 80 questions:standalone:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-analyst-agent","AA cohort: 80 questions","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup analyst agent
- Werkzeugregeln:
- 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission
- Versuche:
- pass^5, 5 independent attempts per question
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 38,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-Briefcase
Agenten · Familienindex: 85,4 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-briefcase
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 1.499,38 Elo
- Messgröße:
- AA-Briefcase Elo
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 85,4 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-briefcase:v1.1:v4.3.2:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-briefcase","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-LCR
Schlussfolgern · Familienindex: 100,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-lcr
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,02 %
- Rohwert:
- 88,6666666666667 %
- Messgröße:
- Pass rate
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 100,0 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-lcr","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 88,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: APEX-Agents-AA
Agenten · Familienindex: 92,3 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-apex-agents-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 41,2979351032448 %
- Messgröße:
- Pass@1 success rate
- Version:
- AA public cohort: 452 tasks
- Teilnehmende Modelle:
- 27
- Rangperzentil innerhalb der Kohorte:
- 92,3 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-apex-agents-aa","AA public cohort: 452 tasks","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup agent
- Werkzeugregeln:
- 200-turn cap; MCP-backed workplace tools in Archipelago
- Versuche:
- pass@1, averaged over 3 repeats per task
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 41,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AutomationBench-AA
Agenten · Familienindex: 81,7 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-automationbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 58,272977800152034 %
- Messgröße:
- Objectives completed without guardrail violations
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 81,7 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-automationbench-aa","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 58,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: FrontierCode 1.1 Main
Programmieren · Familienindex: 73,3 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-frontiercode
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,48 %
- Rohwert:
- 43,6099333333333 %
- Messgröße:
- Mean score over three attempts per task
- Version:
- 1.1 Main
- Teilnehmende Modelle:
- 16
- Rangperzentil innerhalb der Kohorte:
- 73,3 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-frontiercode:1.1 Main:standalone:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-frontiercode","1.1 Main","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup coding agent
- Werkzeugregeln:
- 250-turn cap; repository worktree graded as left by the agent
- Versuche:
- Mean score, 3 attempts per task
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Die primären 100 Aufgaben aus FrontierCode 1.1 werden je dreimal ausgeführt. Alle Aufgaben zählen gleich. Das Verfehlen einer blockierenden Prüfung oder ein Treffer des Trajectory-Scanners ergibt null; Läufe, die alle blockierenden Prüfungen bestehen, erhalten 70 bis 100 Prozent.. Harness: Artificial Analysis Stirrup. Agent: Stirrup coding agent. Werkzeugrichtlinie: 250-turn cap; repository worktree graded as left by the agent. Versuche: Mean score, 3 attempts per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Die primären 100 Aufgaben aus FrontierCode 1.1 werden je dreimal ausgeführt. Alle Aufgaben zählen gleich. Das Verfehlen einer blockierenden Prüfung oder ein Treffer des Trajectory-Scanners ergibt null; Läufe, die alle blockierenden Prüfungen bestehen, erhalten 70 bis 100 Prozent.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup coding agent. Werkzeugrichtlinie: 250-turn cap; repository worktree graded as left by the agent. Versuche: Mean score, 3 attempts per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 43,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDP.pdf
Schlussfolgern · Familienindex: 82,9 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdp-pdf
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,02 %
- Rohwert:
- 22 %
- Messgröße:
- All-pass rate
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 82,9 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdp-pdf","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 22,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDPval-AA
Agenten · Familienindex: 80,5 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdpval-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 1.532,59 Elo
- Messgröße:
- GDPval-AA Elo
- Version:
- v2.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 80,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdpval-aa:v2.1:v4.3.2:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdpval-aa","v2.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: ITBench-AA (SRE)
Agenten · Familienindex: 80,0 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-itbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 47,6930320150659 %
- Messgröße:
- Average precision at full recall
- Version:
- AA cohort: 59 tasks
- Teilnehmende Modelle:
- 36
- Rangperzentil innerhalb der Kohorte:
- 80,0 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-itbench-aa","AA cohort: 59 tasks","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup agent
- Werkzeugregeln:
- Shell access to an offline Kubernetes incident snapshot
- Versuche:
- Average precision at full recall, 3 repeats per task
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 47,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-Omniscience
Wissen · Familienindex: 76,8 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-omniscience
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 2,38 %
- Rohwert:
- 19,7 points
- Messgröße:
- AA-Omniscience Index
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 76,8 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-omniscience:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Max
- Reasoning-Stufe:
- Max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-omniscience","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: Chess Puzzles
Schlussfolgern · Familienindex: 26,2 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Epoch AI benchmark run dataset snapshot
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- epoch-chess-puzzles
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,02 %
- Rohwert:
- 0,36 ratio
- Messgröße:
- exact
- Version:
- 2.0.0
- Teilnehmende Modelle:
- 22
- Rangperzentil innerhalb der Kohorte:
- 26,2 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- epoch-score-design-v1:["Chess Puzzles","Chess Puzzles","2.0.0","exact"]
- Reasoning-Stufe:
- max
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- epoch-score-design-v1:["Chess Puzzles","Chess Puzzles","2.0.0","exact"]
- Datensatztyp:
- not-reported-in-captured-run-csv
- Setup- und Modellparameter
- Veröffentlichte Reasoning-Stufe: max. Weitere Inferenzparameter und ein Rechenbudget nennt der Capture nicht.
Unabhängige Evaluation. Epoch-Laufalias: kimi-k3_max. Epoch-Modellbezeichnung: Kimi K3. Anzeigenamenfeld: Kimi K3 (max). Im Alias kodierte Reasoning-Stufe: max. Task-ID: Chess Puzzles. Task-Version: 2.0.0. Lauf-ID: nzQV9YvictnDF2EwxqTJQs. Startzeit: 2026-10-13T17:13:35.000Z. Ursprüngliche Task-Bezeichnung: Chess Puzzles. Die CSV-Zeile meldet mean_score=0.36 und stderr=0.048241815132442176. Die CSV enthält keine Spalte zur Stichprobengröße. Sie wird daher nicht abgeleitet. Der Standardfehler wird nicht als Konfidenzintervall ausgegeben. Meta-Score-Auswahl: Pro Modell wird innerhalb desselben Epoch-Quell-Testdesigns, Original-Tasks, derselben Version und desselben Scorers die höchste dokumentierte Reasoning-Stufe verwendet, unabhängig vom Messwert. Diese abgeleitete Score-Kopie behauptet kein vergleichbares Rechenbudget; Epoch veröffentlicht im Capture weder ein einheitliches Budget noch alle Inferenzparameter. Die Rohbeobachtung im Modellprofil bleibt unverändert. Verwendete Reasoning-Stufe: max.
- Epoch AI benchmark run dataset snapshot
Testfamilie: SimpleQA Verified
Wissen · Familienindex: 44,4 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: FrontierMath
Mathematik · Familienindex: 60,6 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: GPQA Diamond
Schlussfolgern · Familienindex: 68,6 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Humanity’s Last Exam
Schlussfolgern · Familienindex: 84,1 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 50 %
Testfamilie: LMArena Code Arena WebDev
Programmieren · Familienindex: 75,0 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: LMArena Text, Style Control
Allgemein · Familienindex: 80,6 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMMU-Pro
Multimodal · Familienindex: 77,8 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SWE-bench Verified
Programmieren · Familienindex: 89,8 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 50 %
Testfamilie: Terminal-Bench
Programmieren · Familienindex: 67,6 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 83 %
Testfamilie: Terminal-Bench Science
Programmieren · Familienindex: 14,5 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 50 %
Testfamilie: BioMysteryBench
Allgemein · Familienindex: 63,2 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Code Migration
Programmieren · Familienindex: 32,3 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: CorpFin v2
Finanzen · Familienindex: 97,3 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: CyberBench v1.1
Cybersicherheit · Familienindex: 84,8 / 100Nominales Familiengewicht im Gesamtpanel: 7,14 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: EMB
Finanzen · Familienindex: 71,2 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Finance Agent (v2)
Finanzen · Familienindex: 60,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: IOI
Programmieren · Familienindex: 36,4 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: LiveCodeBench v6
Programmieren · Familienindex: 81,8 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Harvey's Legal Agent Benchmark
Recht · Familienindex: 91,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: LegalBench
Recht · Familienindex: 84,6 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Legal Research Bench
Recht · Familienindex: 80,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedCode
Gesundheit · Familienindex: 74,6 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedScribe
Gesundheit · Familienindex: 85,3 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMLU-Pro
Wissen · Familienindex: 77,9 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MortgageTax
Finanzen · Familienindex: 51,9 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: ProgramBench
Programmieren · Familienindex: 83,7 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: ProofBench
Mathematik · Familienindex: 76,9 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SAGE
Bildung · Familienindex: 94,8 / 100Nominales Familiengewicht im Gesamtpanel: 3,57 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Public Benefits Bench v1.1
Produktivität · Familienindex: 81,6 / 100Nominales Familiengewicht im Gesamtpanel: 3,57 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SWE-bench Multimodal
Programmieren · Familienindex: 0,0 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Tax Agent Bench
Finanzen · Familienindex: 81,8 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: TaxEval v2
Finanzen · Familienindex: 93,4 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Vibe Code Bench 1-100
Programmieren · Familienindex: 47,6 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Vibe Code Bench v1.1
Programmieren · Familienindex: 84,7 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Benchmarkquellen im Überblick
Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 13 | 1 | 28 |
| Vals AI | 31 | 2 | 228 |
| LMArena | 2 | 0 | 34 |
| Epoch AI | 6 | 0 | 12 |
Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.
Seite 1 von 31
Veröffentlichte Benchmarks
AlmanBench v0.1
Accepted cases
1.029 deutsche Aufgaben prüfen die Übersetzung von Standarddeutsch in eine festgelegte einfache Sprachspezifikation. Der Test misst die Alman-Spezifikation, nicht allgemeine deutsche Textqualität.
höhere Werte sind besserStand 9. August 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- almanbench-v0-1:official:overall
- Messgröße
- accepted cases
- Skala
- 0-100
- Teilnehmer
- 5
- Methodik und Einordnung
- 1.029 öffentliche Aufgaben, ein direkter Lauf je Zeile. Gemessen wird die Alman-Sprachspezifikation.. Kennung des Quellmodells: curated/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Moonshot AI. Evaluator: Alman Institut. Datensatztyp: public. Stand der Rangliste: 2026-08-05. Reasoning-Stufe: max. Standardfehler: 0.893833. Quellenkennung: alman-institut. Kennung der Evidenzaufnahme: curated-alman-institut-2026-08-09-b5b769c9e870. Prüfsumme der Quelldaten: b5b769c9e870d769fb78c01a834af36d6c2cf156bb7a17f0a1f272eb70517156. Parserversion: curated-v1. Importiert am: 2026-10-15
SWE-Marathon v1.1
Overall
Langfristige Softwareaufgaben mit ausführbaren Projekttests. Modell, Reasoning-Stufe und Agent gehören gemeinsam zum Ergebnis. Die Herstellertabelle enthält abweichende Werte.
Hinweis (Kimi K3): Der Wert bewertet die genannte Kombination aus Modell, Reasoning-Stufe und Agent, nicht einen isolierten Modelllauf.
1.Claude Sonnet 5.551,3 %
Hinweis: Der Wert bewertet die genannte Kombination aus Modell, Reasoning-Stufe und Agent, nicht einen isolierten Modelllauf.
3.Claude Opus 5.546,3 %
Hinweis: Der Wert bewertet die genannte Kombination aus Modell, Reasoning-Stufe und Agent, nicht einen isolierten Modelllauf.
4.Claude Fable 5.145,6 %
Hinweis: Der Wert bewertet die genannte Kombination aus Modell, Reasoning-Stufe und Agent, nicht einen isolierten Modelllauf.
höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- swe-marathon-v1-1-2026-10-15-claude-code-max
- Messgröße
- pass@1
- Skala
- 0-100
- Teilnehmer
- 4
- Methodik und Einordnung
- SWE-Marathon v1.1, Gesamtlösungsrate pass@1. Agent Claude Code, Reasoning max. 20 realitätsnahe, mehrstündige Softwareentwicklungsaufgaben mit k=8 Läufen je Aufgabe. Binäre Wertung 1,0 nur bei vollständig bestandenen Verifier-Tests, sonst 0,0.. Kennung des Quellmodells: curated/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Moonshot AI. Evaluator: SWE-Marathon. Datensatztyp: public. Agent: Claude Code. Versuche: 20 tasks; k=8 trials per task. Reasoning-Stufe: max. Quellenkennung: swe-marathon. Kennung der Evidenzaufnahme: curated-swe-marathon-2026-10-15-0a96f6d270c5. Prüfsumme der Quelldaten: 0a96f6d270c551f3b8b614cca8ade6c8e05edd254cb33f3da499cc6cc5148db0. Parserversion: curated-v1. Importiert am: 2026-10-15
Weitere Aufgaben
Vals Index
SWE-bench
höhere Werte sind besserStand 11. August 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- vals-vals-index:1.2:swebench
- Messgröße
- benchmark score
- Skala
- 0-100
- Teilnehmer
- 24
- Methodik und Einordnung
- Kennung des Quellmodells: kimi/kimi-k3. Name des Quellmodells: Kimi K3. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-09. Latenz in Sekunden: 611.386. Standardfehler: 2.138. Kosten je Aufgabe in USD: 0.879924. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_index-2026-08-11-e79d08d59249. Prüfsumme der Quelldaten: e79d08d5924964d8c5c590ec13203e07e902ed1f2b6d2b1c7fc7f911c6e3b82c. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vals Multimodal Index
SWE-bench
höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- vals-vals-multimodal-index:1.2:swebench
- Messgröße
- benchmark score
- Skala
- 0-100
- Teilnehmer
- 29
- Methodik und Einordnung
- Kennung des Quellmodells: kimi/kimi-k3. Name des Quellmodells: Kimi K3. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-11. Latenz in Sekunden: 611.386. Standardfehler: 2.138. Kosten je Aufgabe in USD: 0.879924. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_multimodal_index-2026-10-15-077b22575f6e. Prüfsumme der Quelldaten: 077b22575f6e075b7b78157d000ec8f94d7ead409c7dcbcf04887630ed572a2d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
AA-AnalystAgent: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 38.75
- Bewertung
- 38.75
- Messgröße
- pass^5 reliability
- Einheit
- %
- Benchmark-Version
- AA cohort: 80 questions
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-analyst-agent:AA cohort: 80 questions:standalone:reasoning:tokens=2000:suffix=Max
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 38,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Reasoning-Stufe: Max
- Einordnung
- Fragen, Quelldateien und Referenzantworten sind privat. pass^5 misst Zuverlässigkeit über alle fünf Wiederholungen, nicht pass@1.
AA-LCR: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 79.3333333333333
- Bewertung
- 79.3333333333333
- Messgröße
- Pass rate
- Einheit
- %
- Benchmark-Version
- v1.1
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=Low
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Low) (Release kimi-k3, Zeile kimi-k3-low, UUID 512d17ef-13d2-4f65-bf9b-154b0dec7e8d, reasoning=true, source reasoning-token configuration budget=2000, suffix=Low). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/512d17ef-13d2-4f65-bf9b-154b0dec7e8d/kimi-k3/kimi-k3-low. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Low). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Low. Angezeigter Wert: 79,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Low) (Release kimi-k3, Zeile kimi-k3-low, UUID 512d17ef-13d2-4f65-bf9b-154b0dec7e8d, reasoning=true, source reasoning-token configuration budget=2000, suffix=Low). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Low
AA-LCR: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 88.6666666666667
- Bewertung
- 88.6666666666667
- Messgröße
- Pass rate
- Einheit
- %
- Benchmark-Version
- v1.1
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=Max
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 88,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
APEX-Agents-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 41.2979351032448
- Bewertung
- 41.2979351032448
- Messgröße
- Pass@1 success rate
- Einheit
- %
- Benchmark-Version
- AA public cohort: 452 tasks
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=2000:suffix=Max
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 41,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Max
- Einordnung
- Zwei Aufgabenwelten aus dem Investment Banking fehlen, weil sie externe Laufzeit-APIs benötigen.
AutomationBench-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 49.2568024921068
- Bewertung
- 49.2568024921068
- Messgröße
- Objectives completed without guardrail violations
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Low
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Low) (Release kimi-k3, Zeile kimi-k3-low, UUID 512d17ef-13d2-4f65-bf9b-154b0dec7e8d, reasoning=true, source reasoning-token configuration budget=2000, suffix=Low). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/512d17ef-13d2-4f65-bf9b-154b0dec7e8d/kimi-k3/kimi-k3-low. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Low). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Low. Angezeigter Wert: 49,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Low) (Release kimi-k3, Zeile kimi-k3-low, UUID 512d17ef-13d2-4f65-bf9b-154b0dec7e8d, reasoning=true, source reasoning-token configuration budget=2000, suffix=Low). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Low
AutomationBench-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 58.272977800152034
- Bewertung
- 58.272977800152034
- Messgröße
- Objectives completed without guardrail violations
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Max
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 58,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
CritPt: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 3.14285714285714
- Bewertung
- 3.14285714285714
- Messgröße
- Score
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-critpt:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Low
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Low) (Release kimi-k3, Zeile kimi-k3-low, UUID 512d17ef-13d2-4f65-bf9b-154b0dec7e8d, reasoning=true, source reasoning-token configuration budget=2000, suffix=Low). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/512d17ef-13d2-4f65-bf9b-154b0dec7e8d/kimi-k3/kimi-k3-low. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Low). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Low. Angezeigter Wert: 3,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Low) (Release kimi-k3, Zeile kimi-k3-low, UUID 512d17ef-13d2-4f65-bf9b-154b0dec7e8d, reasoning=true, source reasoning-token configuration budget=2000, suffix=Low). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Low
- Einordnung
- Artificial Analysis kennzeichnet CritPt als unter Prüfung; Änderungen am Datensatz können die Ergebnisse verändern.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
CritPt: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 23.4285714285714
- Bewertung
- 23.4285714285714
- Messgröße
- Score
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-critpt:unspecified:v4.3.2:reasoning:tokens=2000:suffix=Max
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/f7d2fc3e-1f7b-405f-818c-07952a4af78f/kimi-k3/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Kimi. Modellstand: Kimi K3 (Max). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Max. Angezeigter Wert: 23,4 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Kimi K3 (Max) (Release kimi-k3, Zeile kimi-k3, UUID f7d2fc3e-1f7b-405f-818c-07952a4af78f, reasoning=true, source reasoning-token configuration budget=2000, suffix=Max). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Max
- Einordnung
- Artificial Analysis kennzeichnet CritPt als unter Prüfung; Änderungen am Datensatz können die Ergebnisse verändern.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
Dokumentierte Messdetails
AlmanBench v0.1: Accepted cases (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 90.9620991254
- Bewertung
- 90.9620991254
- Messgröße
- accepted cases
- Einheit
- %
- Benchmark-Version
- v0.1, results commit f34ddbf
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accepted cases
- Richtung
- Mehr ist besser
- Vergleichskohorte
- almanbench-v0-1:official:overall
- Quellentyp
- independent-evaluator
- Auswertung
- Alman Institut
- Status
- active
- Abrufdatum
- 2026-08-09
- Methodik
- 1.029 öffentliche Aufgaben, ein direkter Lauf je Zeile. Gemessen wird die Alman-Sprachspezifikation.. Kennung des Quellmodells: curated/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Moonshot AI. Evaluator: Alman Institut. Datensatztyp: public. Stand der Rangliste: 2026-08-05. Reasoning-Stufe: max. Standardfehler: 0.893833. Quellenkennung: alman-institut. Kennung der Evidenzaufnahme: curated-alman-institut-2026-08-09-b5b769c9e870. Prüfsumme der Quelldaten: b5b769c9e870d769fb78c01a834af36d6c2cf156bb7a17f0a1f272eb70517156. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- 1.029 öffentliche Aufgaben, ein direkter Lauf je Zeile. Gemessen wird die Alman-Sprachspezifikation.
SWE-Marathon v1.1: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 48.1
- Bewertung
- 48.1
- Messgröße
- pass@1
- Einheit
- %
- Benchmark-Version
- v1.1
- Kategorie
- coding
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- swe-marathon-v1-1-2026-10-15-claude-code-max
- Quellentyp
- official-leaderboard
- Auswertung
- SWE-Marathon
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- SWE-Marathon v1.1, Gesamtlösungsrate pass@1. Agent Claude Code, Reasoning max. 20 realitätsnahe, mehrstündige Softwareentwicklungsaufgaben mit k=8 Läufen je Aufgabe. Binäre Wertung 1,0 nur bei vollständig bestandenen Verifier-Tests, sonst 0,0.. Kennung des Quellmodells: curated/kimi-k3. Name des Quellmodells: Kimi K3. Anbieter laut Quelle: Moonshot AI. Evaluator: SWE-Marathon. Datensatztyp: public. Agent: Claude Code. Versuche: 20 tasks; k=8 trials per task. Reasoning-Stufe: max. Quellenkennung: swe-marathon. Kennung der Evidenzaufnahme: curated-swe-marathon-2026-10-15-0a96f6d270c5. Prüfsumme der Quelldaten: 0a96f6d270c551f3b8b614cca8ade6c8e05edd254cb33f3da499cc6cc5148db0. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- SWE-Marathon v1.1, Gesamtlösungsrate pass@1. Agent Claude Code, Reasoning max. 20 realitätsnahe, mehrstündige Softwareentwicklungsaufgaben mit k=8 Läufen je Aufgabe. Binäre Wertung 1,0 nur bei vollständig bestandenen Verifier-Tests, sonst 0,0.
- Einordnung
- Der Wert bewertet die genannte Kombination aus Modell, Reasoning-Stufe und Agent, nicht einen isolierten Modelllauf.
Vals Index: SWE-bench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 95.098
- Bewertung
- 95.098
- Messgröße
- benchmark score
- Einheit
- %
- Benchmark-Version
- 1.2
- Kategorie
- aggregate
- Aufgabe
- swebench
- Aufgabenbezeichnung
- SWE-bench
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-vals-index:1.2:swebench
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-08-11
- Methodik
- Kennung des Quellmodells: kimi/kimi-k3. Name des Quellmodells: Kimi K3. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-09. Latenz in Sekunden: 611.386. Standardfehler: 2.138. Kosten je Aufgabe in USD: 0.879924. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_index-2026-08-11-e79d08d59249. Prüfsumme der Quelldaten: e79d08d5924964d8c5c590ec13203e07e902ed1f2b6d2b1c7fc7f911c6e3b82c. Parserversion: vals-astro-v2. Importiert am: 2026-08-11
Vals Multimodal Index: SWE-bench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 95.098
- Bewertung
- 95.098
- Messgröße
- benchmark score
- Einheit
- %
- Benchmark-Version
- 1.2
- Kategorie
- aggregate
- Aufgabe
- swebench
- Aufgabenbezeichnung
- SWE-bench
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-vals-multimodal-index:1.2:swebench
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: kimi/kimi-k3. Name des Quellmodells: Kimi K3. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-11. Latenz in Sekunden: 611.386. Standardfehler: 2.138. Kosten je Aufgabe in USD: 0.879924. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_multimodal_index-2026-10-15-077b22575f6e. Prüfsumme der Quelldaten: 077b22575f6e075b7b78157d000ec8f94d7ead409c7dcbcf04887630ed572a2d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Seite 1 von 31
Unsere Tests
SVG-Kurztest
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
Frühere Tests
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Kimi K3
Reasoning (angefragt): high
Aktueller Versuch
- Datum des Testlaufs
- 01.10.2026
- API-Anbieter
- openrouter
- Angefragtes API-Modell
- moonshotai/kimi-k3
- API-Modell laut Antwort
- moonshotai/kimi-k3
- Reasoning-Einstellung
- high
- Festgelegter Endpunkt
- Moonshot AI | moonshotai/kimi-k3-20260715
- Temperatur
- Anbieterstandard
- Tokenlimit inklusive Reasoning
- 8.192 Token
- Testprotokoll
- community-visual-tests-v1
- Technische Prüfung
- Bestanden, keine Qualitätsbewertung
- Antwortzeit
- 173,4 s
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Frühere Versuche (1)
- 07.09.2026API-Anfrage fehlgeschlagenReasoning-Einstellung: high
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Beliebtheit
68,5 / 100