Qwen 3.5 397B A17B
SprachmodellAktiv
Qwen 3.5 397B A17B
Alibaba
- Veröffentlicht
- 15. Februar 2026
- Datenstand
- 8. September 2026
- Nachfolgermodell
- Qwen 3.8 2.4T A95B
- Benchmark-Meta-Score
- Werte aus nur einer Quelle
- Geschwindigkeit
- 86,9 Token/sAusgabe-Tempo
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild, Video
- Ausgabe
- Text
Qwen 3.5 397B A17B ist der größte offene Qwen3.5-Checkpoint und verbindet frühe Bild-Text-Fusion mit einer sparsamen Mixture of Experts. Von 397 Milliarden Parametern werden 17 Milliarden aktiviert.
Das Repository bietet 262.144 Token nativen Kontext und eine Erweiterung bis 1.010.000 Token. Qwen nennt Qwen 3.8 2.4T A95B als spätere offene Ausbaustufe auf dieser Grundlage. Für einen verwalteten Dienst ist Qwen3.5-Plus eine eigene Konfiguration mit standardmäßig 1 Million Token und integrierten Werkzeugen.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | Open WeightsQuelle |
| Zugang | API, LokalQuelle |
| Parameter | 397 Mrd.Quelle |
| Aktive Parameter | 17 Mrd.Quelle |
| Kontextfenster | 262.144 TokenQuelle |
| Modell-Repository | Qwen/Qwen3.5-397B-A17BQuelle |
| Lizenz | Apache-2.0Quelle |
| Architektur | hybrid Gated DeltaNet + Gated Attention; dense or sparse MoE with vision encoderQuelle |
| Eingabe | Text, Bild, VideoQuelle |
| Ausgabe | TextQuelle |
| Reasoning-Modus | thinking by default; switchable non-thinking/instruct modeQuelle |
| Werkzeugaufrufe | JaQuelle |
| Strukturierte Ausgabe | JaQuelle |
| Natives Kontextfenster | 262.144 TokenQuelle |
| Maximales Kontextfenster | 1.010.000 TokenQuelle |
| Sprachen | 201 languages and dialectsQuelle |
| Repository erstellt | 2026-02-16 (Repository creation date is a precise publication proxy, but may differ from the public announcement date or an individual checkpoint's first availability.)Quelle |
Benchmark-Metaanalyse
Gesamt- und Bereichsscores
Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.
Abrufstände der verwendeten Quellen 2026-10-19 - 2026-10-19
Gesamtindex
Noch nicht genug unabhängige Werte für einen Score
Ein Gesamtwert braucht Werte aus mindestens zwei Quellen.
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Testreihen
- 10
- Testfamilien
- 10 / 65
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 12 %
Programmieren
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,1
- 95-%-Intervall
- 0,0 bis 0,7
- Testreihen
- 1
- Testfamilien
- 1 / 15
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 3 %
Schlussfolgern
Index 6,8 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 3,4
- 95-%-Intervall
- 2,3 bis 16,3
- Testreihen
- 3
- Testfamilien
- 3 / 7
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 36 %
Wissen
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,2
- 95-%-Intervall
- 0,0 bis 1,1
- Testreihen
- 1
- Testfamilien
- 1 / 3
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 33 %
Agenten
Index 1,4 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 1,3
- 95-%-Intervall
- 0,2 bis 6,9
- Testreihen
- 5
- Testfamilien
- 5 / 12
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 42 %
Dokumentierte Methode · Einbezogene Testfamilien und Messwerte
Methodenfassung: benchmark-meta-score-v3
Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.
Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.
Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.
Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.
Die Quellenzahl ist keine Anzahl unabhängiger Experimente.
OECD-Handbuch zu zusammengesetzten IndikatorenAlle 10 Testfamilien und 10 von 10 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.
Testfamilie: AA-Briefcase
Agenten · Mittleres Rangperzentil der Familie: 31,7 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-briefcase
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 562,4 Elo
- Messgröße:
- AA-Briefcase Elo
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 31,7 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-briefcase:v1.1:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-briefcase","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-LCR
Schlussfolgern · Mittleres Rangperzentil der Familie: 48,8 / 100Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-lcr
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,53 %
- Rohwert:
- 77,3333333333333 %
- Messgröße:
- Pass rate
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 48,8 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-lcr","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 77,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: APEX-Agents-AA
Agenten · Mittleres Rangperzentil der Familie: 34,6 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-apex-agents-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 15,339233038348098 %
- Messgröße:
- Pass@1 success rate
- Version:
- AA public cohort: 452 tasks
- Teilnehmende Modelle:
- 27
- Rangperzentil innerhalb der Kohorte:
- 34,6 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-apex-agents-aa","AA public cohort: 452 tasks","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup agent
- Werkzeugregeln:
- 200-turn cap; MCP-backed workplace tools in Archipelago
- Versuche:
- pass@1, averaged over 3 repeats per task
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 15,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AutomationBench-AA
Agenten · Mittleres Rangperzentil der Familie: 41,5 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-automationbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 6,886670023070867 %
- Messgröße:
- Objectives completed without guardrail violations
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 41,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-automationbench-aa","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 6,9 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDP.pdf
Schlussfolgern · Mittleres Rangperzentil der Familie: 55,5 / 100Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdp-pdf
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,53 %
- Rohwert:
- 12,2 %
- Messgröße:
- All-pass rate
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 55,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdp-pdf","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 12,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDPval-AA
Agenten · Mittleres Rangperzentil der Familie: 32,9 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdpval-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 792,97 Elo
- Messgröße:
- GDPval-AA Elo
- Version:
- v2.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 32,9 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdpval-aa:v2.1:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdpval-aa","v2.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: ITBench-AA (SRE)
Agenten · Mittleres Rangperzentil der Familie: 28,6 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-itbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 34,0866290018832 %
- Messgröße:
- Average precision at full recall
- Version:
- AA cohort: 59 tasks
- Teilnehmende Modelle:
- 36
- Rangperzentil innerhalb der Kohorte:
- 28,6 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-itbench-aa","AA cohort: 59 tasks","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup agent
- Werkzeugregeln:
- Shell access to an offline Kubernetes incident snapshot
- Versuche:
- Average precision at full recall, 3 repeats per task
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 34,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-Omniscience
Wissen · Mittleres Rangperzentil der Familie: 25,6 / 100Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-omniscience
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 3,57 %
- Rohwert:
- -30,75 points
- Messgröße:
- AA-Omniscience Index
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 25,6 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-omniscience:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-omniscience","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: Humanity’s Last Exam
Schlussfolgern · Mittleres Rangperzentil der Familie: 40,2 / 100Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-humanitys-last-exam
- Gewicht der Messreihe innerhalb der Testfamilie:
- 50 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,77 %
- Rohwert:
- 28,962001853568097 %
- Messgröße:
- Text-only pass@1 accuracy
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 40,2 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-humanitys-last-exam:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-humanitys-last-exam","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 29,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: Terminal-Bench
Programmieren · Mittleres Rangperzentil der Familie: 17,7 / 100Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-terminal-bench-4
- Gewicht der Messreihe innerhalb der Testfamilie:
- 50 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,36 %
- Rohwert:
- 0 %
- Messgröße:
- Task success
- Version:
- 4.0
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 17,7 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-terminal-bench-4:4.0:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-terminal-bench-4","4.0","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 0,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Benchmarkquellen im Überblick
Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 12 | 1 | 26 |
Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.
Bei 7 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.
Seite 1 von 10
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
AA-LCR: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 77.3333333333333
- Bewertung
- 77.3333333333333
- Messgröße
- Pass rate
- Einheit
- %
- Benchmark-Version
- v1.1
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 77,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
APEX-Agents-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 15.339233038348098
- Bewertung
- 15.339233038348098
- Messgröße
- Pass@1 success rate
- Einheit
- %
- Benchmark-Version
- AA public cohort: 452 tasks
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 15,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Zwei Aufgabenwelten aus dem Investment Banking fehlen, weil sie externe Laufzeit-APIs benötigen.
AutomationBench-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 6.886670023070867
- Bewertung
- 6.886670023070867
- Messgröße
- Objectives completed without guardrail violations
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 6,9 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
CritPt: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 1.70612244897959
- Bewertung
- 1.70612244897959
- Messgröße
- Score
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-critpt:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 1,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Artificial Analysis kennzeichnet CritPt als unter Prüfung; Änderungen am Datensatz können die Ergebnisse verändern.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
GDP.pdf: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 12.2
- Bewertung
- 12.2
- Messgröße
- All-pass rate
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 12,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Humanity's Last Exam: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 28.962001853568097
- Bewertung
- 28.962001853568097
- Messgröße
- Text-only pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-humanitys-last-exam:unspecified:v4.3.2:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 29,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Der Anbieter beschreibt seine Vergleichsauswertung als text-only 2.158 Fragen, nicht als den vollständigen 2.500-Fragen-Datensatz.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 78.7755102040816
- Bewertung
- 78.7755102040816
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 78,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 51.632653061224495
- Bewertung
- 51.632653061224495
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:tokens=0:suffix=Non-reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Non-reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b-non-reasoning, UUID 30ef2a79-e800-4165-9f13-2a338f120db7, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/30ef2a79-e800-4165-9f13-2a338f120db7/qwen3-5-397b-a17b/qwen3-5-397b-a17b-non-reasoning. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning. Angezeigter Wert: 51,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Non-reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b-non-reasoning, UUID 30ef2a79-e800-4165-9f13-2a338f120db7, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
ITBench-AA (SRE): Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 34.0866290018832
- Bewertung
- 34.0866290018832
- Messgröße
- Average precision at full recall
- Einheit
- %
- Benchmark-Version
- AA cohort: 59 tasks
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 34,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Die AA-Implementierung deckt hier nur Site Reliability Engineering ab, nicht die weiteren ITBench-Domänen CISO und FinOps.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 77.28323699421969
- Bewertung
- 77.28323699421969
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 77,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 52.6589595375723
- Bewertung
- 52.6589595375723
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:non-reasoning:tokens=0:suffix=Non-reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Non-reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b-non-reasoning, UUID 30ef2a79-e800-4165-9f13-2a338f120db7, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/30ef2a79-e800-4165-9f13-2a338f120db7/qwen3-5-397b-a17b/qwen3-5-397b-a17b-non-reasoning. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning. Angezeigter Wert: 52,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Non-reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b-non-reasoning, UUID 30ef2a79-e800-4165-9f13-2a338f120db7, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.
AA-Omniscience Accuracy: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 30.8
- Bewertung
- 30.8
- Messgröße
- AA-Omniscience Accuracy
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-accuracy:AA Omniscience diagnostic:standalone:reasoning:tokens=3186:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Kennung des Quellmodells: artificial-analysis/0e66bae9-41f1-42fc-9276-ce8cb6f72919/qwen3-5-397b-a17b/qwen3-5-397b-a17b. Name des Quellmodells: Qwen 3.5 397B A17B. Anbieter laut Quelle: Alibaba. Modellstand: Qwen3.5 397B A17B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 30,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Qwen3.5 397B A17B (Reasoning) (Release qwen3-5-397b-a17b, Zeile qwen3-5-397b-a17b, UUID 0e66bae9-41f1-42fc-9276-ce8cb6f72919, reasoning=true, source reasoning-token configuration budget=3186, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Dies ist die separat veröffentlichte Genauigkeitsdiagnostik, nicht der AA-Omniscience-Index. AA bezeichnet höhere Werte als besser.
Seite 1 von 10
Unsere Tests
SVG-Kurztest
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
Frühere Tests
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Qwen 3.5 397B A17B
Reasoning (angefragt): high
Aktueller Versuch
- Datum des Testlaufs
- 01.10.2026
- API-Anbieter
- openrouter
- Angefragtes API-Modell
- qwen/qwen3.5-397b-a17b
- API-Modell laut Antwort
- qwen/qwen3.5-397b-a17b
- Reasoning-Einstellung
- high
- Festgelegter Endpunkt
- Alibaba | qwen/qwen3.5-397b-a17b-20260216
- Temperatur
- Anbieterstandard
- Tokenlimit inklusive Reasoning
- 8.192 Token
- Testprotokoll
- community-visual-tests-v1
- Technische Prüfung
- Bestanden, keine Qualitätsbewertung
- Antwortzeit
- 35,5 s
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Beliebtheit
46,9 / 100