Mistral Medium 3.5
SprachmodellAktiv
Mistral Medium 3.5
Mistral AI
- Veröffentlicht
- 28. April 2026
- Datenstand
- 8. September 2026
- Vorgängermodell
- Mistral Medium 3.1 (Herstellerdokumentation)
- Benchmark-Meta-Score
- Mindestabdeckung fehlt
- Geschwindigkeit
- 147,8 Token/sAusgabe-Tempo
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild
- Ausgabe
- Text
Neu an Mistral Medium 3.5 ist die Verbindung aus 128 Milliarden dichten Parametern, Text- und Bildeingabe und 256.000 Token Kontext.
Mistral beschreibt Medium 3.5 als Nachfolger von Mistral Medium 3.1. Die Modified-MIT-Lizenz bestimmt die Einsatzbedingungen.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | Open WeightsQuelle |
| Zugang | API, LokalQuelle |
| Parameter | 128 Mrd.Quelle |
| Kontextfenster | 262.144 TokenQuelle |
| Hinweise | Aktuelles API-Modell mit Fokus auf Coding; dichtes 128B-ModellQuelle |
| Anbieterbezeichnung | Mistral Medium 3.5Quelle |
| Lizenz | Modified MITQuelle |
| Veröffentlichung | 2026-04-28Quelle |
| API-Modellkennung | mistral-medium-3-5Quelle |
| Parameter | 128 Mrd.Quelle |
| Architektur | dense transformerQuelle |
| Eingabe | Text, BildQuelle |
| Ausgabe | TextQuelle |
| Reasoning-Modus | JaQuelle |
| Werkzeugaufrufe | JaQuelle |
| Strukturierte Ausgabe | JaQuelle |
Benchmark-Metaanalyse
Gesamt- und Bereichsscores
Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.
Abrufstände der verwendeten Quellen 2026-10-15 - 2026-10-19
Gesamtindex
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 37 %
- Testfamilien
- 31 / 71
- Quellen
- 3
- Mathematische Grenzen bei fehlenden Werten
- 6,1-68,8 / 100
Programmieren
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 29 %
- Testfamilien
- 5 / 15
- Quellen
- 3
- Mathematische Grenzen bei fehlenden Werten
- 2,7-73,8 / 100
Schlussfolgern
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 43 %
- Testfamilien
- 4 / 7
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 7,8-64,9 / 100
Mathematik
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 20 %
- Testfamilien
- 1 / 5
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 2,1-82,1 / 100
Wissen
Index 18,0 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 67 %
- Testfamilien
- 2 / 3
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 12,0-45,4 / 100
Agenten
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 33 %
- Testfamilien
- 4 / 12
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 9,1-75,8 / 100
Allgemein
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 40 %
- Testfamilien
- 2 / 5
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 13,3-73,3 / 100
Finanzen
Index 10,3 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 86 %
- Testfamilien
- 6 / 7
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 8,8-23,1 / 100
Recht
Index 16,9 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 50 %
- Testfamilien
- 2 / 4
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 8,4-58,4 / 100
Gesundheit
Index 11,1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 67 %
- Testfamilien
- 2 / 3
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 7,4-40,8 / 100
Multimodal
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 38 %
- Testfamilien
- 2 / 4
- Quellen
- 2
- Mathematische Grenzen bei fehlenden Werten
- 4,0-66,5 / 100
Bildung
Noch nicht genug Abdeckung für einen Score
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Abdeckung des Panelgewichts
- 50 %
- Testfamilien
- 1 / 2
- Quellen
- 1
- Mathematische Grenzen bei fehlenden Werten
- 9,5-59,5 / 100
Dokumentierte Methode · Einbezogene Testfamilien und Messwerte
Methodenfassung: benchmark-meta-score-v1
Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf; bei gleichem Datum wird der breitere Schnitt verwendet. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Bei dieser Auswahl zwischen mehreren Ergebnissen führen unbekannte oder mehrdeutige Stufen zum Ausschluss des Modells aus der betreffenden Reihe. Eindeutige Einzelkonfigurationen benötigen keine Stufenreihenfolge. Das jeweils beste Einzelergebnis eines Modells wird nicht ausgewählt. Rangperzentile mit gleichen Rohwerten teilen sich dasselbe Perzentil. Mehrere Reihen desselben Auswerters innerhalb einer Testfamilie werden gleich gewichtet, danach werden Auswerter in der Testfamilie, Testfamilien im Bereich und Bereiche im Gesamtindex jeweils gleich gewichtet. Nicht gemessene Reihen bleiben in Abdeckung und Grenzen sichtbar. Ein Gesamtwert erfordert mindestens vier Bereiche, sechs Testfamilien und zwei Quellen. Ein Bereichswert erfordert mindestens zwei Testfamilien. Jeder Gesamt- und Bereichsscore benötigt außerdem mindestens 50 % des jeweiligen Panelgewichts.
Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.
Nicht gemessene Anteile werden nicht als Nullwert eingesetzt. Sie senken die Abdeckung und fließen nur in die ausgewiesenen Grenzen ein. Werte aus unterschiedlichen Abdeckungen sind daher nicht unmittelbar gleich vollständig.
Die Grenzen halten die vorhandenen Perzentile fest und setzen für fehlende Beiträge beliebige Werte von 0 bis 100 an. Sie sind keine Konfidenzintervalle und keine Prognose für spätere Neuberechnungen.
Die Quellenzahl ist keine Anzahl unabhängiger Experimente.
OECD-Handbuch zu zusammengesetzten IndikatorenAlle 31 Testfamilien und 12 von 33 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.
Testfamilie: AA-AnalystAgent
Agenten · Familienindex: 13,2 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-analyst-agent
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 12,5 %
- Messgröße:
- pass^5 reliability
- Version:
- AA cohort: 80 questions
- Teilnehmende Modelle:
- 39
- Rangperzentil innerhalb der Kohorte:
- 13,2 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-analyst-agent:AA cohort: 80 questions:standalone:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-analyst-agent","AA cohort: 80 questions","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup analyst agent
- Werkzeugregeln:
- 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission
- Versuche:
- pass^5, 5 independent attempts per question
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Angezeigter Wert: 12,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-Briefcase
Agenten · Familienindex: 30,5 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-briefcase
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 522,97 Elo
- Messgröße:
- AA-Briefcase Elo
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 30,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-briefcase:v1.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-briefcase","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-LCR
Schlussfolgern · Familienindex: 24,4 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-lcr
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,02 %
- Rohwert:
- 69,3333333333333 %
- Messgröße:
- Pass rate
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 24,4 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-lcr","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 69,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AutomationBench-AA
Agenten · Familienindex: 37,8 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-automationbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 6,299648656993127 %
- Messgröße:
- Objectives completed without guardrail violations
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 37,8 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-automationbench-aa","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 6,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDP.pdf
Schlussfolgern · Familienindex: 19,5 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdp-pdf
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,02 %
- Rohwert:
- 2,8000000000000003 %
- Messgröße:
- All-pass rate
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 19,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdp-pdf","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 2,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDPval-AA
Agenten · Familienindex: 28,0 / 100Nominales Familiengewicht im Gesamtpanel: 0,6 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdpval-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,6 %
- Rohwert:
- 760,86 Elo
- Messgröße:
- GDPval-AA Elo
- Version:
- v2.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 28,0 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdpval-aa:v2.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdpval-aa","v2.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: IFBench
Allgemein · Familienindex: 63,8 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-ifbench
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,43 %
- Rohwert:
- 68,7755102040816 %
- Messgröße:
- IFBench prompt-level loose accuracy (pass@1)
- Version:
- AA test set: 294 questions
- Teilnehmende Modelle:
- 70
- Rangperzentil innerhalb der Kohorte:
- 63,8 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-ifbench","AA test set: 294 questions","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Werkzeugregeln:
- Single-turn answer evaluated with the official IFBench source code
- Versuche:
- pass@1, 5 repeats per question
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 68,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-Omniscience
Wissen · Familienindex: 24,4 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-omniscience
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 2,38 %
- Rohwert:
- -36,8 points
- Messgröße:
- AA-Omniscience Index
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 24,4 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-omniscience:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-omniscience","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GPQA Diamond
Schlussfolgern · Familienindex: 1,3 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- vals-gpqa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 50 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,51 %
- Rohwert:
- 34,848 %
- Messgröße:
- accuracy
- Version:
- 1
- Teilnehmende Modelle:
- 77
- Rangperzentil innerhalb der Kohorte:
- 1,3 %
- Abgerufen:
- 2026-10-15
- Vergleichskohorte:
- vals-gpqa:1:overall
- Reasoning-Stufe:
- high
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- vals-gpqa:1:overall
- Datensatztyp:
- public
- Setup- und Modellparameter
- Reasoning-Stufe: high. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 80000
Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 0.7. Top P: 0.95. Maximale Ausgabetoken: 80000. Latenz in Sekunden: 256.17. Standardfehler: 2.39. Kosten je Aufgabe in USD: 0.095489. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vals AI
Testfamilie: Humanity’s Last Exam
Schlussfolgern · Familienindex: 19,5 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-humanitys-last-exam
- Gewicht der Messreihe innerhalb der Testfamilie:
- 50 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,51 %
- Rohwert:
- 13,7627432808156 %
- Messgröße:
- Text-only pass@1 accuracy
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 19,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-humanitys-last-exam:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-humanitys-last-exam","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 13,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: LMArena Code Arena WebDev
Programmieren · Familienindex: 2,8 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
- LMArena
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- lmarena-code-webdev
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,48 %
- Rohwert:
- 1.263,3829384837534 rating
- Messgröße:
- WebDev Arena Bradley-Terry rating
- Version:
- webdev
- Teilnehmende Modelle:
- 37
- Rangperzentil innerhalb der Kohorte:
- 2,8 %
- Abgerufen:
- 2026-10-15
- Vergleichskohorte:
- lmarena-code-webdev:2026-10-13:overall
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- lmarena-code-webdev:2026-10-13:overall
- Datensatztyp:
- public-crowdsourced-preferences
- Harness:
- Arena Code Arena WebDev
- Setup- und Modellparameter
- Arena-Bewertung aus 2.320 veröffentlichten Paarvergleichen.. Harness: Arena Code Arena WebDev
Arena-Bewertung aus 2.320 veröffentlichten Paarvergleichen.. Kennung des Quellmodells: lmarena/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Modellstand: mistral-medium-3.5. Evaluator: LMArena. Datensatztyp: public-crowdsourced-preferences. Stand der Rangliste: 2026-10-13. Harness: Arena Code Arena WebDev. Quellenkennung: lmarena. Kennung der Evidenzaufnahme: lmarena-webdev-4589dee83b594891961ae5190c508a9288d2c2ae-28f8076e6c27. Prüfsumme der Quelldaten: 28f8076e6c27f1f89239f3d7243456357dfa175b078646a6bd859935b162cc9c. Parserversion: lmarena-dataset-v1. Importiert am: 2026-10-15
- LMArena
Testfamilie: LMArena Text, Style Control
Allgemein · Familienindex: 2,8 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
- LMArena
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- lmarena-text-style-control
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,43 %
- Rohwert:
- 1.426,6051088690308 rating
- Messgröße:
- style-controlled Bradley-Terry rating
- Version:
- style-control-v1
- Teilnehmende Modelle:
- 37
- Rangperzentil innerhalb der Kohorte:
- 2,8 %
- Abgerufen:
- 2026-10-15
- Vergleichskohorte:
- lmarena-text-style-control:2026-10-13:overall
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- lmarena-text-style-control:2026-10-13:overall
- Datensatztyp:
- public-crowdsourced-preferences
- Harness:
- Arena Text, style control
- Setup- und Modellparameter
- Arena-Bewertung aus 11.793 veröffentlichten Paarvergleichen.. Harness: Arena Text, style control
Arena-Bewertung aus 11.793 veröffentlichten Paarvergleichen.. Kennung des Quellmodells: lmarena/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Modellstand: mistral-medium-3.5. Evaluator: LMArena. Datensatztyp: public-crowdsourced-preferences. Stand der Rangliste: 2026-10-13. Harness: Arena Text, style control. Quellenkennung: lmarena. Kennung der Evidenzaufnahme: lmarena-4589dee83b594891961ae5190c508a9288d2c2ae-a39cbed99996. Prüfsumme der Quelldaten: a39cbed99996f4993a4cd66d8322b2edb939f1ffdbd377c9d3769edd01dd78ca. Parserversion: lmarena-dataset-v1. Importiert am: 2026-10-15
- LMArena
Testfamilie: LMArena Vision, Style Control
Multimodal · Familienindex: 3,3 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMMU-Pro
Multimodal · Familienindex: 25,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 50 %
Testfamilie: SWE-bench Verified
Programmieren · Familienindex: 15,3 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 50 %
Testfamilie: Terminal-Bench
Programmieren · Familienindex: 17,2 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 83 %
Testfamilie: Code Migration
Programmieren · Familienindex: 9,7 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: CorpFin v2
Finanzen · Familienindex: 25,7 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: EMB
Finanzen · Familienindex: 3,4 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Finance Agent (v2)
Finanzen · Familienindex: 10,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Harvey's Legal Agent Benchmark
Recht · Familienindex: 24,6 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Legal Research Bench
Recht · Familienindex: 9,2 / 100Nominales Familiengewicht im Gesamtpanel: 1,79 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedCode
Gesundheit · Familienindex: 14,9 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MedScribe
Gesundheit · Familienindex: 7,4 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MMLU-Pro
Wissen · Familienindex: 11,7 / 100Nominales Familiengewicht im Gesamtpanel: 2,38 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: MortgageTax
Finanzen · Familienindex: 0,0 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: ProofBench
Mathematik · Familienindex: 10,3 / 100Nominales Familiengewicht im Gesamtpanel: 1,43 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: SAGE
Bildung · Familienindex: 19,0 / 100Nominales Familiengewicht im Gesamtpanel: 3,57 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Tax Agent Bench
Finanzen · Familienindex: 5,5 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: TaxEval v2
Finanzen · Familienindex: 17,1 / 100Nominales Familiengewicht im Gesamtpanel: 1,02 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Vibe Code Bench v1.1
Programmieren · Familienindex: 5,6 / 100Nominales Familiengewicht im Gesamtpanel: 0,48 % · Abdeckung dieser Testfamilie: 100 %
Benchmarkquellen im Überblick
Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 11 | 1 | 14 |
| Vals AI | 20 | 1 | 166 |
| LMArena | 3 | 0 | 40 |
Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.
Seite 1 von 19
Veröffentlichte Benchmarks
Taste-Bench
Overall
502 technische Entscheidungspunkte aus Engineering- und Forschungsabläufen. Jedes Fragenpaar wird in beiden Antwortreihenfolgen vorgelegt. Der Gesamtscore mittelt Engineering und Forschung und verlangt, dass beide Reihenfolgen richtig beantwortet werden. Nicht parsebare Antworten zählen als falsch. Reasoning-Einstellung und Ausgabegrenze gehören zum Testaufbau.
Hinweis (Mistral Medium 3.5): 24 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
1.GPT-5.6 Sol59,7 %
Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
2.GPT-5.559,5 %
Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
3.Claude Opus 555,5 %
Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
4.Grok 4.554,6 %
Hinweis: 10 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
5.GPT-5.6 Terra54 %
Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
6.GLM-5.253,9 %
Hinweis: 17 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
7.Claude Sonnet 551,6 %
Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
8.GPT-5.6 Luna49 %
Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
9.MiniMax M345,3 %
Hinweis: 3 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
10.DeepSeek-V4-Flash43,3 %
Hinweis: 2 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
11.GPT-5.4 mini40,1 %
Hinweis: 112 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
13.GPT-5.4 nano36,6 %
Hinweis: 93 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
14.Grok 4.20 Reasoning15,7 %
Hinweis: 459 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
höhere Werte sind besserStand 26. September 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- taste-bench-paper-v2-502
- Messgröße
- both-orders-correct, engineering/research macro average
- Skala
- 0-100
- Teilnehmer
- 14
- Methodik und Einordnung
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/mistral-medium-3. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-38449b5fe794. Prüfsumme der Quelldaten: 38449b5fe794c44f4d44ddeacafc18597a8b641bb10d36ba132573673d74f285. Parserversion: curated-v1. Importiert am: 2026-10-15
Gesundheit
MedCode
Overall
höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- vals-medcode:1:overall
- Messgröße
- accuracy
- Skala
- 0-100
- Teilnehmer
- 3
- Methodik und Einordnung
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 34.879. Standardfehler: 1.148. Kosten je Aufgabe in USD: 0.05337. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-10-15-988a6ae1e07e. Prüfsumme der Quelldaten: 988a6ae1e07e33ce031572ed4a804be11c36ee97a1dd75cbe4740fff3b534f8c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
MedScribe
Overall
höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- vals-medscribe:1:overall
- Messgröße
- accuracy
- Skala
- 0-100
- Teilnehmer
- 3
- Methodik und Einordnung
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 104.053. Standardfehler: 2.011. Kosten je Aufgabe in USD: 0.157641. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-10-15-271fc122ddc2. Prüfsumme der Quelldaten: 271fc122ddc2b0602bd6c7947f65a9a7f0d8cab94f6dc27d62a9380a9317f9c0. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Bildung
SAGE
| Teilaufgabe | Mistral Medium 3.5 (Dieses Modell) | Grok 4.5 | Grok 4.6 |
|---|---|---|---|
| Automata | 30,16 % | 32,54 % (bester Wert dieser Zeile) | 32,14 % |
| Calculus | 2,78 % | 59,57 % | 61,73 % (bester Wert dieser Zeile) |
| Linear Algebra | 41,41 % | 46,96 % (bester Wert dieser Zeile) | 41,06 % |
| Overall | 37,61 % (bester Wert dieser Zeile) | 34,97 % | 28,9 % |
| Partial Differential Equations | 41,27 % (bester Wert dieser Zeile) | 25,4 % | 13,49 % |
höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg
Methodik und Einordnung
- Messgröße
- accuracy
Vals Multimodal Index
SWE-bench
höhere Werte sind besserStand 15. Oktober 2026Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- vals-vals-multimodal-index:1.2:swebench
- Messgröße
- benchmark score
- Skala
- 0-100
- Teilnehmer
- 29
- Methodik und Einordnung
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-11. Latenz in Sekunden: 854.891. Standardfehler: 4.732. Kosten je Aufgabe in USD: 4.288697. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_multimodal_index-2026-10-15-077b22575f6e. Prüfsumme der Quelldaten: 077b22575f6e075b7b78157d000ec8f94d7ead409c7dcbcf04887630ed572a2d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
AA-AnalystAgent: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 12.5
- Bewertung
- 12.5
- Messgröße
- pass^5 reliability
- Einheit
- %
- Benchmark-Version
- AA cohort: 80 questions
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-analyst-agent:AA cohort: 80 questions:standalone:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled. Angezeigter Wert: 12,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 80 quantitative Fragen aus 14 Domänen werden je fünfmal unabhängig ausgeführt. pass^5 zählt nur Fragen als gelöst, die in allen fünf Versuchen richtig beantwortet werden.. Harness: Artificial Analysis Stirrup. Agent: Stirrup analyst agent. Werkzeugrichtlinie: 100-turn cap; Python sandbox with source files, URL fetch, image viewing, and answer submission. Versuche: pass^5, 5 independent attempts per question. Reasoning: reasoning enabled
- Einordnung
- Fragen, Quelldateien und Referenzantworten sind privat. pass^5 misst Zuverlässigkeit über alle fünf Wiederholungen, nicht pass@1.
AA-LCR: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 69.3333333333333
- Bewertung
- 69.3333333333333
- Messgröße
- Pass rate
- Einheit
- %
- Benchmark-Version
- v1.1
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 69,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
AutomationBench-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 6.299648656993127
- Bewertung
- 6.299648656993127
- Messgröße
- Objectives completed without guardrail violations
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/dd059b25-d82a-4ead-82a4-4adceaaec48b/mistral-medium-3-5/mistral-medium-3-5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral. Modellstand: Mistral Medium 3.5. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 6,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Mistral Medium 3.5 (Release mistral-medium-3-5, Zeile mistral-medium-3-5, UUID dd059b25-d82a-4ead-82a4-4adceaaec48b, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Dokumentierte Messdetails
Taste-Bench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 37.7
- Bewertung
- 37.7
- Messgröße
- both-orders-correct, engineering/research macro average
- Einheit
- %
- Benchmark-Version
- arxiv:2609.25804v2
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- taste-bench-paper-v2-502
- Quellentyp
- independent-evaluator
- Auswertung
- Taste-Bench paper
- Status
- active
- Abrufdatum
- 2026-09-26
- Methodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/mistral-medium-3. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-38449b5fe794. Prüfsumme der Quelldaten: 38449b5fe794c44f4d44ddeacafc18597a8b641bb10d36ba132573673d74f285. Parserversion: curated-v1. Importiert am: 2026-10-15
- Vergleichsmethodik
- Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
- Einordnung
- 24 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.
MedCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 33.752
- Bewertung
- 33.752
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- health
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-medcode:1:overall
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 34.879. Standardfehler: 1.148. Kosten je Aufgabe in USD: 0.05337. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-10-15-988a6ae1e07e. Prüfsumme der Quelldaten: 988a6ae1e07e33ce031572ed4a804be11c36ee97a1dd75cbe4740fff3b534f8c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
MedScribe: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 67.728
- Bewertung
- 67.728
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- health
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-medscribe:1:overall
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 104.053. Standardfehler: 2.011. Kosten je Aufgabe in USD: 0.157641. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-10-15-271fc122ddc2. Prüfsumme der Quelldaten: 271fc122ddc2b0602bd6c7947f65a9a7f0d8cab94f6dc27d62a9380a9317f9c0. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
SAGE: Automata (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 30.159
- Bewertung
- 30.159
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- education
- Aufgabe
- automata
- Aufgabenbezeichnung
- Automata
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-sage:1:automata
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 54.582. Standardfehler: 5.701. Kosten je Aufgabe in USD: 0.066288. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
SAGE: Calculus (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 2.778
- Bewertung
- 2.778
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- education
- Aufgabe
- calculus
- Aufgabenbezeichnung
- Calculus
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-sage:1:calculus
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 73.75. Standardfehler: 2.66. Kosten je Aufgabe in USD: 0.073682. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
SAGE: Linear Algebra (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 41.411
- Bewertung
- 41.411
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- education
- Aufgabe
- linear_algebra
- Aufgabenbezeichnung
- Linear Algebra
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-sage:1:linear_algebra
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 46.749. Standardfehler: 5.535. Kosten je Aufgabe in USD: 0.072413. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
SAGE: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 37.613
- Bewertung
- 37.613
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- education
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-sage:1:overall
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 55.844. Standardfehler: 3.356. Kosten je Aufgabe in USD: 0.072775. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
SAGE: Partial Differential Equations (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 41.27
- Bewertung
- 41.27
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 1
- Kategorie
- education
- Aufgabe
- PDEs
- Aufgabenbezeichnung
- Partial Differential Equations
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-sage:1:PDEs
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-08. Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 66.2. Standardfehler: 6.185. Kosten je Aufgabe in USD: 0.079624. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-sage-2026-10-15-cc5fb3fecdb0. Prüfsumme der Quelldaten: cc5fb3fecdb0382d492ff167a42ad84b9c5c3883373c78ed87baaa972b8b6f7c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
- Vergleichsmethodik
- Reasoning-Stufe: high. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
Vals Multimodal Index: SWE-bench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 64.706
- Bewertung
- 64.706
- Messgröße
- benchmark score
- Einheit
- %
- Benchmark-Version
- 1.2
- Kategorie
- aggregate
- Aufgabe
- swebench
- Aufgabenbezeichnung
- SWE-bench
- Richtung
- Mehr ist besser
- Vergleichskohorte
- vals-vals-multimodal-index:1.2:swebench
- Quellentyp
- independent-evaluator
- Auswertung
- Vals AI
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-11. Latenz in Sekunden: 854.891. Standardfehler: 4.732. Kosten je Aufgabe in USD: 4.288697. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-vals_multimodal_index-2026-10-15-077b22575f6e. Prüfsumme der Quelldaten: 077b22575f6e075b7b78157d000ec8f94d7ead409c7dcbcf04887630ed572a2d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Seite 1 von 19
Unsere Tests
SVG-Kurztest
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
Frühere Tests
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Mistral Medium 3.5
Reasoning (angefragt): high
Aktueller Versuch
- Datum des Testlaufs
- 01.10.2026
- API-Anbieter
- openrouter
- Angefragtes API-Modell
- mistralai/mistral-medium-3-5
- API-Modell laut Antwort
- mistralai/mistral-medium-3-5
- Reasoning-Einstellung
- high
- Festgelegter Endpunkt
- Mistral | mistralai/mistral-medium-3.5-20260430
- Temperatur
- Anbieterstandard
- Tokenlimit inklusive Reasoning
- 8.192 Token
- Testprotokoll
- community-visual-tests-v1
- Technische Prüfung
- Bestanden, keine Qualitätsbewertung
- Antwortzeit
- 38,7 s
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Frühere Versuche (1)
- 07.09.2026API-Anfrage fehlgeschlagenReasoning-Einstellung: high
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Beliebtheit
39,6 / 100