Zum Hauptinhalt springen

Direktvergleich

GPT-6 Astra vs. Mistral Medium 3.5

Veröffentlichte Benchmarkwerte aus derselben Version und Vergleichskohorte, API-Preise und technische Eckdaten. Unterschiedliche Testeinstellungen werden sichtbar ausgewiesen.

gemeinsame Messreihen
159
verschiedene Benchmark-Messgrößen
15
jüngster Abruf
15.10.2026

Modellauswahl ändern

Steckbrief

Allgemeine Daten

Erscheinungsdatum, Verfügbarkeit, Kontextfenster, Architektur und veröffentlichte Parameterzahlen auf einen Blick. Nicht veröffentlichte Angaben bleiben als solche markiert.

Allgemeine Daten von GPT-6 Astra und Mistral Medium 3.5
MerkmalGPT-6 AstraMistral Medium 3.5
AnbieterOpenAIMistral AI
Erschienen3. Sept. 202628. Apr. 2026
VerfügbarkeitEingeschränkter ZugangAktiv
ModelltypProprietärOpen Weights
ParameterNicht veröffentlicht128 Mrd.
ArchitekturNicht veröffentlichtDense
Kontextfenster1.050.000 Token262.144 Token
Wissensstand30. April 2026Nicht veröffentlicht
Technische QuellenModell, KontextModell, Kontext

Kosten

API-Preise im Vergleich

Die Tabelle vergleicht die offiziellen Standard-API-Tarife pro 1 Mio. Token einschließlich veröffentlichter Cache-Preise. Batch, Fast, Priority, regionale Aufschläge, Toolaufrufe und Cloudpreise sind nicht eingerechnet.

API-Preise von GPT-6 Astra und Mistral Medium 3.5
PreisartGPT-6 AstraMistral Medium 3.5
API-Eingabe10 $ ≤272K / 20 $ >272K1,5 $
API-Ausgabe50 $ ≤272K / 75 $ >272K7,5 $
Cache lesen1 $ ≤272K / 2 $ >272KNicht ausgewiesen
Cache schreiben (5 Min.)12,5 $ ≤272K / 25 $ >272KNicht ausgewiesen
Cache schreiben (1 Std.)Nicht ausgewiesenNicht ausgewiesen
Preis geprüft22.09.2026 Quelle22.09.2026 Quelle
GPT-6 AstraMistral Medium 3.5
API-EingabeUSD pro 1 Mio. Token, Basistarif
GPT-6 Astra10 $
Mistral Medium 3.5Günstiger1,5 $
API-AusgabeUSD pro 1 Mio. Token, Basistarif
GPT-6 Astra50 $
Mistral Medium 3.5Günstiger7,5 $

Zeichenerklärung:besserer Wertbesser, aber nicht eindeutigGleichstand

Preise nach Anbieter

Direkte Entwicklertarife und über OpenRouter geroutete Anbieterpreise sind getrennt gekennzeichnet. Alle Preise gelten in USD pro 1 Mio. Token. Kontextabhängige Direktpreise sowie regionale, Flex-, Priority- und weitere OpenRouter-Tarife bleiben einzeln erkennbar.

Anbieterpreise von GPT-6 Astra und Mistral Medium 3.5
ModellAnbieterBezugsweg und TarifEingabe pro 1 Mio. TokenAusgabe pro 1 Mio. TokenQuelle
GPT-6 AstraOpenAIDirekt beim EntwicklerBis 272.000 Kontext-Token10 $50 $Quelle22.09.2026
OpenAIDirekt beim EntwicklerÜber 272.000 Kontext-Token20 $75 $Quelle22.09.2026
Amazon BedrockÜber OpenRouteramazon-bedrock/us-west-211 $55 $Quelle19.10.2026
AzureÜber OpenRouterazure10 $50 $Quelle19.10.2026
AzureÜber OpenRouterazure/us11 $55 $Quelle19.10.2026
OpenAIÜber OpenRouteropenai10 $50 $Quelle19.10.2026
OpenAIÜber OpenRouteropenai/fast20 $100 $Quelle19.10.2026
OpenAIÜber OpenRouteropenai/flexGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle19.10.2026
OpenAIÜber OpenRouteropenai/ultrafast60 $300 $Quelle19.10.2026
Mistral Medium 3.5Mistral AIDirekt beim EntwicklerStandard-APIGünstigster erfasster Preis: 1,5 $Günstigster erfasster Preis: 7,5 $Quelle22.09.2026
MistralÜber OpenRoutermistralGünstigster erfasster Preis: 1,5 $Günstigster erfasster Preis: 7,5 $Quelle19.10.2026
MistralÜber OpenRoutermistral/eu1,65 $8,25 $Quelle19.10.2026
MistralÜber OpenRoutermistral/zdrGünstigster erfasster Preis: 1,5 $Günstigster erfasster Preis: 7,5 $Quelle19.10.2026

Leistung

Gemeinsame Benchmarks

Nur veröffentlichte Ergebnisse mit derselben Benchmark-Version, Aufgabe, Metrik und Vergleichskohorte werden gegenübergestellt. Wenn Anbieter unterschiedliche Reasoning-Stufen, Agenten oder Ausgabegrenzen verwendet haben, steht das direkt in der Tabelle.

Fähigkeitsprofil aus vergleichbaren Benchmarks

Jede Achse mittelt direkt vergleichbare Benchmarkfamilien. Ein Wert von 100 bedeutet den stärkeren Wert innerhalb dieses Duells, keinen universellen Qualitätswert.

Nicht genug direkt vergleichbare Kategorien für ein belastbares Radar

Nur 0 von mindestens 5 Kategorien enthalten direkt vergleichbare Modellmessungen. Die Benchmarktabellen darunter zeigen die vorhandenen Belege, ohne fehlende Achsen aufzufüllen.

GPT-6 AstraMistral Medium 3.5
Code MigrationOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert67,74 %
Mistral Medium 3.55,127 %
EMBOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert71,7 %
Mistral Medium 3.511,185 %
Finance Agent (v2)Overall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert53,54 %
Mistral Medium 3.532,103 %
Harvey's Legal Agent BenchmarkOverall · Task fully resolved. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert5,417 %
Mistral Medium 3.50,417 %
Legal Research BenchOverall · All-pass. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert39,423 %
Mistral Medium 3.59,135 %
LMArena Code Arena WebDevOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert1.780,244
Mistral Medium 3.51.263,383
LMArena Text, Style ControlOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert1.476,716
Mistral Medium 3.51.426,605
LMArena Vision, Style ControlOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert1.285,988
Mistral Medium 3.51.200,386
MedCodeOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert48,486 %
Mistral Medium 3.533,752 %
MedScribeOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert87,908 %
Mistral Medium 3.567,728 %
ProofBenchOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert99 %
Mistral Medium 3.59 %
SAGEOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
GPT-6 AstraHöherer Messwert46,367 %
Mistral Medium 3.537,613 %

Zeichenerklärung:besserer Wertbesser, aber nicht eindeutigGleichstand

Benchmarkwerte von GPT-6 Astra und Mistral Medium 3.5
Benchmark und AufgabeGPT-6 AstraMistral Medium 3.5Quelle
Code MigrationOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert67,74 %
5,127 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
EMBOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert71,7 %
11,185 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Finance Agent (v2)Overall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert53,54 %
32,103 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Harvey's Legal Agent BenchmarkOverall · Task fully resolved
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: task resolution rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert5,417 %
0,417 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Legal Research BenchOverall · All-pass
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert39,423 %
9,135 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
LMArena Code Arena WebDevOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: webdevMessgröße: WebDev Arena Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Code Arena WebDev
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Code Arena WebDev
GPT-6 Astra: Arena-Bewertung aus 5.746 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 2.320 veröffentlichten Paarvergleichen.
Höherer Messwert1.780,244
95-%-Konfidenzintervall: ±10,541Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.263,383
95-%-Konfidenzintervall: ±14,784Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Text, Style ControlOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Text, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Text, style control
GPT-6 Astra: Arena-Bewertung aus 11.674 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 11.793 veröffentlichten Paarvergleichen.
Höherer Messwert1.476,716
95-%-Konfidenzintervall: ±6,385Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.426,605
95-%-Konfidenzintervall: ±6,399Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Vision, Style ControlOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Vision, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Vision, style control
GPT-6 Astra: Arena-Bewertung aus 3.590 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 5.375 veröffentlichten Paarvergleichen.
Höherer Messwert1.285,988
95-%-Konfidenzintervall: ±10,782Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.200,386
95-%-Konfidenzintervall: ±9,604Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 09.10.2026
MedCodeOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
Höherer Messwert48,486 %
33,752 %
Vals AI
Quellendetails
Datenstand: 13.10.2026
MedScribeOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
Höherer Messwert87,908 %
67,728 %
Vals AI
Quellendetails
Datenstand: 13.10.2026
ProofBenchOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert99 %
9 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
SAGEOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 30.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
Höherer Messwert46,367 %
37,613 %
Vals AI
Quellendetails
Datenstand: 08.10.2026
Tax Agent BenchOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert20,717 %
4,482 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Terminal-Bench 2.1Overall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert87,266 %
38,951 %
Vals AI
Quellendetails
Datenstand: 28.09.2026
Vibe Code Bench v1.1Overall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Harness: OpenHands, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Harness: OpenHands, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert89,594 %
2,888 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Code MigrationCLI
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert67,463 %
4,991 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
EMBComps
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert77,953 %
18,088 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Finance Agent (v2)Adjustments
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert48,318 %
27,312 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Harvey's Legal Agent BenchmarkAntitrust Competition · Criteria passed
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: criteria pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert88,768 %
64,493 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Legal Research BenchAdministrative / Regulatory · All-pass
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert53,03 %
7,576 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
LMArena Code Arena WebDevWebdev
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: webdevMessgröße: WebDev Arena Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Code Arena WebDev
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Code Arena WebDev
GPT-6 Astra: Arena-Bewertung aus 5.746 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 2.320 veröffentlichten Paarvergleichen.
Höherer Messwert1.780,244
95-%-Konfidenzintervall: ±10,541Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.263,383
95-%-Konfidenzintervall: ±14,784Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Text, Style ControlBusiness, management and finance
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Text, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Text, style control
GPT-6 Astra: Arena-Bewertung aus 2.061 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 2.257 veröffentlichten Paarvergleichen.
Höherer Messwert1.472,34
95-%-Konfidenzintervall: ±13,336Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.430,463
95-%-Konfidenzintervall: ±12,817Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Vision, Style ControlChinese
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Vision, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Vision, style control
GPT-6 Astra: Arena-Bewertung aus 230 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 288 veröffentlichten Paarvergleichen.
Höherer Messwert1.357,126
95-%-Konfidenzintervall: ±39,572Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.216,486
95-%-Konfidenzintervall: ±38,816Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 09.10.2026
SAGEAutomata
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 30.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
Höherer Messwert37,302 %
30,159 %
Vals AI
Quellendetails
Datenstand: 08.10.2026
Tax Agent BenchControversy & Precedence Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert13,333 %
3,333 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Terminal-Bench 2.1Easy
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert100 %
66,667 %
Vals AI
Quellendetails
Datenstand: 28.09.2026
Code MigrationCOBOL
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert68,571 %
5,536 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
EMBDataroom
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert79,319 %
13,403 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Finance Agent (v2)All-Pass
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert40,252 %
21,632 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Harvey's Legal Agent BenchmarkAntitrust Competition · Task fully resolved
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: task resolution rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Kein direkter Sieger0 %
Kein direkter Sieger0 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Legal Research BenchAdministrative / Regulatory · Weighted partial credit
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: weighted partial-credit scoreBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert87,482 %
67,472 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
LMArena Code Arena WebDevWebdev-html
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: webdevMessgröße: WebDev Arena Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Code Arena WebDev
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Code Arena WebDev
GPT-6 Astra: Arena-Bewertung aus 1.129 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 259 veröffentlichten Paarvergleichen.
Höherer Messwert1.780,13
95-%-Konfidenzintervall: ±22,887Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.307,357
95-%-Konfidenzintervall: ±41,479Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Text, Style ControlChinese
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Text, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Text, style control
GPT-6 Astra: Arena-Bewertung aus 877 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 620 veröffentlichten Paarvergleichen.
Höherer Messwert1.514,537
95-%-Konfidenzintervall: ±19,541Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.446,79
95-%-Konfidenzintervall: ±23,875Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Vision, Style ControlCreative writing vision
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Vision, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Vision, style control
GPT-6 Astra: Arena-Bewertung aus 367 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 342 veröffentlichten Paarvergleichen.
Höherer Messwert1.289,081
95-%-Konfidenzintervall: ±32,749Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.196,259
95-%-Konfidenzintervall: ±33,621Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 09.10.2026
SAGECalculus
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 30.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
Höherer Messwert79,938 %
2,778 %
Vals AI
Quellendetails
Datenstand: 08.10.2026
Tax Agent BenchControversy & Precedence Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert58,616 %
18,379 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Terminal-Bench 2.1Hard
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert87,778 %
15,556 %
Vals AI
Quellendetails
Datenstand: 28.09.2026
Code MigrationCode Quality
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: mean reviewer code-quality ratingBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert4,469 / 5
2,987 / 5
Vals AI
Quellendetails
Datenstand: 12.10.2026
EMBDCF
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert64,483 %
2,218 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Finance Agent (v2)Comparables
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert37,758 %
31,512 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Harvey's Legal Agent BenchmarkArbitration International Dispute Resolution · Criteria passed
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: criteria pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert86,022 %
70,776 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Legal Research BenchBusiness & Commercial · All-pass
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert32,558 %
9,302 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
LMArena Code Arena WebDevWebdev-react
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: webdevMessgröße: WebDev Arena Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Code Arena WebDev
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Code Arena WebDev
GPT-6 Astra: Arena-Bewertung aus 3.422 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 1.977 veröffentlichten Paarvergleichen.
Höherer Messwert1.804,405
95-%-Konfidenzintervall: ±13,548Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.253,399
95-%-Konfidenzintervall: ±16,155Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Text, Style ControlCoding
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Text, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Text, style control
GPT-6 Astra: Arena-Bewertung aus 2.659 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 3.298 veröffentlichten Paarvergleichen.
Höherer Messwert1.543,161
95-%-Konfidenzintervall: ±11,756Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.477,902
95-%-Konfidenzintervall: ±10,821Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Vision, Style ControlDiagram
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Vision, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Vision, style control
GPT-6 Astra: Arena-Bewertung aus 861 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 1.540 veröffentlichten Paarvergleichen.
Höherer Messwert1.310,509
95-%-Konfidenzintervall: ±20,739Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.242,126
95-%-Konfidenzintervall: ±16,169Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 09.10.2026
SAGELinear Algebra
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 30.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
Höherer Messwert62,117 %
41,411 %
Vals AI
Quellendetails
Datenstand: 08.10.2026
Tax Agent BenchCurrent & Temporal Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert29,944 %
6,5 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Terminal-Bench 2.1Medium
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert86,061 %
49,697 %
Vals AI
Quellendetails
Datenstand: 28.09.2026
EMBLBO
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert61,825 %
9,61 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Finance Agent (v2)Disclosure Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert61,684 %
40,223 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Harvey's Legal Agent BenchmarkArbitration International Dispute Resolution · Task fully resolved
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: task resolution rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Kein direkter Sieger0 %
Kein direkter Sieger0 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Legal Research BenchBusiness & Commercial · Weighted partial credit
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: weighted partial-credit scoreBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert83,821 %
71,304 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
LMArena Text, Style ControlCreative writing
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Text, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Text, style control
GPT-6 Astra: Arena-Bewertung aus 2.620 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 2.081 veröffentlichten Paarvergleichen.
Höherer Messwert1.449,578
95-%-Konfidenzintervall: ±12,436Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.400,583
95-%-Konfidenzintervall: ±13,731Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Vision, Style ControlEnglish
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Vision, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Vision, style control
GPT-6 Astra: Arena-Bewertung aus 1.205 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 2.316 veröffentlichten Paarvergleichen.
Höherer Messwert1.288,398
95-%-Konfidenzintervall: ±17,904Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.216,805
95-%-Konfidenzintervall: ±13,853Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 09.10.2026
SAGEPartial Differential Equations
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 30.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 1, Top P: 0.95, Ausgabegrenze: 30.000 tokens
39,683 %
Höherer Messwert41,27 %
Vals AI
Quellendetails
Datenstand: 08.10.2026
Tax Agent BenchCurrent & Temporal Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert66,224 %
29,444 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
EMBM&A
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert83,066 %
10,694 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Finance Agent (v2)Earnings Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert69,474 %
42,125 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Harvey's Legal Agent BenchmarkBanking Finance · Criteria passed
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: criteria pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert88,104 %
78,439 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
Legal Research BenchCivil Litigation · All-pass
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert40,741 %
11,111 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
LMArena Text, Style ControlEnglish
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Text, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Text, style control
GPT-6 Astra: Arena-Bewertung aus 4.703 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 5.655 veröffentlichten Paarvergleichen.
Höherer Messwert1.485,113
95-%-Konfidenzintervall: ±9,08Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.443,972
95-%-Konfidenzintervall: ±8,479Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 13.10.2026
LMArena Vision, Style ControlHomework
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGPT-6 Astra: Snapshot: gpt-6-astra-max, Reasoning: max, Harness: Arena Vision, style control
Mistral Medium 3.5: Snapshot: mistral-medium-3.5, Harness: Arena Vision, style control
GPT-6 Astra: Arena-Bewertung aus 480 veröffentlichten Paarvergleichen.Mistral Medium 3.5: Arena-Bewertung aus 805 veröffentlichten Paarvergleichen.
Höherer Messwert1.346,15
95-%-Konfidenzintervall: ±26,584Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
1.217,674
95-%-Konfidenzintervall: ±22,051Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall, Arena-Bereich und Modellkonfiguration gehören zum Ergebnis.
LMArena
Quellendetails
Datenstand: 09.10.2026
Tax Agent BenchFact-Pattern Analysis
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert27,907 %
2,326 %
Vals AI
Quellendetails
Datenstand: 12.10.2026
EMBMisc
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGPT-6 Astra: Reasoning: max, Ausgabegrenze: 128.000 tokens
Mistral Medium 3.5: Reasoning: high, Temperatur: 0.7, Top P: 0.95, Ausgabegrenze: 80.000 tokens
Höherer Messwert59,814 %
14,103 %
Vals AI
Quellendetails
Datenstand: 12.10.2026

Zeichenerklärung:besserer Wertbesser, aber nicht eindeutigGleichstand

Eigene Modelltests

Unsere Tests

SVG-Kurztest

Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.

Gemeinsame Testrunde: 4ae5d8eeb9a9

GPT-6 Astra

In dieser Runde nicht verfügbar

Mistral Medium 3.5

Mistral Medium 3.5: SVG-Kurztest
API meldet 0 Reasoning-TokensTestlauf: 12.10.2026Anbieter: mistralAPI-Modell: mistralai/mistral-medium-3-5409 Ausgabe-Token
Frühere Tests

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

GPT-6 Astra

GPT-6 Astra: Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.

Reasoning (angefragt): high

Aktueller Versuch
Datum des Testlaufs
07.09.2026
API-Anbieter
openrouter
Angefragtes API-Modell
openai/gpt-6-astra
API-Modell laut Antwort
openai/gpt-6-astra
Reasoning-Einstellung
high
Festgelegter Endpunkt
OpenAI | openai/gpt-6-astra-20260903
Temperatur
Anbieterstandard
Tokenlimit inklusive Reasoning
8.192 Token
Testprotokoll
community-visual-tests-v1
Technische Prüfung
Bestanden, keine Qualitätsbewertung
Antwortzeit
141,7 s

Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.

Mistral Medium 3.5

Mistral Medium 3.5: Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.

Reasoning (angefragt): high

Aktueller Versuch
Datum des Testlaufs
01.10.2026
API-Anbieter
openrouter
Angefragtes API-Modell
mistralai/mistral-medium-3-5
API-Modell laut Antwort
mistralai/mistral-medium-3-5
Reasoning-Einstellung
high
Festgelegter Endpunkt
Mistral | mistralai/mistral-medium-3.5-20260430
Temperatur
Anbieterstandard
Tokenlimit inklusive Reasoning
8.192 Token
Testprotokoll
community-visual-tests-v1
Technische Prüfung
Bestanden, keine Qualitätsbewertung
Antwortzeit
38,7 s

Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.

Frühere Versuche (1)
  • 07.09.2026API-Anfrage fehlgeschlagenReasoning-Einstellung: high
Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

So liest du den Vergleich

Ein Benchmark-Sieg ist kein Gesamturteil

Entscheidend sind deine Aufgaben, dein Budget und die benötigte Kontextlänge. Ein Coding-Benchmark sagt wenig über Bildverständnis oder Agentenarbeit aus.

Die Standardpreistabelle nutzt direkte Entwicklertarife. Der Anbieter-Vergleich kennzeichnet OpenRouter-Endpoints, Regionen und Sondertarife separat.

Jeder Messwert verlinkt seine Messstelle und zeigt den Abrufstand. Je nach Kennzeichnung handelt es sich um eine Anbieterangabe, ein offizielles Benchmark-Leaderboard oder eine unabhängige Evaluation. Strittige oder archivierte Ergebnisse werden nicht verwendet.

Weitere Duelle

Vergleiche GPT-6 Astra und Mistral Medium 3.5 mit weiteren wichtigen Modellen. Alle Duelle nutzen dieselbe Daten- und Benchmarklogik.

Zum vollständigen LLM-Vergleich