502 technische Entscheidungspunkte aus Engineering- und Forschungsabläufen. Jedes Fragenpaar wird in beiden Antwortreihenfolgen vorgelegt. Der Gesamtscore mittelt Engineering und Forschung und verlangt, dass beide Reihenfolgen richtig beantwortet werden. Nicht parsebare Antworten zählen als falsch. Reasoning-Einstellung und Ausgabegrenze gehören zum Testaufbau.

Hinweis (Mistral Medium 3.5): 24 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

1.GPT-5.6 Sol59,7 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

2.GPT-5.559,5 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

3.Claude Opus 555,5 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

4.Grok 4.554,6 %

Hinweis: 10 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

5.GPT-5.6 Terra54 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

6.GLM-5.253,9 %

Hinweis: 17 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

7.Claude Sonnet 551,6 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

8.GPT-5.6 Luna49 %

Hinweis: 0 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

9.MiniMax M345,3 %

Hinweis: 3 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

10.DeepSeek-V4-Flash43,3 %

Hinweis: 2 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

11.GPT-5.4 mini40,1 %

Hinweis: 112 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

12.Mistral Medium 3.537,7 %

13.GPT-5.4 nano36,6 %

Hinweis: 93 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

14.Grok 4.20 Reasoning15,7 %

Hinweis: 459 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

höhere Werte sind besserStand 26. September 2026Skala: 0 % - 100 %

Quelle: Taste-Bench paper

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: taste-bench-paper-v2-502
Messgröße: both-orders-correct, engineering/research macro average
Skala: 0-100
Teilnehmer: 14
Methodik und Einordnung: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/mistral-medium-3. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-38449b5fe794. Prüfsumme der Quelldaten: 38449b5fe794c44f4d44ddeacafc18597a8b641bb10d36ba132573673d74f285. Parserversion: curated-v1. Importiert am: 2026-09-29

Quelle: Taste-Bench paper

Code Migration

Overall

1.Claude Sonnet 5.569,83 %

2.GPT-6 Astra67,74 %

3.Claude Opus 5.566,65 %

4.Claude Opus 557,47 %

5.GPT-6 Sol57,2 %

6.Claude Fable 555,07 %

7.Claude Fable 5.154,61 %

8.GPT-5.6 Sol52,92 %

9.GPT-5.6 Terra47,8 %

10.Claude Opus 4.847,25 %

11.DeepSeek-V4.1-Flash45,62 %

12.GPT-5.545,16 %

13.Grok 4.744,82 %

14.Grok 4.644,57 %

15.GPT-5.6 Luna44,55 %

16.Claude Sonnet 544,39 %

17.GLM-5.344,22 %

18.Claude Opus 4.743,88 %

19.GPT-6 Luna42,55 %

20.Claude Sonnet 4.639,89 %

21.GLM-5.237,87 %

22.Grok 4.536,6 %

23.Gemini 3.8 Flash36,55 %

24.GPT-5.434,98 %

25.Gemini 3.7 Flash34,8 %

26.Gemini 3.6 Flash30,93 %

27.Kimi K2.627,77 %

28.Gemini 3.5 Flash26,75 %

29.DeepSeek-V4-Pro26,2 %

30.GLM-5.125,77 %

31.Kimi K2.7 Code25,39 %

32.Qwen 3.8 Max 090223,96 %

33.MiMo-V2.5-Pro21,56 %

34.GLM-5.3-Flash20,52 %

35.MiniMax M319,93 %

36.Gemini 3.1 Pro Preview17,31 %

37.Kimi K316,1 %

38.GPT-5.4 nano14,47 %

39.MiMo-V2.514,23 %

40.Qwen 3.8 27B14,16 %

41.Inkling Small13,68 %

42.Qwen 3.7 Max13,07 %

43.GPT-5.4 mini12,94 %

44.Qwen 3.7 Plus12,86 %

45.Inkling11,79 %

46.MiniMax M2.78,69 %

47.Kimi K2.56,96 %

48.Grok 4.36,8 %

49.Gemini 3 Flash Preview6,39 %

50.Gemini 3.5 Flash-Lite6,15 %

51.Mistral Medium 3.55,13 %

52.Nemotron 3 Ultra4,91 %

53.Gemini 3.1 Flash-Lite4,61 %

54.Mercury 2.54,49 %

55.Nemotron 3.5 Lightning2,95 %

56.Grok 4.20 Reasoning0,31 %

57.Ling 3.0 Flash0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-code-migration:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 57
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 13055.328. Kosten je Aufgabe in USD: 18.623756. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-09-29-f0b317d5bed3. Prüfsumme der Quelldaten: f0b317d5bed3a2654a9ea39762d5e57f4649306adce3e6103e845ee1b9b94add. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Finanzen

CorpFin v2

Overall

1.Claude Opus 573,19 %

2.Claude Fable 571,83 %

3.Kimi K371,56 %

4.Inkling Small69,62 %

5.Inkling68,57 %

6.Grok 4.368,53 %

7.GPT-5.568,42 %

8.Kimi K2.568,26 %

9.MiniMax M368,1 %

10.Grok 4.567,41 %

11.Claude Sonnet 566,98 %

12.Kimi K2.666,74 %

13.Claude Opus 4.866,71 %

14.Gemini 3 Flash Preview66,43 %

15.Grok 4.666,16 %

16.GLM-5.266,12 %

17.Claude Opus 4.766,08 %

18.Qwen 3.8 Max 090265,85 %

19.Nemotron 3 Ultra65,46 %

20.Claude Sonnet 4.665,31 %

20.GPT-5.6 Terra65,31 %

22.GPT-5.465,27 %

23.Gemini 3.5 Flash64,69 %

24.Gemini 3.1 Pro Preview64,49 %

25.GLM-5.164,45 %

26.GPT-5.6 Sol64,38 %

27.GPT-5.6 Luna64,22 %

28.Qwen 3.7 Max63,71 %

29.Grok 4.20 Reasoning63,68 %

30.Gemini 3.6 Flash63,33 %

31.GPT-4.163,05 %

32.GLM-562,9 %

33.Qwen 3.6 27B62,32 %

34.Ling 3.0 Flash61,93 %

35.MiMo-V2.5-Pro61,42 %

36.DeepSeek-V4-Pro61,38 %

37.Claude Opus 4.561,31 %

38.GPT-5.4 nano61,19 %

38.MiniMax M2.761,19 %

40.GPT-561,07 %

41.Mistral Large 361,03 %

42.GLM-4.560,96 %

43.GPT-5.4 mini60,92 %

44.Claude Sonnet 4.560,8 %

44.Gemini 2.5 Pro60,8 %

46.Gemini 3.5 Flash-Lite60,68 %

47.Kimi K2 Thinking60,57 %

48.Claude Haiku 4.560,3 %

49.GPT-5 mini60,18 %

50.MiMo-V2.559,91 %

51.o359,71 %

52.MiniMax M2.559,6 %

53.Gemini 3.1 Flash-Lite59,36 %

54.o4-mini58,97 %

55.MiniMax M2.158,9 %

56.Mistral Medium 3.558,78 %

57.GPT OSS 120B58,24 %

58.GPT-4.1 mini57,93 %

59.GLM-4.656,84 %

60.DeepSeek-V3 032454,74 %

61.Trinity Large Thinking54,66 %

62.Nemotron 3.5 Lightning54,24 %

63.DeepSeek-R154,12 %

64.GPT OSS 20B53,15 %

65.DeepSeek-V352,49 %

66.DeepSeek-V3.151,48 %

67.Kimi K2 071150,39 %

68.DeepSeek-V3.247,94 %

69.Llama 4 Scout46,78 %

70.GLM-4.746,39 %

71.Command A45,96 %

72.GPT-4o mini45,46 %

73.o3-mini45,3 %

74.Mistral Small 3.144,17 %

75.GPT-4.1 nano42,08 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 75
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 43.699. Kosten je Aufgabe in USD: 0.14574. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-29-83186cfafe52. Prüfsumme der Quelldaten: 83186cfafe526f0b8fe2ae86af05e8209fe799c8bfa48292ef1fef5db66650ee. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

EMB

Overall

1.Claude Fable 5.176,67 %

2.Claude Opus 5.575,94 %

3.Claude Sonnet 5.575,71 %

4.Claude Fable 573,67 %

5.Claude Opus 573,56 %

6.GPT-5.6 Sol72,34 %

7.Gemini 3.8 Flash72,2 %

8.GPT-6 Astra71,7 %

9.GPT-6 Sol71,53 %

10.Gemini 3.7 Flash71,33 %

11.Claude Opus 4.869,37 %

12.GPT-6 Luna68,52 %

13.GPT-5.6 Luna67,12 %

14.Grok 4.766,99 %

15.Kimi K366,4 %

16.Claude Sonnet 566,32 %

17.GPT-5.6 Terra66,21 %

18.Gemini 3.6 Flash65,41 %

19.GPT-5.564,54 %

20.Claude Opus 4.763,73 %

21.Gemini 3.5 Flash63,55 %

22.Grok 4.662,73 %

23.GLM-5.261,53 %

24.Claude Sonnet 4.660,15 %

25.Qwen 3.8 Max 090260,07 %

26.Qwen 3.8 27B59,66 %

27.Kimi K2.657,86 %

28.DeepSeek-V4.1-Flash57,21 %

29.Qwen 3.7 Max57,04 %

30.GLM-5.356,34 %

31.GLM-5.3-Flash55,93 %

32.MiMo-V2.5-Pro55,23 %

33.MiMo-V2.555,09 %

34.Grok 4.552,91 %

35.Gemini 3.1 Pro Preview52,62 %

36.DeepSeek-V4-Pro51,62 %

37.Qwen 3.7 Plus49,35 %

38.MiniMax M347,76 %

39.GPT-5.4 mini45,43 %

40.GPT-5.4 nano44,75 %

41.Gemini 3.5 Flash-Lite43,23 %

42.Inkling38,36 %

43.Inkling Small31,76 %

44.Nemotron 3 Ultra31,74 %

45.Kimi K2.528,47 %

46.MiniMax M2.728,45 %

47.Gemini 3 Flash Preview26,02 %

48.Ling 3.0 Flash25,01 %

49.Grok 4.318,39 %

50.Nemotron 3.5 Lightning16,99 %

51.Grok 4.20 Reasoning11,74 %

52.Mistral Medium 3.511,19 %

53.Mercury 2.58,82 %

54.Gemini 3.1 Flash-Lite8,63 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-emb:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3082.124. Kosten je Aufgabe in USD: 10.603072. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-09-29-90535b2fd4dc. Prüfsumme der Quelldaten: 90535b2fd4dc213540eac0aff8ae769e34b6b1ba54e1ed6d0a51dcfe307d5598. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Finance Agent (v2)

Overall

1.Gemini 3.8 Flash61,44 %

2.Gemini 3.7 Flash59,04 %

3.Claude Fable 5.158,88 %

4.Claude Opus 558,63 %

5.Claude Opus 5.558,59 %

6.Claude Sonnet 5.558,1 %

7.Gemini 3.5 Flash57,86 %

8.GLM-5.3-Flash57,85 %

9.Claude Fable 556,31 %

10.Gemini 3.6 Flash56,3 %

11.GLM-5.355,84 %

12.GPT-5.6 Luna55,04 %

13.GPT-5.6 Terra54,44 %

14.Kimi K354,36 %

15.Claude Opus 4.853,92 %

16.Claude Sonnet 553,91 %

17.GPT-5.6 Sol53,76 %

18.Grok 4.653,68 %

19.GPT-6 Astra53,54 %

20.DeepSeek-V4.1-Flash53,48 %

21.Grok 4.752,25 %

22.GPT-5.551,76 %

23.Claude Opus 4.751,51 %

24.Claude Sonnet 4.651,04 %

25.Qwen 3.8 Max 090250,59 %

26.GPT-6 Luna49,87 %

27.GLM-5.249,7 %

28.GPT-6 Sol49,05 %

29.Qwen 3.8 27B48,55 %

30.Grok 4.548,35 %

31.MiniMax M348,27 %

32.Qwen 3.7 Max47,78 %

33.Gemini 3.5 Flash-Lite47,44 %

34.Inkling46,6 %

35.GPT-5.4 mini45,36 %

36.Kimi K2.644,9 %

37.GLM-5.144,79 %

38.DeepSeek-V4-Pro44,08 %

39.Gemini 3.1 Pro Preview42,98 %

40.Gemini 3 Flash Preview42,55 %

41.MiMo-V2.5-Pro41,5 %

42.Inkling Small41,26 %

43.Qwen 3.7 Plus38,22 %

44.GPT-5.4 nano38,22 %

45.Grok 4.337,73 %

46.Nemotron 3 Ultra37,67 %

47.MiMo-V2.536,73 %

48.Kimi K2.535,79 %

49.Mistral Medium 3.532,1 %

50.Ling 3.0 Flash30,31 %

51.Gemini 3.1 Flash-Lite29,99 %

52.Grok 4.20 Reasoning28,49 %

53.MiniMax M2.727,89 %

54.Mercury 2.518,56 %

55.Nemotron 3.5 Lightning18,5 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-finance-agent-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 768.405. Kosten je Aufgabe in USD: 1.908513. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-09-29-addcd124c670. Prüfsumme der Quelldaten: addcd124c6706893659c1ae26698bf6ffa29c91018ee95b98ab15b9d4b6edcdb. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MortgageTax

Overall

1.Claude Opus 572,06 %

2.Claude Fable 5.170,79 %

3.Claude Opus 4.770,27 %

4.Claude Sonnet 570,03 %

5.Claude Opus 4.869,91 %

6.Gemini 3.1 Pro Preview69,4 %

7.Claude Fable 568,92 %

8.Gemini 2.5 Pro68,92 %

9.GPT-5.568,76 %

10.Gemini 3 Flash Preview68,72 %

11.Claude Opus 4.568,68 %

11.Gemini 3.5 Flash-Lite68,68 %

13.MiniMax M368,36 %

14.GPT-5.468,32 %

15.Qwen 3.6 27B68,28 %

16.Gemini 3.5 Flash68,12 %

17.Gemini 3.1 Flash-Lite68,04 %

18.Claude Sonnet 4.667,73 %

19.Gemini 3.6 Flash67,61 %

20.GPT-5.6 Terra67,33 %

21.GPT-5.6 Luna67,29 %

22.GPT-5.6 Sol67,29 %

23.GPT-5 mini66,89 %

24.Gemini 3.7 Flash66,65 %

25.Kimi K2.566,53 %

26.Kimi K366,34 %

27.Qwen 3.7 Plus66,18 %

28.GPT-4.165,94 %

29.Kimi K2.665,82 %

30.o365,7 %

31.GPT-4.1 mini65,5 %

32.GPT-565,45 %

33.Gemini 3.8 Flash65,34 %

34.Qwen 3.8 27B64,94 %

35.o4-mini64,83 %

36.Grok 4.664,19 %

37.Inkling63,99 %

37.Qwen 3.8 Max 090263,99 %

39.GPT-5.4 mini63,51 %

40.Inkling Small62,28 %

41.Grok 4.561,8 %

42.Gemma 4 31B61,37 %

43.Mistral Small 3.161,21 %

44.MiMo-V2.559,26 %

45.GPT-5.4 nano59,1 %

46.Llama 4 Scout57,75 %

47.GPT-4o mini54,49 %

48.GPT-5 nano53,62 %

49.GPT-4.1 nano52,82 %

50.Mistral Large 352,11 %

51.Grok 4.348,25 %

52.Grok 4.20 Reasoning45,35 %

53.Mistral Medium 3.528,9 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mortgage-tax:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 53
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 68.43. Kosten je Aufgabe in USD: 0.024032. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mortgage_tax-2026-09-29-8e235fe66b37. Prüfsumme der Quelldaten: 8e235fe66b379887578d1b76970297d22fc5ae7232f4abfa613cb8576995ae2e. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

GPQA Diamond

Overall

1.Gemini 3.1 Pro Preview95,45 %

2.GPT-5.6 Sol95,2 %

3.Grok 4.694,7 %

4.Gemini 3.8 Flash94,44 %

5.Gemini 3.7 Flash93,94 %

6.Qwen 3.8 Max 090293,69 %

7.Claude Fable 5.193,43 %

7.Claude Opus 593,43 %

7.Gemini 3.6 Flash93,43 %

10.Claude Fable 593,18 %

10.GPT-5.593,18 %

12.Grok 4.592,93 %

12.Kimi K392,93 %

14.Gemini 3.5 Flash92,68 %

14.MiniMax M392,68 %

16.Claude Opus 4.892,42 %

17.GPT-5.491,67 %

17.GPT-5.6 Luna91,67 %

19.Grok 4.391,41 %

20.GPT-5.6 Terra90,91 %

21.Claude Opus 4.790,15 %

21.Qwen 3.7 Max90,15 %

23.DeepSeek-V4-Pro89,39 %

24.Kimi K2.689,14 %

25.Claude Sonnet 588,89 %

25.Qwen 3.8 27B88,89 %

27.Grok 4.20 Reasoning88,64 %

28.GLM-5.388,13 %

29.Gemini 3 Flash Preview87,88 %

30.Inkling87,12 %

31.MiniMax M2.786,62 %

32.GLM-5.3-Flash86,36 %

33.Nemotron 3 Ultra86,11 %

34.Claude Sonnet 4.685,61 %

34.GLM-5.285,61 %

34.GPT-585,61 %

37.Ling 3.0 Flash84,85 %

38.GLM-5.184,52 %

39.Kimi K2.584,09 %

39.o384,09 %

41.Gemini 3.5 Flash-Lite83,84 %

42.Inkling Small83,59 %

43.GLM-583,33 %

44.GPT-5.4 mini83,08 %

45.MiMo-V2.5-Pro82,58 %

46.MiniMax M2.582,07 %

47.MiMo-V2.581,57 %

48.Gemini 3.1 Flash-Lite81,06 %

49.GPT-5 mini80,3 %

50.GLM-4.780,05 %

51.Claude Opus 4.579,55 %

52.GPT OSS 120B78,54 %

52.Kimi K2 Thinking78,54 %

52.MiniMax M2.178,54 %

55.GPT-5.4 nano77,53 %

56.DeepSeek-V3.276,26 %

57.o3-mini75,51 %

58.GLM-4.674,5 %

58.o4-mini74,5 %

60.o173,23 %

61.GLM-4.572,22 %

62.Kimi K2 071171,46 %

63.GPT OSS 20B68,94 %

64.Mistral Large 368,43 %

65.GPT-4.1 mini67,93 %

66.GPT-4.165,4 %

67.GPT-5 nano63,38 %

68.DeepSeek-V3 032461,62 %

69.DeepSeek-V354,55 %

70.GPT-4.1 nano50,76 %

71.Command A48,49 %

72.Llama 4 Scout46,97 %

73.GPT-4o mini44,19 %

73.Mistral Small 3.144,19 %

75.Mistral Medium 3.534,85 %

76.Command R+31,06 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 76
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 256.17. Kosten je Aufgabe in USD: 0.095489. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-29-8caf7b4807e8. Prüfsumme der Quelldaten: 8caf7b4807e87a2880c30218acea7855ea3a11721d56f7e049a77fadaf35dd34. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Recht

Harvey's Legal Agent Benchmark

Overall · Task fully resolved

1.Grok 4.615,83 %

2.Grok 4.512,92 %

3.Grok 4.712,5 %

4.Claude Fable 511,25 %

4.Qwen 3.8 27B11,25 %

6.Kimi K310,83 %

7.Qwen 3.8 Max 090210,42 %

8.Gemini 3.8 Flash10 %

9.Claude Opus 4.89,58 %

10.Gemini 3.7 Flash8,75 %

11.GLM-5.38,33 %

12.GLM-5.27,08 %

13.Claude Fable 5.16,67 %

13.Claude Opus 4.76,67 %

13.Claude Opus 56,67 %

13.DeepSeek-V4.1-Flash6,67 %

13.GLM-5.3-Flash6,67 %

18.GPT-6 Astra5,42 %

19.Claude Sonnet 4.65 %

19.Claude Sonnet 55 %

21.MiniMax M34,17 %

22.Claude Opus 5.53,75 %

22.DeepSeek-V4-Pro3,75 %

22.GPT-5.53,75 %

25.Gemini 3.6 Flash3,33 %

26.Claude Sonnet 5.52,92 %

26.GPT-6 Luna2,92 %

28.Gemini 3.5 Flash2,5 %

28.GPT-5.6 Sol2,5 %

30.Inkling2,08 %

30.MiMo-V2.5-Pro2,08 %

32.GPT-6 Sol1,67 %

32.Inkling Small1,67 %

32.Kimi K2.61,67 %

32.MiMo-V2.51,67 %

32.Qwen 3.7 Max1,67 %

37.GPT-5.6 Luna1,25 %

37.Ling 3.0 Flash1,25 %

39.GPT-5.6 Terra0,83 %

40.Grok 4.30,42 %

40.Mistral Medium 3.50,42 %

40.Nemotron 3 Ultra0,42 %

43.Gemini 3 Flash Preview0 %

43.Gemini 3.1 Flash-Lite0 %

43.Gemini 3.1 Pro Preview0 %

43.Gemini 3.5 Flash-Lite0 %

43.GLM-5.10 %

43.GPT-5.40 %

43.GPT-5.4 mini0 %

43.GPT-5.4 nano0 %

43.Grok 4.20 Reasoning0 %

43.Kimi K2.50 %

43.Mercury 2.50 %

43.MiniMax M2.70 %

43.Nemotron 3.5 Lightning0 %

43.Qwen 3.7 Plus0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-agent-benchmark:1:overall
Messgröße: task resolution rate
Skala: 0-100
Teilnehmer: 56
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3694.952. Kosten je Aufgabe in USD: 6.074265. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-09-29-d6fb708e5bcc. Prüfsumme der Quelldaten: d6fb708e5bccec56c7a5e5ad97918d9cc47c5ebefb88af4a1a5771493dadba2f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Legal Research Bench

Overall · All-pass

1.Claude Fable 5.155,29 %

1.Claude Opus 555,29 %

3.Claude Opus 5.550,48 %

4.Claude Fable 549,52 %

5.GLM-5.349,04 %

6.Claude Sonnet 5.548,08 %

6.GPT-5.6 Sol48,08 %

6.Grok 4.648,08 %

9.Qwen 3.8 Max 090247,6 %

10.Grok 4.747,12 %

11.GLM-5.3-Flash45,19 %

12.Kimi K344,23 %

13.Claude Opus 4.843,75 %

14.Claude Sonnet 541,83 %

15.DeepSeek-V4.1-Flash41,35 %

15.GPT-5.6 Terra41,35 %

17.GPT-5.540,39 %

18.GPT-6 Astra39,42 %

19.Gemini 3.8 Flash38,94 %

20.Claude Opus 4.738,46 %

20.Claude Sonnet 4.638,46 %

22.Grok 4.537,98 %

23.GPT-5.6 Luna36,54 %

24.Qwen 3.8 27B36,06 %

25.Gemini 3.7 Flash34,62 %

26.GLM-5.231,25 %

27.Gemini 3.5 Flash30,77 %

28.GPT-6 Luna30,29 %

29.MiniMax M329,81 %

30.GPT-6 Sol28,85 %

31.Inkling28,37 %

32.GLM-5.127,89 %

33.Inkling Small25,48 %

33.Qwen 3.7 Max25,48 %

35.Gemini 3.6 Flash25 %

36.DeepSeek-V4-Pro23,08 %

37.Gemini 3.1 Pro Preview20,67 %

38.Gemini 3 Flash Preview18,27 %

39.Qwen 3.7 Plus16,35 %

40.Kimi K2.515,87 %

40.Kimi K2.615,87 %

40.MiMo-V2.5-Pro15,87 %

43.Grok 4.315,39 %

43.Nemotron 3 Ultra15,39 %

45.Gemini 3.5 Flash-Lite13,94 %

45.Grok 4.20 Reasoning13,94 %

47.GPT-5.4 mini12,5 %

48.MiniMax M2.710,58 %

49.MiMo-V2.59,14 %

49.Mistral Medium 3.59,14 %

51.GPT-5.4 nano6,25 %

52.Mercury 2.54,33 %

53.Gemini 3.1 Flash-Lite3,37 %

54.Nemotron 3.5 Lightning2,89 %

55.Ling 3.0 Flash0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-research:1:overall
Messgröße: all-pass rate
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 613.248. Kosten je Aufgabe in USD: 1.308079. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-09-29-b15acd492114. Prüfsumme der Quelldaten: b15acd492114174e151eff7ff17a38d547d5a1e93d2d598c153066542bbc56b7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Gesundheit

MedCode

Overall

1.Claude Opus 563,57 %

2.Gemini 3.1 Pro Preview59,06 %

3.Claude Fable 556,07 %

4.Gemini 3 Flash Preview55,92 %

5.Gemini 3.5 Flash55,83 %

6.Claude Opus 4.754,86 %

7.Claude Fable 5.153,51 %

8.Gemini 3.7 Flash53,39 %

9.Claude Opus 4.853,22 %

10.Gemini 3.6 Flash53,15 %

11.Claude Sonnet 5.552,92 %

12.Gemini 2.5 Pro50,59 %

13.Claude Opus 5.549,8 %

14.GPT-549,63 %

15.Grok 4.749,55 %

16.GPT-5.549,1 %

17.Kimi K348,88 %

18.GPT-6 Astra48,49 %

19.Claude Opus 4.648,24 %

20.Gemini 3.8 Flash48,14 %

21.Gemini 3.1 Flash-Lite47,6 %

22.Claude Sonnet 547,54 %

23.o347,29 %

24.GPT-6 Sol47,07 %

25.MiniMax M346,29 %

26.Claude Opus 4.545,17 %

27.Grok 4.644,71 %

28.GPT-6 Luna44,69 %

29.GPT-5.6 Sol43,97 %

30.Gemini 3.5 Flash-Lite43,49 %

31.GPT-5.6 Terra43,41 %

32.Grok 4.543,29 %

33.GPT-5 mini43,05 %

34.GLM-5.342,86 %

35.GPT-5.6 Luna42,39 %

36.GLM-5.141,6 %

37.GPT-5.441,29 %

38.Inkling41,19 %

39.DeepSeek-V4.1-Flash41,17 %

40.GPT-5.4 nano41,03 %

41.GLM-5.240,77 %

42.Qwen 3.8 Max 090240,67 %

43.Claude Sonnet 4.540,57 %

44.DeepSeek-V4-Pro40,46 %

45.Kimi K2.640,14 %

46.Kimi K2.539,32 %

47.Qwen 3.7 Max38,75 %

48.Nemotron 3 Ultra38,62 %

49.Grok 4.338,07 %

50.Inkling Small37,89 %

51.MiniMax M2.734,44 %

52.MiniMax M2.134,08 %

53.o4-mini33,79 %

54.Mistral Medium 3.533,75 %

55.GLM-4.732,77 %

56.MiMo-V2.5-Pro32,48 %

57.Ling 3.0 Flash32,28 %

58.Grok 4.20 Reasoning32,16 %

59.MiMo-V2.531,9 %

60.Mercury 2.531,33 %

61.GPT-5 nano30,44 %

62.Qwen 3.8 27B28,7 %

63.Gemini 2.5 Flash-Lite27,12 %

64.Llama 4 Scout23,31 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medcode:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 64
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 34.879. Kosten je Aufgabe in USD: 0.05337. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MedScribe

Overall

1.Claude Opus 5.591,43 %

2.Claude Fable 5.191,29 %

3.Claude Sonnet 5.591,1 %

4.Claude Opus 590,99 %

5.Grok 4.789,38 %

6.GLM-5.3-Flash88,94 %

7.GLM-5.388,81 %

8.Claude Fable 588,52 %

9.Kimi K387,96 %

10.GPT-6 Astra87,91 %

11.MiniMax M387,25 %

12.Grok 4.586,88 %

13.GPT-5.586,87 %

14.Claude Opus 4.686,74 %

15.Grok 4.686,53 %

16.Claude Opus 4.885,76 %

17.DeepSeek-V4.1-Flash85,5 %

18.Inkling85,41 %

19.GPT-5.6 Sol85,23 %

20.Qwen 3.8 Max 090284,95 %

21.Claude Sonnet 4.584,52 %

22.Gemini 3.8 Flash84,5 %

23.GPT-5.6 Luna84,39 %

24.Inkling Small84,11 %

25.Gemini 3.7 Flash83,94 %

26.Qwen 3.8 27B83,85 %

27.MiMo-V2.5-Pro83,73 %

28.GPT-6 Luna83,71 %

29.GPT-583,65 %

30.GLM-5.283,53 %

31.Claude Opus 4.583,25 %

32.Claude Opus 4.782,95 %

33.GPT-5.6 Terra82,87 %

34.GPT-6 Sol82,03 %

35.Ling 3.0 Flash80,9 %

36.MiniMax M2.180,78 %

37.GPT-5 mini80,58 %

38.MiniMax M2.779,87 %

39.Gemini 3.6 Flash79,66 %

40.Qwen 3.7 Max79,4 %

41.Kimi K2.678,15 %

42.GPT-5.477,55 %

43.GPT-5.4 nano77,09 %

44.o376,65 %

45.Gemini 3.5 Flash76,57 %

46.Kimi K2.576,44 %

47.Gemini 3.1 Pro Preview76,11 %

48.Claude Sonnet 576,05 %

49.DeepSeek-V4-Pro75,14 %

50.Grok 4.374,4 %

51.Gemini 2.5 Pro73,55 %

52.GPT-5 nano72,87 %

53.Gemini 2.5 Flash-Lite72,83 %

54.GLM-5.172,27 %

55.MiMo-V2.572,15 %

56.Gemini 3.5 Flash-Lite70,89 %

57.Gemini 3 Flash Preview69,92 %

58.o4-mini69,14 %

59.GLM-4.768,63 %

60.Mistral Medium 3.567,73 %

61.Gemini 3.1 Flash-Lite63,9 %

62.Grok 4.20 Reasoning63,41 %

63.Mercury 2.555,09 %

64.Llama 4 Scout50,59 %

65.Nemotron 3.5 Lightning4,27 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medscribe:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 65
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 104.053. Kosten je Aufgabe in USD: 0.157641. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-09-29-6533d95c8055. Prüfsumme der Quelldaten: 6533d95c80553d2dd26927f7269ab6454c589d2181f1858c662a4f493b5685c7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MMLU-Pro

Overall

1.Claude Fable 5.192,38 %

2.Claude Opus 591,59 %

3.Claude Fable 591,5 %

4.Gemini 3.1 Pro Preview90,99 %

5.Gemini 3.8 Flash90,22 %

6.Gemini 3.7 Flash90,12 %

7.Claude Opus 4.789,87 %

8.Claude Opus 4.889,59 %

9.Gemini 3.5 Flash89,52 %

10.Grok 4.689,4 %

11.Qwen 3.7 Max89,31 %

12.Gemini 3.6 Flash89,28 %

13.Grok 4.589,22 %

14.GPT-5.6 Sol89,1 %

15.Qwen 3.8 Max 090288,6 %

16.Gemini 3 Flash Preview88,59 %

17.GPT-5.588,14 %

18.Kimi K387,97 %

19.Kimi K2.687,57 %

20.Claude Sonnet 587,55 %

21.GPT-5.487,48 %

22.Claude Sonnet 4.687,34 %

23.DeepSeek-V4-Pro87,25 %

24.MiniMax M2.187,05 %

25.GLM-5.186,9 %

26.GLM-5.386,77 %

27.GLM-5.286,71 %

28.GPT-5.6 Terra86,66 %

29.GPT-586,54 %

30.Inkling86,3 %

31.Grok 4.20 Reasoning86,25 %

32.Gemini 3.1 Flash-Lite86,24 %

33.GLM-5.3-Flash86,06 %

34.GPT-5.6 Luna86,04 %

35.GLM-586,03 %

36.Kimi K2.585,91 %

37.Grok 4.385,84 %

38.Gemini 3.5 Flash-Lite85,84 %

39.Nemotron 3 Ultra85,76 %

40.o385,6 %

41.Claude Opus 4.585,59 %

42.Inkling Small85,57 %

43.MiMo-V2.5-Pro84,6 %

44.GPT-5.4 mini84,55 %

45.Qwen 3.8 27B84,34 %

46.MiniMax M384,22 %

47.o183,49 %

48.DeepSeek-R183,18 %

49.DeepSeek-V3.283,06 %

50.MiMo-V2.582,93 %

51.GLM-4.782,74 %

52.GPT-5 mini82,23 %

53.GLM-4.682,2 %

54.Ling 3.0 Flash82,01 %

55.GLM-4.581,22 %

56.Kimi K2 Thinking81,07 %

57.o4-mini80,56 %

58.GPT-4.180,5 %

59.MiniMax M2.780,43 %

60.MiniMax M2.580,09 %

61.Mistral Large 379,82 %

62.DeepSeek-V3 032479,47 %

63.Kimi K2 071179,39 %

64.GPT OSS 120B79,17 %

65.o3-mini78,69 %

66.GPT-4.1 mini77,23 %

67.GPT-5.4 nano77,17 %

68.GPT-5 nano76,07 %

69.Mistral Medium 3.575,34 %

70.DeepSeek-V373,82 %

71.GPT OSS 20B71,64 %

72.Llama 4 Scout69,63 %

73.Command A69,17 %

74.Mistral Small 3.166,02 %

75.GPT-4.1 nano63,48 %

76.GPT-4o mini62,74 %

77.Command R+44 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mmlu-pro:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 77
Methodik und Einordnung: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 66.384. Kosten je Aufgabe in USD: 0.041763. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-29-383f4d5d1419. Prüfsumme der Quelldaten: 383f4d5d141971e7bb60b6c77a0df7a2be27ee6a005dd8854eb2df953dec36a4. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Dokumentierte Messdetails

Taste-Bench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 37.7
Bewertung: 37.7
Messgröße: both-orders-correct, engineering/research macro average
Einheit: %
Benchmark-Version: arxiv:2609.25804v2
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: taste-bench-paper-v2-502
Quellentyp: independent-evaluator
Auswertung: Taste-Bench paper
Status: active
Abrufdatum: 2026-09-26
Methodik: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.. Kennung des Quellmodells: curated/mistral-medium-3. Name des Quellmodells: Mistral Medium 3.5. Anbieter laut Quelle: Mistral AI. Evaluator: Taste-Bench paper. Datensatztyp: public. Stand der Rangliste: 2026-09-23. Versuche: 502 questions, two option orders each. Reasoning-Stufe: high. Maximale Ausgabetoken: 65536. Quellenkennung: taste-bench-paper. Kennung der Evidenzaufnahme: curated-taste-bench-paper-2026-09-26-38449b5fe794. Prüfsumme der Quelldaten: 38449b5fe794c44f4d44ddeacafc18597a8b641bb10d36ba132573673d74f285. Parserversion: curated-v1. Importiert am: 2026-09-29
Vergleichsmethodik: Gleicher Prompt für alle Modelle. 502 Fragen werden je zweimal mit vertauschten Optionen gestellt. Durchschnitt der Erfolgsquoten aus Engineering und Forschung, wobei beide Reihenfolgen richtig sein müssen. 65.536 Token Ausgabelimit; nicht parsebare Antworten zählen als falsch.
Einordnung: 24 von 1.004 Antworten waren nicht parsebar und wurden als falsch gewertet. Kein Gradually-Test.

Quelle Taste-Bench paper

Code Migration: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 5.127
Bewertung: 5.127
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 13055.328. Kosten je Aufgabe in USD: 18.623756. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-09-29-f0b317d5bed3. Prüfsumme der Quelldaten: f0b317d5bed3a2654a9ea39762d5e57f4649306adce3e6103e845ee1b9b94add. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 58.78
Bewertung: 58.78
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 43.699. Kosten je Aufgabe in USD: 0.14574. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-29-83186cfafe52. Prüfsumme der Quelldaten: 83186cfafe526f0b8fe2ae86af05e8209fe799c8bfa48292ef1fef5db66650ee. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

EMB: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 11.185
Bewertung: 11.185
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-emb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3082.124. Kosten je Aufgabe in USD: 10.603072. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-09-29-90535b2fd4dc. Prüfsumme der Quelldaten: 90535b2fd4dc213540eac0aff8ae769e34b6b1ba54e1ed6d0a51dcfe307d5598. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Finance Agent (v2): Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 32.103
Bewertung: 32.103
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-finance-agent-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 768.405. Kosten je Aufgabe in USD: 1.908513. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-09-29-addcd124c670. Prüfsumme der Quelldaten: addcd124c6706893659c1ae26698bf6ffa29c91018ee95b98ab15b9d4b6edcdb. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 34.848
Bewertung: 34.848
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 256.17. Kosten je Aufgabe in USD: 0.095489. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-29-8caf7b4807e8. Prüfsumme der Quelldaten: 8caf7b4807e87a2880c30218acea7855ea3a11721d56f7e049a77fadaf35dd34. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Harvey's Legal Agent Benchmark: Overall · Task fully resolved (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.417
Bewertung: 0.417
Messgröße: task resolution rate
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall · Task fully resolved
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-agent-benchmark:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3694.952. Kosten je Aufgabe in USD: 6.074265. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-09-29-d6fb708e5bcc. Prüfsumme der Quelldaten: d6fb708e5bccec56c7a5e5ad97918d9cc47c5ebefb88af4a1a5771493dadba2f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Legal Research Bench: Overall · All-pass (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 9.135
Bewertung: 9.135
Messgröße: all-pass rate
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall · All-pass
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-research:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 613.248. Kosten je Aufgabe in USD: 1.308079. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-09-29-b15acd492114. Prüfsumme der Quelldaten: b15acd492114174e151eff7ff17a38d547d5a1e93d2d598c153066542bbc56b7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 33.752
Bewertung: 33.752
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medcode:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 34.879. Kosten je Aufgabe in USD: 0.05337. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedScribe: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 67.728
Bewertung: 67.728
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medscribe:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 104.053. Kosten je Aufgabe in USD: 0.157641. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-09-29-6533d95c8055. Prüfsumme der Quelldaten: 6533d95c80553d2dd26927f7269ab6454c589d2181f1858c662a4f493b5685c7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MMLU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 75.335
Bewertung: 75.335
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mmlu-pro:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 66.384. Kosten je Aufgabe in USD: 0.041763. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-29-383f4d5d1419. Prüfsumme der Quelldaten: 383f4d5d141971e7bb60b6c77a0df7a2be27ee6a005dd8854eb2df953dec36a4. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MortgageTax: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 28.895
Bewertung: 28.895
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mortgage-tax:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: mistralai/mistral-medium-3.5. Name des Quellmodells: Mistral Medium 3.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 68.43. Kosten je Aufgabe in USD: 0.024032. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mortgage_tax-2026-09-29-8e235fe66b37. Prüfsumme der Quelldaten: 8e235fe66b379887578d1b76970297d22fc5ae7232f4abfa613cb8576995ae2e. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Seite 1 von 5

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	Open WeightsQuelle
Zugang	API, LokalQuelle
Parameter	128 Mrd.Quelle
Kontextfenster	262.144 TokenQuelle
Hinweise	Aktuelles API-Modell mit Fokus auf Coding; dichtes 128B-ModellQuelle
Anbieterbezeichnung	Mistral Medium 3.5Quelle
Lizenz	Modified MITQuelle
Veröffentlichung	2026-04-28Quelle
API-Modellkennung	mistral-medium-3-5Quelle
Parameter	128 Mrd.Quelle
Architektur	dense transformerQuelle
Eingabe	Text, BildQuelle
Ausgabe	TextQuelle
Reasoning-Modus	JaQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle

Vorgänger und Nachfolger

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	Mistral, Reasoning. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Abgerufen am 7. September 2026. Quelle: Artificial Analysis · Geschwindigkeit (Artificial Analysis)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 7. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · Mistral Medium 3.5 model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 7. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · Mistral Medium 3.5 model documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 2 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
Ungeklärt	canonical-id-alias Originalwortlaut Inventory ID mistral-medium-3 maps to display/API Medium 3.5; preserve both identities in downstream data.
In den geprüften Quellen nicht gefunden	knowledge-cutoff Originalwortlaut No exact cutoff in checked docs/card.
In den geprüften Quellen nicht gefunden	training-tokens Originalwortlaut No token count found.
In den geprüften Quellen nicht gefunden	max-output-tokens Originalwortlaut No model-specific maximum output found.
Weitere Quelle	Kontextfenster-Daten
Weitere Quelle	Taste-Bench paper (abgerufen 26. September 2026)
Weitere Quelle	LMArena (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Mistral Medium 3.5 model card (abgerufen 8. September 2026) · Mistral Medium 3.5 model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	Mistral Medium 3.5 announcement · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	Mistral model overview · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Creative Commons Attribution 4.0

Mistral Medium 3.5

Veröffentlichte Benchmarks

Taste-Bench

Code Migration

Finanzen

CorpFin v2

EMB

Finance Agent (v2)

MortgageTax

GPQA Diamond

Recht

Harvey's Legal Agent Benchmark

Legal Research Bench

Gesundheit

MedCode

MedScribe

MMLU-Pro

Dokumentierte Messdetails

Unsere Tests

Pelikan auf dem Fahrrad

Beliebtheit

Technische Daten und Zugang

Veröffentlichte Preise

Dieses Modell im Vergleich

Vorgänger und Nachfolger

Quellen und Datenstand