SprachmodellAktiv

Mercury 2.5

Inception

Veröffentlicht: 8. September 2026
Datenstand: 3. Oktober 2026

Neu an Mercury 2.5 ist unter anderem das 260K-Kontextfenster, gegenüber 128K bei Mercury 2. Inception behält den Diffusionsansatz bei und nennt für die neue Version 1.107 Token pro Sekunde auf NVIDIA-GPUs. Diese Geschwindigkeit stammt aus der Herstellermessung.

Inception hat das Training anhand von Kundenfeedback und Fehlern im Produktionseinsatz überarbeitet. Mercury 2.5 erzeugt Text und ist über die Inception API, Baseten und OpenRouter verfügbar.

Technische Daten und Zugang

Angabe	Wert und Quelle
Modellklasse	Diffusions-SprachmodellQuelle
Kontextfenster	260K Token laut InceptionQuelle
Geschwindigkeit	1.107 Token pro Sekunde laut AnbieterQuelle
Funktionen	Reasoning, parallele Werkzeugaufrufe und schemaorientiertes JSONQuelle
Zugang	Inception API, Baseten und OpenRouterQuelle

Veröffentlichte Benchmarks

Programmieren

Code Migration

Overall

1.Claude Sonnet 5.569,83 %

2.GPT-6 Astra67,74 %

3.Claude Opus 5.566,65 %

4.Claude Opus 557,47 %

5.GPT-6 Sol57,2 %

6.Claude Fable 555,07 %

7.Claude Fable 5.154,61 %

8.GPT-5.6 Sol52,92 %

9.GPT-5.6 Terra47,8 %

10.Claude Opus 4.847,25 %

11.DeepSeek-V4.1-Flash45,62 %

12.GPT-5.545,16 %

13.Grok 4.744,82 %

14.Grok 4.644,57 %

15.GPT-5.6 Luna44,55 %

16.Claude Sonnet 544,39 %

17.GLM-5.344,22 %

18.Claude Opus 4.743,88 %

19.GPT-6 Luna42,55 %

20.Claude Sonnet 4.639,89 %

21.GLM-5.237,87 %

22.Grok 4.536,6 %

23.Gemini 3.8 Flash36,55 %

24.GPT-5.434,98 %

25.Gemini 3.7 Flash34,8 %

26.Gemini 3.6 Flash30,93 %

27.Kimi K2.627,77 %

28.Gemini 3.5 Flash26,75 %

29.DeepSeek-V4-Pro26,2 %

30.GLM-5.125,77 %

31.Kimi K2.7 Code25,39 %

32.Qwen 3.8 Max 090223,96 %

33.MiMo-V2.5-Pro21,56 %

34.GLM-5.3-Flash20,52 %

35.MiniMax M319,93 %

36.Gemini 3.1 Pro Preview17,31 %

37.Kimi K316,1 %

38.GPT-5.4 nano14,47 %

39.MiMo-V2.514,23 %

40.Qwen 3.8 27B14,16 %

41.Inkling Small13,68 %

42.Qwen 3.7 Max13,07 %

43.GPT-5.4 mini12,94 %

44.Qwen 3.7 Plus12,86 %

45.Inkling11,79 %

46.MiniMax M2.78,69 %

47.Kimi K2.56,96 %

48.Grok 4.36,8 %

49.Gemini 3 Flash Preview6,39 %

50.Gemini 3.5 Flash-Lite6,15 %

51.Mistral Medium 3.55,13 %

52.Nemotron 3 Ultra4,91 %

53.Gemini 3.1 Flash-Lite4,61 %

54.Mercury 2.54,49 %

55.Nemotron 3.5 Lightning2,95 %

56.Grok 4.20 Reasoning0,31 %

57.Ling 3.0 Flash0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-code-migration:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 57
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 997.717. Kosten je Aufgabe in USD: 0.627223. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-09-29-f0b317d5bed3. Prüfsumme der Quelldaten: f0b317d5bed3a2654a9ea39762d5e57f4649306adce3e6103e845ee1b9b94add. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

IOI

Overall

1.GPT-6 Astra100 %

2.Claude Opus 5.595,06 %

3.GPT-5.6 Sol91,17 %

4.Claude Fable 5.190,78 %

5.GPT-5.6 Terra87,61 %

6.Claude Opus 584,33 %

7.Claude Sonnet 5.583,06 %

8.GPT-6 Sol82,61 %

9.Qwen 3.8 Max 090268,89 %

10.GLM-5.368,44 %

11.Gemini 3.7 Flash67,83 %

12.GPT-5.6 Luna61,78 %

13.Grok 4.757,72 %

14.Gemini 3.8 Flash56,94 %

15.GPT-6 Luna55,56 %

16.GPT-5.3-Codex53,83 %

17.GLM-5.3-Flash52,5 %

18.Gemini 3.1 Pro Preview51,83 %

19.Kimi K348,94 %

20.Grok 4.647,61 %

21.Claude Sonnet 545 %

22.Grok 4.540,56 %

23.DeepSeek-V4.1-Flash40,28 %

24.Qwen 3.8 27B39,06 %

25.Gemini 3.6 Flash35,06 %

26.Inkling14,94 %

27.Inkling Small9,33 %

28.Mercury 2.52,44 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-ioi:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 28
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 242.94. Kosten je Aufgabe in USD: 0.160874. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-ioi-2026-09-29-14c4f2dcc872. Prüfsumme der Quelldaten: 14c4f2dcc872d5e07bce234aebe4932202931d7f5b05f9bcd02e7695b5664750. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

CyberBench v1.1

Overall

1.GPT-6 Sol77,98 %

2.GPT-5.6 Sol76,31 %

3.GPT-6 Luna76,25 %

4.Kimi K375,24 %

5.DeepSeek-V4.1-Flash73,69 %

6.GPT-5.6 Luna73,63 %

7.GLM-5.372,08 %

7.GPT-5.6 Terra72,08 %

9.Grok 4.571,01 %

10.Claude Fable 5.170,42 %

11.Grok 4.769,46 %

12.GLM-5.3-Flash67,86 %

13.Qwen 3.8 27B67,8 %

14.Grok 4.667,68 %

15.Inkling66,79 %

16.Claude Opus 565,36 %

17.MiniMax M365 %

18.Inkling Small64,11 %

19.Claude Sonnet 561,91 %

20.Claude Sonnet 5.559,58 %

21.Gemini 3.5 Flash-Lite59,11 %

22.Claude Opus 5.555,36 %

23.Mercury 2.545,48 %

24.Gemini 3.6 Flash45,36 %

25.Gemini 3.7 Flash43,75 %

25.Gemini 3.8 Flash43,75 %

27.GPT-6 Astra41,07 %

28.Nemotron 3.5 Lightning29,46 %

29.Qwen 3.8 Max 090228,57 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-cyberbench:1.1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 29
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 1139.168. Kosten je Aufgabe in USD: 0.12462. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-cyber-2026-09-29-36ddb5f67bc8. Prüfsumme der Quelldaten: 36ddb5f67bc8725a7ff9d1cc1349f89d29e0e907ad313eb5ac277b42b3d275e1. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Finanzen

EMB

Overall

1.Claude Fable 5.176,67 %

2.Claude Opus 5.575,94 %

3.Claude Sonnet 5.575,71 %

4.Claude Fable 573,67 %

5.Claude Opus 573,56 %

6.GPT-5.6 Sol72,34 %

7.Gemini 3.8 Flash72,2 %

8.GPT-6 Astra71,7 %

9.GPT-6 Sol71,53 %

10.Gemini 3.7 Flash71,33 %

11.Claude Opus 4.869,37 %

12.GPT-6 Luna68,52 %

13.GPT-5.6 Luna67,12 %

14.Grok 4.766,99 %

15.Kimi K366,4 %

16.Claude Sonnet 566,32 %

17.GPT-5.6 Terra66,21 %

18.Gemini 3.6 Flash65,41 %

19.GPT-5.564,54 %

20.Claude Opus 4.763,73 %

21.Gemini 3.5 Flash63,55 %

22.Grok 4.662,73 %

23.GLM-5.261,53 %

24.Claude Sonnet 4.660,15 %

25.Qwen 3.8 Max 090260,07 %

26.Qwen 3.8 27B59,66 %

27.Kimi K2.657,86 %

28.DeepSeek-V4.1-Flash57,21 %

29.Qwen 3.7 Max57,04 %

30.GLM-5.356,34 %

31.GLM-5.3-Flash55,93 %

32.MiMo-V2.5-Pro55,23 %

33.MiMo-V2.555,09 %

34.Grok 4.552,91 %

35.Gemini 3.1 Pro Preview52,62 %

36.DeepSeek-V4-Pro51,62 %

37.Qwen 3.7 Plus49,35 %

38.MiniMax M347,76 %

39.GPT-5.4 mini45,43 %

40.GPT-5.4 nano44,75 %

41.Gemini 3.5 Flash-Lite43,23 %

42.Inkling38,36 %

43.Inkling Small31,76 %

44.Nemotron 3 Ultra31,74 %

45.Kimi K2.528,47 %

46.MiniMax M2.728,45 %

47.Gemini 3 Flash Preview26,02 %

48.Ling 3.0 Flash25,01 %

49.Grok 4.318,39 %

50.Nemotron 3.5 Lightning16,99 %

51.Grok 4.20 Reasoning11,74 %

52.Mistral Medium 3.511,19 %

53.Mercury 2.58,82 %

54.Gemini 3.1 Flash-Lite8,63 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-emb:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 301.681. Kosten je Aufgabe in USD: 0.419811. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-09-29-90535b2fd4dc. Prüfsumme der Quelldaten: 90535b2fd4dc213540eac0aff8ae769e34b6b1ba54e1ed6d0a51dcfe307d5598. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Finance Agent (v2)

Overall

1.Gemini 3.8 Flash61,44 %

2.Gemini 3.7 Flash59,04 %

3.Claude Fable 5.158,88 %

4.Claude Opus 558,63 %

5.Claude Opus 5.558,59 %

6.Claude Sonnet 5.558,1 %

7.Gemini 3.5 Flash57,86 %

8.GLM-5.3-Flash57,85 %

9.Claude Fable 556,31 %

10.Gemini 3.6 Flash56,3 %

11.GLM-5.355,84 %

12.GPT-5.6 Luna55,04 %

13.GPT-5.6 Terra54,44 %

14.Kimi K354,36 %

15.Claude Opus 4.853,92 %

16.Claude Sonnet 553,91 %

17.GPT-5.6 Sol53,76 %

18.Grok 4.653,68 %

19.GPT-6 Astra53,54 %

20.DeepSeek-V4.1-Flash53,48 %

21.Grok 4.752,25 %

22.GPT-5.551,76 %

23.Claude Opus 4.751,51 %

24.Claude Sonnet 4.651,04 %

25.Qwen 3.8 Max 090250,59 %

26.GPT-6 Luna49,87 %

27.GLM-5.249,7 %

28.GPT-6 Sol49,05 %

29.Qwen 3.8 27B48,55 %

30.Grok 4.548,35 %

31.MiniMax M348,27 %

32.Qwen 3.7 Max47,78 %

33.Gemini 3.5 Flash-Lite47,44 %

34.Inkling46,6 %

35.GPT-5.4 mini45,36 %

36.Kimi K2.644,9 %

37.GLM-5.144,79 %

38.DeepSeek-V4-Pro44,08 %

39.Gemini 3.1 Pro Preview42,98 %

40.Gemini 3 Flash Preview42,55 %

41.MiMo-V2.5-Pro41,5 %

42.Inkling Small41,26 %

43.Qwen 3.7 Plus38,22 %

44.GPT-5.4 nano38,22 %

45.Grok 4.337,73 %

46.Nemotron 3 Ultra37,67 %

47.MiMo-V2.536,73 %

48.Kimi K2.535,79 %

49.Mistral Medium 3.532,1 %

50.Ling 3.0 Flash30,31 %

51.Gemini 3.1 Flash-Lite29,99 %

52.Grok 4.20 Reasoning28,49 %

53.MiniMax M2.727,89 %

54.Mercury 2.518,56 %

55.Nemotron 3.5 Lightning18,5 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-finance-agent-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 95.056. Kosten je Aufgabe in USD: 0.106441. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-09-29-addcd124c670. Prüfsumme der Quelldaten: addcd124c6706893659c1ae26698bf6ffa29c91018ee95b98ab15b9d4b6edcdb. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Recht

Harvey's Legal Agent Benchmark

Overall · Task fully resolved

1.Grok 4.615,83 %

2.Grok 4.512,92 %

3.Grok 4.712,5 %

4.Claude Fable 511,25 %

4.Qwen 3.8 27B11,25 %

6.Kimi K310,83 %

7.Qwen 3.8 Max 090210,42 %

8.Gemini 3.8 Flash10 %

9.Claude Opus 4.89,58 %

10.Gemini 3.7 Flash8,75 %

11.GLM-5.38,33 %

12.GLM-5.27,08 %

13.Claude Fable 5.16,67 %

13.Claude Opus 4.76,67 %

13.Claude Opus 56,67 %

13.DeepSeek-V4.1-Flash6,67 %

13.GLM-5.3-Flash6,67 %

18.GPT-6 Astra5,42 %

19.Claude Sonnet 4.65 %

19.Claude Sonnet 55 %

21.MiniMax M34,17 %

22.Claude Opus 5.53,75 %

22.DeepSeek-V4-Pro3,75 %

22.GPT-5.53,75 %

25.Gemini 3.6 Flash3,33 %

26.Claude Sonnet 5.52,92 %

26.GPT-6 Luna2,92 %

28.Gemini 3.5 Flash2,5 %

28.GPT-5.6 Sol2,5 %

30.Inkling2,08 %

30.MiMo-V2.5-Pro2,08 %

32.GPT-6 Sol1,67 %

32.Inkling Small1,67 %

32.Kimi K2.61,67 %

32.MiMo-V2.51,67 %

32.Qwen 3.7 Max1,67 %

37.GPT-5.6 Luna1,25 %

37.Ling 3.0 Flash1,25 %

39.GPT-5.6 Terra0,83 %

40.Grok 4.30,42 %

40.Mistral Medium 3.50,42 %

40.Nemotron 3 Ultra0,42 %

43.Gemini 3 Flash Preview0 %

43.Gemini 3.1 Flash-Lite0 %

43.Gemini 3.1 Pro Preview0 %

43.Gemini 3.5 Flash-Lite0 %

43.GLM-5.10 %

43.GPT-5.40 %

43.GPT-5.4 mini0 %

43.GPT-5.4 nano0 %

43.Grok 4.20 Reasoning0 %

43.Kimi K2.50 %

43.Mercury 2.50 %

43.MiniMax M2.70 %

43.Nemotron 3.5 Lightning0 %

43.Qwen 3.7 Plus0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-agent-benchmark:1:overall
Messgröße: task resolution rate
Skala: 0-100
Teilnehmer: 56
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 125.317. Kosten je Aufgabe in USD: 0.192614. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-09-29-d6fb708e5bcc. Prüfsumme der Quelldaten: d6fb708e5bccec56c7a5e5ad97918d9cc47c5ebefb88af4a1a5771493dadba2f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

LegalBench

Overall

1.Claude Fable 588,56 %

2.Claude Fable 5.188,51 %

3.Gemini 3.1 Pro Preview87,4 %

4.Gemini 3.7 Flash87,26 %

5.Gemini 3.8 Flash86,99 %

6.Claude Opus 586,97 %

7.GPT-5.6 Sol86,97 %

8.Gemini 3 Flash Preview86,86 %

9.Gemini 3.6 Flash86,71 %

10.GPT-5.586,52 %

11.Grok 4.686,31 %

12.GPT-5.486,04 %

13.GPT-586,02 %

14.Kimi K386,02 %

15.Grok 4.585,97 %

16.MiniMax M385,42 %

17.Claude Opus 4.785,25 %

18.GPT-5.6 Terra85,11 %

19.Qwen 3.7 Max84,91 %

20.GLM-5.384,84 %

21.Kimi K2.684,74 %

22.Grok 4.384,46 %

23.GLM-5.184,39 %

24.Grok 4.784,39 %

25.Gemini 3.5 Flash-Lite84,07 %

25.GLM-5.284,07 %

27.GLM-584,06 %

28.GPT-5.6 Luna84,03 %

29.MiniMax M2.783,98 %

30.GLM-5.3-Flash83,93 %

31.Claude Sonnet 583,92 %

32.Gemini 3.1 Flash-Lite83,76 %

33.o383,76 %

34.Qwen 3.8 Max 090283,61 %

35.Gemini 3.5 Flash83,6 %

36.Claude Opus 4.883,57 %

37.GLM-4.783,36 %

38.DeepSeek-V4.1-Flash83,28 %

39.GPT-4.183,1 %

40.Mercury 2.583,06 %

41.Inkling Small82,99 %

42.Inkling82,95 %

43.Claude Opus 4.582,84 %

44.Qwen 3.8 27B82,43 %

45.Claude Sonnet 4.682,12 %

46.Nemotron 3 Ultra82,07 %

47.GPT-5 mini81,77 %

48.Kimi K2 071181,45 %

49.DeepSeek-V380,76 %

50.o180,39 %

51.DeepSeek-V4-Pro80,32 %

52.Kimi K2 Thinking80,2 %

53.MiniMax M2.579,96 %

54.Command A79,7 %

55.Ling 3.0 Flash79,69 %

56.GLM-4.679,61 %

57.o4-mini79,19 %

58.Mistral Large 379,14 %

59.MiMo-V2.578,89 %

60.GPT-4.1 mini78,04 %

61.GPT-5.4 nano77,92 %

62.Grok 4.20 Reasoning77,74 %

63.DeepSeek-V3 032477,73 %

64.MiMo-V2.5-Pro77,13 %

65.GPT OSS 120B75,94 %

66.GLM-4.575,63 %

67.MiniMax M2.175,45 %

68.Llama 4 Scout72,04 %

69.o3-mini71,54 %

70.GPT OSS 20B70,85 %

71.Mistral Small 3.169,16 %

72.Command R+68,29 %

73.Gemma 2 27B67,98 %

74.DeepSeek-R167,32 %

75.DeepSeek-V3.265,96 %

76.GPT-4.1 nano61,06 %

77.GPT-5 nano50,13 %

78.Command R32,97 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-bench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 78
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3.908. Kosten je Aufgabe in USD: 0.000787. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-29-c1213019b552. Prüfsumme der Quelldaten: c1213019b55234a262ae86fd4ebfe291530f315c988a4ee32fd501c13777f85f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Legal Research Bench

Overall · All-pass

1.Claude Fable 5.155,29 %

1.Claude Opus 555,29 %

3.Claude Opus 5.550,48 %

4.Claude Fable 549,52 %

5.GLM-5.349,04 %

6.Claude Sonnet 5.548,08 %

6.GPT-5.6 Sol48,08 %

6.Grok 4.648,08 %

9.Qwen 3.8 Max 090247,6 %

10.Grok 4.747,12 %

11.GLM-5.3-Flash45,19 %

12.Kimi K344,23 %

13.Claude Opus 4.843,75 %

14.Claude Sonnet 541,83 %

15.DeepSeek-V4.1-Flash41,35 %

15.GPT-5.6 Terra41,35 %

17.GPT-5.540,39 %

18.GPT-6 Astra39,42 %

19.Gemini 3.8 Flash38,94 %

20.Claude Opus 4.738,46 %

20.Claude Sonnet 4.638,46 %

22.Grok 4.537,98 %

23.GPT-5.6 Luna36,54 %

24.Qwen 3.8 27B36,06 %

25.Gemini 3.7 Flash34,62 %

26.GLM-5.231,25 %

27.Gemini 3.5 Flash30,77 %

28.GPT-6 Luna30,29 %

29.MiniMax M329,81 %

30.GPT-6 Sol28,85 %

31.Inkling28,37 %

32.GLM-5.127,89 %

33.Inkling Small25,48 %

33.Qwen 3.7 Max25,48 %

35.Gemini 3.6 Flash25 %

36.DeepSeek-V4-Pro23,08 %

37.Gemini 3.1 Pro Preview20,67 %

38.Gemini 3 Flash Preview18,27 %

39.Qwen 3.7 Plus16,35 %

40.Kimi K2.515,87 %

40.Kimi K2.615,87 %

40.MiMo-V2.5-Pro15,87 %

43.Grok 4.315,39 %

43.Nemotron 3 Ultra15,39 %

45.Gemini 3.5 Flash-Lite13,94 %

45.Grok 4.20 Reasoning13,94 %

47.GPT-5.4 mini12,5 %

48.MiniMax M2.710,58 %

49.MiMo-V2.59,14 %

49.Mistral Medium 3.59,14 %

51.GPT-5.4 nano6,25 %

52.Mercury 2.54,33 %

53.Gemini 3.1 Flash-Lite3,37 %

54.Nemotron 3.5 Lightning2,89 %

55.Ling 3.0 Flash0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-research:1:overall
Messgröße: all-pass rate
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 45.996. Kosten je Aufgabe in USD: 0.058112. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-09-29-b15acd492114. Prüfsumme der Quelldaten: b15acd492114174e151eff7ff17a38d547d5a1e93d2d598c153066542bbc56b7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Gesundheit

MedCode

Overall

1.Claude Opus 563,57 %

2.Gemini 3.1 Pro Preview59,06 %

3.Claude Fable 556,07 %

4.Gemini 3 Flash Preview55,92 %

5.Gemini 3.5 Flash55,83 %

6.Claude Opus 4.754,86 %

7.Claude Fable 5.153,51 %

8.Gemini 3.7 Flash53,39 %

9.Claude Opus 4.853,22 %

10.Gemini 3.6 Flash53,15 %

11.Claude Sonnet 5.552,92 %

12.Gemini 2.5 Pro50,59 %

13.Claude Opus 5.549,8 %

14.GPT-549,63 %

15.Grok 4.749,55 %

16.GPT-5.549,1 %

17.Kimi K348,88 %

18.GPT-6 Astra48,49 %

19.Claude Opus 4.648,24 %

20.Gemini 3.8 Flash48,14 %

21.Gemini 3.1 Flash-Lite47,6 %

22.Claude Sonnet 547,54 %

23.o347,29 %

24.GPT-6 Sol47,07 %

25.MiniMax M346,29 %

26.Claude Opus 4.545,17 %

27.Grok 4.644,71 %

28.GPT-6 Luna44,69 %

29.GPT-5.6 Sol43,97 %

30.Gemini 3.5 Flash-Lite43,49 %

31.GPT-5.6 Terra43,41 %

32.Grok 4.543,29 %

33.GPT-5 mini43,05 %

34.GLM-5.342,86 %

35.GPT-5.6 Luna42,39 %

36.GLM-5.141,6 %

37.GPT-5.441,29 %

38.Inkling41,19 %

39.DeepSeek-V4.1-Flash41,17 %

40.GPT-5.4 nano41,03 %

41.GLM-5.240,77 %

42.Qwen 3.8 Max 090240,67 %

43.Claude Sonnet 4.540,57 %

44.DeepSeek-V4-Pro40,46 %

45.Kimi K2.640,14 %

46.Kimi K2.539,32 %

47.Qwen 3.7 Max38,75 %

48.Nemotron 3 Ultra38,62 %

49.Grok 4.338,07 %

50.Inkling Small37,89 %

51.MiniMax M2.734,44 %

52.MiniMax M2.134,08 %

53.o4-mini33,79 %

54.Mistral Medium 3.533,75 %

55.GLM-4.732,77 %

56.MiMo-V2.5-Pro32,48 %

57.Ling 3.0 Flash32,28 %

58.Grok 4.20 Reasoning32,16 %

59.MiMo-V2.531,9 %

60.Mercury 2.531,33 %

61.GPT-5 nano30,44 %

62.Qwen 3.8 27B28,7 %

63.Gemini 2.5 Flash-Lite27,12 %

64.Llama 4 Scout23,31 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medcode:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 64
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 7.93. Kosten je Aufgabe in USD: 0.004535. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MedScribe

Overall

1.Claude Opus 5.591,43 %

2.Claude Fable 5.191,29 %

3.Claude Sonnet 5.591,1 %

4.Claude Opus 590,99 %

5.Grok 4.789,38 %

6.GLM-5.3-Flash88,94 %

7.GLM-5.388,81 %

8.Claude Fable 588,52 %

9.Kimi K387,96 %

10.GPT-6 Astra87,91 %

11.MiniMax M387,25 %

12.Grok 4.586,88 %

13.GPT-5.586,87 %

14.Claude Opus 4.686,74 %

15.Grok 4.686,53 %

16.Claude Opus 4.885,76 %

17.DeepSeek-V4.1-Flash85,5 %

18.Inkling85,41 %

19.GPT-5.6 Sol85,23 %

20.Qwen 3.8 Max 090284,95 %

21.Claude Sonnet 4.584,52 %

22.Gemini 3.8 Flash84,5 %

23.GPT-5.6 Luna84,39 %

24.Inkling Small84,11 %

25.Gemini 3.7 Flash83,94 %

26.Qwen 3.8 27B83,85 %

27.MiMo-V2.5-Pro83,73 %

28.GPT-6 Luna83,71 %

29.GPT-583,65 %

30.GLM-5.283,53 %

31.Claude Opus 4.583,25 %

32.Claude Opus 4.782,95 %

33.GPT-5.6 Terra82,87 %

34.GPT-6 Sol82,03 %

35.Ling 3.0 Flash80,9 %

36.MiniMax M2.180,78 %

37.GPT-5 mini80,58 %

38.MiniMax M2.779,87 %

39.Gemini 3.6 Flash79,66 %

40.Qwen 3.7 Max79,4 %

41.Kimi K2.678,15 %

42.GPT-5.477,55 %

43.GPT-5.4 nano77,09 %

44.o376,65 %

45.Gemini 3.5 Flash76,57 %

46.Kimi K2.576,44 %

47.Gemini 3.1 Pro Preview76,11 %

48.Claude Sonnet 576,05 %

49.DeepSeek-V4-Pro75,14 %

50.Grok 4.374,4 %

51.Gemini 2.5 Pro73,55 %

52.GPT-5 nano72,87 %

53.Gemini 2.5 Flash-Lite72,83 %

54.GLM-5.172,27 %

55.MiMo-V2.572,15 %

56.Gemini 3.5 Flash-Lite70,89 %

57.Gemini 3 Flash Preview69,92 %

58.o4-mini69,14 %

59.GLM-4.768,63 %

60.Mistral Medium 3.567,73 %

61.Gemini 3.1 Flash-Lite63,9 %

62.Grok 4.20 Reasoning63,41 %

63.Mercury 2.555,09 %

64.Llama 4 Scout50,59 %

65.Nemotron 3.5 Lightning4,27 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medscribe:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 65
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 9.992. Kosten je Aufgabe in USD: 0.004476. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-09-29-6533d95c8055. Prüfsumme der Quelldaten: 6533d95c80553d2dd26927f7269ab6454c589d2181f1858c662a4f493b5685c7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

ProofBench

Overall

1.Claude Fable 5.1100 %

1.Claude Opus 5.5100 %

1.Claude Sonnet 5.5100 %

4.Claude Opus 599 %

4.GPT-6 Astra99 %

6.Claude Fable 595 %

7.Kimi K387 %

8.GPT-5.6 Sol83 %

8.GPT-6 Sol83 %

10.Claude Sonnet 577 %

11.GPT-5.6 Terra74 %

12.GPT-6 Luna64 %

13.GPT-5.6 Luna60 %

14.Gemini 3.7 Flash58 %

14.Qwen 3.8 Max 090258 %

16.DeepSeek-V4.1-Flash54 %

17.Grok 4.651 %

18.GLM-5.349 %

19.Gemini 3.8 Flash48 %

20.Gemini 3.5 Flash31 %

20.Grok 4.531 %

22.Gemini 3.1 Pro Preview26 %

22.Grok 4.726 %

24.MiMo-V2.5-Pro22 %

25.GLM-5.3-Flash21 %

26.MiniMax M318 %

27.DeepSeek-V4-Pro16 %

27.MiMo-V2.516 %

27.Qwen 3.8 27B16 %

30.Mistral Medium 3.59 %

31.Inkling Small6 %

32.Mercury 2.53 %

33.Inkling0 %

33.Nemotron 3.5 Lightning0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-proof-bench:1.1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 34
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-28. Latenz in Sekunden: 201.725. Kosten je Aufgabe in USD: 0.044105. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-proof_bench-2026-09-29-95d190db7be5. Prüfsumme der Quelldaten: 95d190db7be508012399269386113bf7df88cf108a8647fae6d361d15c60126b. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

SkillsBench

Overall

1.DeepSeek-V4.1-Flash69,8 %

2.Grok 4.566,03 %

3.Gemini 3.7 Flash65,89 %

4.GPT-5.562,21 %

5.Claude Fable 5.161,55 %

6.GPT-5.6 Luna60,45 %

7.Claude Opus 560,44 %

8.Claude Opus 4.859,23 %

9.GPT-5.6 Terra58,9 %

10.Gemini 3.8 Flash57,99 %

11.Grok 4.655,77 %

12.Qwen 3.7 Plus54,3 %

13.GPT-5.6 Sol54,1 %

14.Gemini 3.5 Flash52,74 %

15.GPT-5.451,71 %

16.MiniMax M351,5 %

17.DeepSeek-V4-Pro51,27 %

18.Kimi K2.7 Code50,04 %

19.Claude Sonnet 4.649,05 %

20.GLM-5.347,51 %

21.Claude Sonnet 546,48 %

22.GLM-5.245,08 %

23.Qwen 3.8 Max 090242,01 %

24.Grok 4.340,64 %

25.GLM-5.3-Flash40,16 %

26.Qwen 3.8 27B38,11 %

27.Inkling Small33,58 %

28.Ling 3.0 Flash27,95 %

29.Inkling26,09 %

30.Mercury 2.518,06 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-skillsbench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 30
Methodik und Einordnung: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Harness: OpenHands. Latenz in Sekunden: 49.364. Kosten je Aufgabe in USD: 0.101286. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-skillsbench-2026-09-29-38ec42553ceb. Prüfsumme der Quelldaten: 38ec42553ceb08e4efe7336723e87e67325977245b113ef7b86401dc72b0481a. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

Code Migration: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 4.494
Bewertung: 4.494
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 997.717. Kosten je Aufgabe in USD: 0.627223. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-09-29-f0b317d5bed3. Prüfsumme der Quelldaten: f0b317d5bed3a2654a9ea39762d5e57f4649306adce3e6103e845ee1b9b94add. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

CyberBench v1.1: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 45.476
Bewertung: 45.476
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1.1
Kategorie: cybersecurity
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-cyberbench:1.1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 1139.168. Kosten je Aufgabe in USD: 0.12462. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-cyber-2026-09-29-36ddb5f67bc8. Prüfsumme der Quelldaten: 36ddb5f67bc8725a7ff9d1cc1349f89d29e0e907ad313eb5ac277b42b3d275e1. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

EMB: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 8.823
Bewertung: 8.823
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-emb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 301.681. Kosten je Aufgabe in USD: 0.419811. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-09-29-90535b2fd4dc. Prüfsumme der Quelldaten: 90535b2fd4dc213540eac0aff8ae769e34b6b1ba54e1ed6d0a51dcfe307d5598. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Finance Agent (v2): Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 18.556
Bewertung: 18.556
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-finance-agent-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 95.056. Kosten je Aufgabe in USD: 0.106441. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-09-29-addcd124c670. Prüfsumme der Quelldaten: addcd124c6706893659c1ae26698bf6ffa29c91018ee95b98ab15b9d4b6edcdb. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

IOI: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 2.444
Bewertung: 2.444
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-ioi:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 242.94. Kosten je Aufgabe in USD: 0.160874. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-ioi-2026-09-29-14c4f2dcc872. Prüfsumme der Quelldaten: 14c4f2dcc872d5e07bce234aebe4932202931d7f5b05f9bcd02e7695b5664750. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Harvey's Legal Agent Benchmark: Overall · Task fully resolved (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0
Bewertung: 0
Messgröße: task resolution rate
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall · Task fully resolved
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-agent-benchmark:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 125.317. Kosten je Aufgabe in USD: 0.192614. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-09-29-d6fb708e5bcc. Prüfsumme der Quelldaten: d6fb708e5bccec56c7a5e5ad97918d9cc47c5ebefb88af4a1a5771493dadba2f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

LegalBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 83.06
Bewertung: 83.06
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-bench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3.908. Kosten je Aufgabe in USD: 0.000787. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-29-c1213019b552. Prüfsumme der Quelldaten: c1213019b55234a262ae86fd4ebfe291530f315c988a4ee32fd501c13777f85f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Legal Research Bench: Overall · All-pass (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 4.327
Bewertung: 4.327
Messgröße: all-pass rate
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall · All-pass
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-research:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 45.996. Kosten je Aufgabe in USD: 0.058112. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-09-29-b15acd492114. Prüfsumme der Quelldaten: b15acd492114174e151eff7ff17a38d547d5a1e93d2d598c153066542bbc56b7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 31.326
Bewertung: 31.326
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medcode:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 7.93. Kosten je Aufgabe in USD: 0.004535. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedScribe: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 55.093
Bewertung: 55.093
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medscribe:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 9.992. Kosten je Aufgabe in USD: 0.004476. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-09-29-6533d95c8055. Prüfsumme der Quelldaten: 6533d95c80553d2dd26927f7269ab6454c589d2181f1858c662a4f493b5685c7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

ProofBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 3
Bewertung: 3
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1.1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-proof-bench:1.1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-28. Latenz in Sekunden: 201.725. Kosten je Aufgabe in USD: 0.044105. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-proof_bench-2026-09-29-95d190db7be5. Prüfsumme der Quelldaten: 95d190db7be508012399269386113bf7df88cf108a8647fae6d361d15c60126b. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

SkillsBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 18.061
Bewertung: 18.061
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-skillsbench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: inception/mercury-2.5. Name des Quellmodells: Mercury 2.5. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Harness: OpenHands. Latenz in Sekunden: 49.364. Kosten je Aufgabe in USD: 0.101286. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-skillsbench-2026-09-29-38ec42553ceb. Prüfsumme der Quelldaten: 38ec42553ceb08e4efe7336723e87e67325977245b113ef7b86401dc72b0481a. Parserversion: vals-astro-v2. Importiert am: 2026-09-29
Vergleichsmethodik: Harness: OpenHands

Quelle Vals AI

Seite 1 von 2

Quellen und Datenstand

Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.

Art	Nachweis und Datenstand
Recherchestand	Recherchestand 4. Oktober 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
Weitere Quelle	Inception Mercury 2.5 announcement (abgerufen 3. Oktober 2026; 4. Oktober 2026) · Inception Mercury 2.5 announcement · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Weitere Quelle	Inception model blog (abgerufen 3. Oktober 2026) · Inception model blog · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Modellmetadaten (abgerufen 4. Oktober 2026)
Weitere Quelle	Modellmetadaten (abgerufen 4. Oktober 2026)