Nemotron 3 Ultra: Daten & Quellen

Vergleichskohorte: vals-code-migration:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 57
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 5470.513. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-09-29-f0b317d5bed3. Prüfsumme der Quelldaten: f0b317d5bed3a2654a9ea39762d5e57f4649306adce3e6103e845ee1b9b94add. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

LiveCodeBench v6

Overall

1.Claude Fable 5.190,52 %

2.Claude Fable 589,78 %

3.Gemini 3.8 Flash89,48 %

4.Claude Opus 589,03 %

5.Gemini 3.7 Flash88,65 %

6.Gemini 3.1 Pro Preview88,49 %

7.Grok 4.688,22 %

8.Gemini 3.6 Flash88,08 %

9.Qwen 3.8 Max 090287,85 %

10.Claude Opus 4.887,82 %

11.Gemini 3.5 Flash87,6 %

12.DeepSeek-V4-Pro87,48 %

13.Grok 4.587,35 %

14.GPT-5.3-Codex87,31 %

15.Kimi K387,19 %

16.Qwen 3.7 Max87,06 %

17.Kimi K2.686,77 %

18.GPT-5 mini86,61 %

19.Nemotron 3 Ultra85,98 %

20.Inkling Small85,93 %

21.GPT-5.6 Terra85,93 %

22.GPT-585,91 %

23.Gemini 3 Flash Preview85,59 %

24.Inkling85,52 %

25.GPT-5.585,3 %

26.Claude Opus 4.785,07 %

27.Grok 4.384,49 %

28.Grok 4.20 Reasoning84,27 %

29.GPT-5.484,14 %

30.GPT-5.4 nano84,01 %

31.Qwen 3.8 27B84 %

32.Ling 3.0 Flash83,99 %

33.o383,91 %

34.Kimi K2.583,87 %

35.GPT OSS 120B83,23 %

36.GPT-5.6 Sol82,6 %

37.Claude Sonnet 582,43 %

38.GLM-4.782,23 %

39.o4-mini82,21 %

40.MiniMax M382,15 %

41.Claude Sonnet 4.682,09 %

42.Kimi K2.7 Code82,05 %

43.GLM-581,87 %

44.MiniMax M2.181,76 %

45.MiMo-V2.581,51 %

46.GPT-5.4 mini81,47 %

47.GLM-5.181,38 %

48.MiMo-V2.5-Pro81,35 %

49.GLM-4.681,04 %

50.GLM-5.380,54 %

51.GLM-5.3-Flash80,51 %

52.GPT OSS 20B80,39 %

53.Gemini 3.1 Flash-Lite80,12 %

54.MiniMax M2.779,93 %

55.MiniMax M2.579,21 %

56.Gemini 3.5 Flash-Lite79,01 %

57.Claude Opus 4.575,03 %

58.o3-mini71,48 %

59.Kimi K2 071170,45 %

60.DeepSeek-R170,22 %

61.GPT-5 nano70,22 %

62.DeepSeek-V3.269,86 %

63.GLM-5.269,5 %

64.GLM-4.567,45 %

65.DeepSeek-V3 032465,48 %

66.Kimi K2 Thinking63,15 %

67.GPT-4.1 mini58,16 %

68.Mistral Large 355,34 %

69.GPT-4.154,67 %

70.o150,26 %

71.GPT-4o43,44 %

72.GPT-4.1 nano42,72 %

73.Llama 4 Scout38,54 %

74.Command A35,07 %

75.Mistral Small 3.131,82 %

76.GPT-4o mini26,42 %

77.Command R+18,24 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-lcb:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 77
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 161.2. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-09-29-b6ee1006a41a. Prüfsumme der Quelldaten: b6ee1006a41aab0c68eef9d3e42a2151634fffaaeb6bdc2230a6d02994198a59. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

ProgramBench

Overall

1.Claude Opus 5.518,5 %

2.Claude Fable 5.17 %

3.GPT-6 Astra5,5 %

4.Claude Opus 53 %

5.Claude Fable 52 %

5.GPT-6 Sol2 %

5.Kimi K32 %

8.GLM-5.31,5 %

8.GPT-5.6 Sol1,5 %

10.Claude Opus 4.81 %

10.Gemini 3.8 Flash1 %

12.Claude Sonnet 4.60,5 %

12.GLM-5.20,5 %

12.GPT-5.50,5 %

12.GPT-5.6 Terra0,5 %

12.GPT-6 Luna0,5 %

12.Grok 4.70,5 %

12.Inkling Small0,5 %

19.Claude Opus 4.70 %

19.Claude Sonnet 50 %

19.DeepSeek-V4-Pro0 %

19.Gemini 3 Flash Preview0 %

19.Gemini 3.1 Flash-Lite0 %

19.Gemini 3.1 Pro Preview0 %

19.Gemini 3.5 Flash0 %

19.Gemini 3.5 Flash-Lite0 %

19.Gemini 3.6 Flash0 %

19.Gemini 3.7 Flash0 %

19.GLM-5.10 %

19.GLM-5.3-Flash0 %

19.GPT-5.40 %

19.GPT-5.4 mini0 %

19.GPT-5.6 Luna0 %

19.Grok 4.30 %

19.Grok 4.50 %

19.Inkling0 %

19.Kimi K2.60 %

19.Kimi K2.7 Code0 %

19.MiniMax M2.70 %

19.Nemotron 3 Ultra0 %

19.Qwen 3.8 27B0 %

19.Qwen 3.8 Max 09020 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-programbench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 42
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3718.555. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-programbench-2026-09-29-bff20a0d17ec. Prüfsumme der Quelldaten: bff20a0d17ec279ecc2de4a40b1e08d0eb38e155e58aaf585a09af58807a4e0d. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Finanzen

CorpFin v2

Overall

1.Claude Opus 573,19 %

2.Claude Fable 571,83 %

3.Kimi K371,56 %

4.Inkling Small69,62 %

5.Inkling68,57 %

6.Grok 4.368,53 %

7.GPT-5.568,42 %

8.Kimi K2.568,26 %

9.MiniMax M368,1 %

10.Grok 4.567,41 %

11.Claude Sonnet 566,98 %

12.Kimi K2.666,74 %

13.Claude Opus 4.866,71 %

14.Gemini 3 Flash Preview66,43 %

15.Grok 4.666,16 %

16.GLM-5.266,12 %

17.Claude Opus 4.766,08 %

18.Qwen 3.8 Max 090265,85 %

19.Nemotron 3 Ultra65,46 %

20.Claude Sonnet 4.665,31 %

20.GPT-5.6 Terra65,31 %

22.GPT-5.465,27 %

23.Gemini 3.5 Flash64,69 %

24.Gemini 3.1 Pro Preview64,49 %

25.GLM-5.164,45 %

26.GPT-5.6 Sol64,38 %

27.GPT-5.6 Luna64,22 %

28.Qwen 3.7 Max63,71 %

29.Grok 4.20 Reasoning63,68 %

30.Gemini 3.6 Flash63,33 %

31.GPT-4.163,05 %

32.GLM-562,9 %

33.Qwen 3.6 27B62,32 %

34.Ling 3.0 Flash61,93 %

35.MiMo-V2.5-Pro61,42 %

36.DeepSeek-V4-Pro61,38 %

37.Claude Opus 4.561,31 %

38.GPT-5.4 nano61,19 %

38.MiniMax M2.761,19 %

40.GPT-561,07 %

41.Mistral Large 361,03 %

42.GLM-4.560,96 %

43.GPT-5.4 mini60,92 %

44.Claude Sonnet 4.560,8 %

44.Gemini 2.5 Pro60,8 %

46.Gemini 3.5 Flash-Lite60,68 %

47.Kimi K2 Thinking60,57 %

48.Claude Haiku 4.560,3 %

49.GPT-5 mini60,18 %

50.MiMo-V2.559,91 %

51.o359,71 %

52.MiniMax M2.559,6 %

53.Gemini 3.1 Flash-Lite59,36 %

54.o4-mini58,97 %

55.MiniMax M2.158,9 %

56.Mistral Medium 3.558,78 %

57.GPT OSS 120B58,24 %

58.GPT-4.1 mini57,93 %

59.GLM-4.656,84 %

60.DeepSeek-V3 032454,74 %

61.Trinity Large Thinking54,66 %

62.Nemotron 3.5 Lightning54,24 %

63.DeepSeek-R154,12 %

64.GPT OSS 20B53,15 %

65.DeepSeek-V352,49 %

66.DeepSeek-V3.151,48 %

67.Kimi K2 071150,39 %

68.DeepSeek-V3.247,94 %

69.Llama 4 Scout46,78 %

70.GLM-4.746,39 %

71.Command A45,96 %

72.GPT-4o mini45,46 %

73.o3-mini45,3 %

74.Mistral Small 3.144,17 %

75.GPT-4.1 nano42,08 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 75
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 15.015. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-29-83186cfafe52. Prüfsumme der Quelldaten: 83186cfafe526f0b8fe2ae86af05e8209fe799c8bfa48292ef1fef5db66650ee. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

EMB

Overall

1.Claude Fable 5.176,67 %

2.Claude Opus 5.575,94 %

3.Claude Sonnet 5.575,71 %

4.Claude Fable 573,67 %

5.Claude Opus 573,56 %

6.GPT-5.6 Sol72,34 %

7.Gemini 3.8 Flash72,2 %

8.GPT-6 Astra71,7 %

9.GPT-6 Sol71,53 %

10.Gemini 3.7 Flash71,33 %

11.Claude Opus 4.869,37 %

12.GPT-6 Luna68,52 %

13.GPT-5.6 Luna67,12 %

14.Grok 4.766,99 %

15.Kimi K366,4 %

16.Claude Sonnet 566,32 %

17.GPT-5.6 Terra66,21 %

18.Gemini 3.6 Flash65,41 %

19.GPT-5.564,54 %

20.Claude Opus 4.763,73 %

21.Gemini 3.5 Flash63,55 %

22.Grok 4.662,73 %

23.GLM-5.261,53 %

24.Claude Sonnet 4.660,15 %

25.Qwen 3.8 Max 090260,07 %

26.Qwen 3.8 27B59,66 %

27.Kimi K2.657,86 %

28.DeepSeek-V4.1-Flash57,21 %

29.Qwen 3.7 Max57,04 %

30.GLM-5.356,34 %

31.GLM-5.3-Flash55,93 %

32.MiMo-V2.5-Pro55,23 %

33.MiMo-V2.555,09 %

34.Grok 4.552,91 %

35.Gemini 3.1 Pro Preview52,62 %

36.DeepSeek-V4-Pro51,62 %

37.Qwen 3.7 Plus49,35 %

38.MiniMax M347,76 %

39.GPT-5.4 mini45,43 %

40.GPT-5.4 nano44,75 %

41.Gemini 3.5 Flash-Lite43,23 %

42.Inkling38,36 %

43.Inkling Small31,76 %

44.Nemotron 3 Ultra31,74 %

45.Kimi K2.528,47 %

46.MiniMax M2.728,45 %

47.Gemini 3 Flash Preview26,02 %

48.Ling 3.0 Flash25,01 %

49.Grok 4.318,39 %

50.Nemotron 3.5 Lightning16,99 %

51.Grok 4.20 Reasoning11,74 %

52.Mistral Medium 3.511,19 %

53.Mercury 2.58,82 %

54.Gemini 3.1 Flash-Lite8,63 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-emb:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 2382.355. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-09-29-90535b2fd4dc. Prüfsumme der Quelldaten: 90535b2fd4dc213540eac0aff8ae769e34b6b1ba54e1ed6d0a51dcfe307d5598. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Finance Agent (v2)

Overall

1.Gemini 3.8 Flash61,44 %

2.Gemini 3.7 Flash59,04 %

3.Claude Fable 5.158,88 %

4.Claude Opus 558,63 %

5.Claude Opus 5.558,59 %

6.Claude Sonnet 5.558,1 %

7.Gemini 3.5 Flash57,86 %

8.GLM-5.3-Flash57,85 %

9.Claude Fable 556,31 %

10.Gemini 3.6 Flash56,3 %

11.GLM-5.355,84 %

12.GPT-5.6 Luna55,04 %

13.GPT-5.6 Terra54,44 %

14.Kimi K354,36 %

15.Claude Opus 4.853,92 %

16.Claude Sonnet 553,91 %

17.GPT-5.6 Sol53,76 %

18.Grok 4.653,68 %

19.GPT-6 Astra53,54 %

20.DeepSeek-V4.1-Flash53,48 %

21.Grok 4.752,25 %

22.GPT-5.551,76 %

23.Claude Opus 4.751,51 %

24.Claude Sonnet 4.651,04 %

25.Qwen 3.8 Max 090250,59 %

26.GPT-6 Luna49,87 %

27.GLM-5.249,7 %

28.GPT-6 Sol49,05 %

29.Qwen 3.8 27B48,55 %

30.Grok 4.548,35 %

31.MiniMax M348,27 %

32.Qwen 3.7 Max47,78 %

33.Gemini 3.5 Flash-Lite47,44 %

34.Inkling46,6 %

35.GPT-5.4 mini45,36 %

36.Kimi K2.644,9 %

37.GLM-5.144,79 %

38.DeepSeek-V4-Pro44,08 %

39.Gemini 3.1 Pro Preview42,98 %

40.Gemini 3 Flash Preview42,55 %

41.MiMo-V2.5-Pro41,5 %

42.Inkling Small41,26 %

43.Qwen 3.7 Plus38,22 %

44.GPT-5.4 nano38,22 %

45.Grok 4.337,73 %

46.Nemotron 3 Ultra37,67 %

47.MiMo-V2.536,73 %

48.Kimi K2.535,79 %

49.Mistral Medium 3.532,1 %

50.Ling 3.0 Flash30,31 %

51.Gemini 3.1 Flash-Lite29,99 %

52.Grok 4.20 Reasoning28,49 %

53.MiniMax M2.727,89 %

54.Mercury 2.518,56 %

55.Nemotron 3.5 Lightning18,5 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-finance-agent-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 253.882. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-09-29-addcd124c670. Prüfsumme der Quelldaten: addcd124c6706893659c1ae26698bf6ffa29c91018ee95b98ab15b9d4b6edcdb. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

GPQA Diamond

Overall

1.Gemini 3.1 Pro Preview95,45 %

2.GPT-5.6 Sol95,2 %

3.Grok 4.694,7 %

4.Gemini 3.8 Flash94,44 %

5.Gemini 3.7 Flash93,94 %

6.Qwen 3.8 Max 090293,69 %

7.Claude Fable 5.193,43 %

7.Claude Opus 593,43 %

7.Gemini 3.6 Flash93,43 %

10.Claude Fable 593,18 %

10.GPT-5.593,18 %

12.Grok 4.592,93 %

12.Kimi K392,93 %

14.Gemini 3.5 Flash92,68 %

14.MiniMax M392,68 %

16.Claude Opus 4.892,42 %

17.GPT-5.491,67 %

17.GPT-5.6 Luna91,67 %

19.Grok 4.391,41 %

20.GPT-5.6 Terra90,91 %

21.Claude Opus 4.790,15 %

21.Qwen 3.7 Max90,15 %

23.DeepSeek-V4-Pro89,39 %

24.Kimi K2.689,14 %

25.Claude Sonnet 588,89 %

25.Qwen 3.8 27B88,89 %

27.Grok 4.20 Reasoning88,64 %

28.GLM-5.388,13 %

29.Gemini 3 Flash Preview87,88 %

30.Inkling87,12 %

31.MiniMax M2.786,62 %

32.GLM-5.3-Flash86,36 %

33.Nemotron 3 Ultra86,11 %

34.Claude Sonnet 4.685,61 %

34.GLM-5.285,61 %

34.GPT-585,61 %

37.Ling 3.0 Flash84,85 %

38.GLM-5.184,52 %

39.Kimi K2.584,09 %

39.o384,09 %

41.Gemini 3.5 Flash-Lite83,84 %

42.Inkling Small83,59 %

43.GLM-583,33 %

44.GPT-5.4 mini83,08 %

45.MiMo-V2.5-Pro82,58 %

46.MiniMax M2.582,07 %

47.MiMo-V2.581,57 %

48.Gemini 3.1 Flash-Lite81,06 %

49.GPT-5 mini80,3 %

50.GLM-4.780,05 %

51.Claude Opus 4.579,55 %

52.GPT OSS 120B78,54 %

52.Kimi K2 Thinking78,54 %

52.MiniMax M2.178,54 %

55.GPT-5.4 nano77,53 %

56.DeepSeek-V3.276,26 %

57.o3-mini75,51 %

58.GLM-4.674,5 %

58.o4-mini74,5 %

60.o173,23 %

61.GLM-4.572,22 %

62.Kimi K2 071171,46 %

63.GPT OSS 20B68,94 %

64.Mistral Large 368,43 %

65.GPT-4.1 mini67,93 %

66.GPT-4.165,4 %

67.GPT-5 nano63,38 %

68.DeepSeek-V3 032461,62 %

69.DeepSeek-V354,55 %

70.GPT-4.1 nano50,76 %

71.Command A48,49 %

72.Llama 4 Scout46,97 %

73.GPT-4o mini44,19 %

73.Mistral Small 3.144,19 %

75.Mistral Medium 3.534,85 %

76.Command R+31,06 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 76
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 158.471. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-29-8caf7b4807e8. Prüfsumme der Quelldaten: 8caf7b4807e87a2880c30218acea7855ea3a11721d56f7e049a77fadaf35dd34. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Recht

Harvey's Legal Agent Benchmark

Overall · Task fully resolved

1.Grok 4.615,83 %

2.Grok 4.512,92 %

3.Grok 4.712,5 %

4.Claude Fable 511,25 %

4.Qwen 3.8 27B11,25 %

6.Kimi K310,83 %

7.Qwen 3.8 Max 090210,42 %

8.Gemini 3.8 Flash10 %

9.Claude Opus 4.89,58 %

10.Gemini 3.7 Flash8,75 %

11.GLM-5.38,33 %

12.GLM-5.27,08 %

13.Claude Fable 5.16,67 %

13.Claude Opus 4.76,67 %

13.Claude Opus 56,67 %

13.DeepSeek-V4.1-Flash6,67 %

13.GLM-5.3-Flash6,67 %

18.GPT-6 Astra5,42 %

19.Claude Sonnet 4.65 %

19.Claude Sonnet 55 %

21.MiniMax M34,17 %

22.Claude Opus 5.53,75 %

22.DeepSeek-V4-Pro3,75 %

22.GPT-5.53,75 %

25.Gemini 3.6 Flash3,33 %

26.Claude Sonnet 5.52,92 %

26.GPT-6 Luna2,92 %

28.Gemini 3.5 Flash2,5 %

28.GPT-5.6 Sol2,5 %

30.Inkling2,08 %

30.MiMo-V2.5-Pro2,08 %

32.GPT-6 Sol1,67 %

32.Inkling Small1,67 %

32.Kimi K2.61,67 %

32.MiMo-V2.51,67 %

32.Qwen 3.7 Max1,67 %

37.GPT-5.6 Luna1,25 %

37.Ling 3.0 Flash1,25 %

39.GPT-5.6 Terra0,83 %

40.Grok 4.30,42 %

40.Mistral Medium 3.50,42 %

40.Nemotron 3 Ultra0,42 %

43.Gemini 3 Flash Preview0 %

43.Gemini 3.1 Flash-Lite0 %

43.Gemini 3.1 Pro Preview0 %

43.Gemini 3.5 Flash-Lite0 %

43.GLM-5.10 %

43.GPT-5.40 %

43.GPT-5.4 mini0 %

43.GPT-5.4 nano0 %

43.Grok 4.20 Reasoning0 %

43.Kimi K2.50 %

43.Mercury 2.50 %

43.MiniMax M2.70 %

43.Nemotron 3.5 Lightning0 %

43.Qwen 3.7 Plus0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-agent-benchmark:1:overall
Messgröße: task resolution rate
Skala: 0-100
Teilnehmer: 56
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 2034.322. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-09-29-d6fb708e5bcc. Prüfsumme der Quelldaten: d6fb708e5bccec56c7a5e5ad97918d9cc47c5ebefb88af4a1a5771493dadba2f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

LegalBench

Overall

1.Claude Fable 588,56 %

2.Claude Fable 5.188,51 %

3.Gemini 3.1 Pro Preview87,4 %

4.Gemini 3.7 Flash87,26 %

5.Gemini 3.8 Flash86,99 %

6.Claude Opus 586,97 %

7.GPT-5.6 Sol86,97 %

8.Gemini 3 Flash Preview86,86 %

9.Gemini 3.6 Flash86,71 %

10.GPT-5.586,52 %

11.Grok 4.686,31 %

12.GPT-5.486,04 %

13.GPT-586,02 %

14.Kimi K386,02 %

15.Grok 4.585,97 %

16.MiniMax M385,42 %

17.Claude Opus 4.785,25 %

18.GPT-5.6 Terra85,11 %

19.Qwen 3.7 Max84,91 %

20.GLM-5.384,84 %

21.Kimi K2.684,74 %

22.Grok 4.384,46 %

23.GLM-5.184,39 %

24.Grok 4.784,39 %

25.Gemini 3.5 Flash-Lite84,07 %

25.GLM-5.284,07 %

27.GLM-584,06 %

28.GPT-5.6 Luna84,03 %

29.MiniMax M2.783,98 %

30.GLM-5.3-Flash83,93 %

31.Claude Sonnet 583,92 %

32.Gemini 3.1 Flash-Lite83,76 %

33.o383,76 %

34.Qwen 3.8 Max 090283,61 %

35.Gemini 3.5 Flash83,6 %

36.Claude Opus 4.883,57 %

37.GLM-4.783,36 %

38.DeepSeek-V4.1-Flash83,28 %

39.GPT-4.183,1 %

40.Mercury 2.583,06 %

41.Inkling Small82,99 %

42.Inkling82,95 %

43.Claude Opus 4.582,84 %

44.Qwen 3.8 27B82,43 %

45.Claude Sonnet 4.682,12 %

46.Nemotron 3 Ultra82,07 %

47.GPT-5 mini81,77 %

48.Kimi K2 071181,45 %

49.DeepSeek-V380,76 %

50.o180,39 %

51.DeepSeek-V4-Pro80,32 %

52.Kimi K2 Thinking80,2 %

53.MiniMax M2.579,96 %

54.Command A79,7 %

55.Ling 3.0 Flash79,69 %

56.GLM-4.679,61 %

57.o4-mini79,19 %

58.Mistral Large 379,14 %

59.MiMo-V2.578,89 %

60.GPT-4.1 mini78,04 %

61.GPT-5.4 nano77,92 %

62.Grok 4.20 Reasoning77,74 %

63.DeepSeek-V3 032477,73 %

64.MiMo-V2.5-Pro77,13 %

65.GPT OSS 120B75,94 %

66.GLM-4.575,63 %

67.MiniMax M2.175,45 %

68.Llama 4 Scout72,04 %

69.o3-mini71,54 %

70.GPT OSS 20B70,85 %

71.Mistral Small 3.169,16 %

72.Command R+68,29 %

73.Gemma 2 27B67,98 %

74.DeepSeek-R167,32 %

75.DeepSeek-V3.265,96 %

76.GPT-4.1 nano61,06 %

77.GPT-5 nano50,13 %

78.Command R32,97 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-bench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 78
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 5.179. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-29-c1213019b552. Prüfsumme der Quelldaten: c1213019b55234a262ae86fd4ebfe291530f315c988a4ee32fd501c13777f85f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Legal Research Bench

Overall · All-pass

1.Claude Fable 5.155,29 %

1.Claude Opus 555,29 %

3.Claude Opus 5.550,48 %

4.Claude Fable 549,52 %

5.GLM-5.349,04 %

6.Claude Sonnet 5.548,08 %

6.GPT-5.6 Sol48,08 %

6.Grok 4.648,08 %

9.Qwen 3.8 Max 090247,6 %

10.Grok 4.747,12 %

11.GLM-5.3-Flash45,19 %

12.Kimi K344,23 %

13.Claude Opus 4.843,75 %

14.Claude Sonnet 541,83 %

15.DeepSeek-V4.1-Flash41,35 %

15.GPT-5.6 Terra41,35 %

17.GPT-5.540,39 %

18.GPT-6 Astra39,42 %

19.Gemini 3.8 Flash38,94 %

20.Claude Opus 4.738,46 %

20.Claude Sonnet 4.638,46 %

22.Grok 4.537,98 %

23.GPT-5.6 Luna36,54 %

24.Qwen 3.8 27B36,06 %

25.Gemini 3.7 Flash34,62 %

26.GLM-5.231,25 %

27.Gemini 3.5 Flash30,77 %

28.GPT-6 Luna30,29 %

29.MiniMax M329,81 %

30.GPT-6 Sol28,85 %

31.Inkling28,37 %

32.GLM-5.127,89 %

33.Inkling Small25,48 %

33.Qwen 3.7 Max25,48 %

35.Gemini 3.6 Flash25 %

36.DeepSeek-V4-Pro23,08 %

37.Gemini 3.1 Pro Preview20,67 %

38.Gemini 3 Flash Preview18,27 %

39.Qwen 3.7 Plus16,35 %

40.Kimi K2.515,87 %

40.Kimi K2.615,87 %

40.MiMo-V2.5-Pro15,87 %

43.Grok 4.315,39 %

43.Nemotron 3 Ultra15,39 %

45.Gemini 3.5 Flash-Lite13,94 %

45.Grok 4.20 Reasoning13,94 %

47.GPT-5.4 mini12,5 %

48.MiniMax M2.710,58 %

49.MiMo-V2.59,14 %

49.Mistral Medium 3.59,14 %

51.GPT-5.4 nano6,25 %

52.Mercury 2.54,33 %

53.Gemini 3.1 Flash-Lite3,37 %

54.Nemotron 3.5 Lightning2,89 %

55.Ling 3.0 Flash0 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-research:1:overall
Messgröße: all-pass rate
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 611.366. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-09-29-b15acd492114. Prüfsumme der Quelldaten: b15acd492114174e151eff7ff17a38d547d5a1e93d2d598c153066542bbc56b7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MedCode

Overall

1.Claude Opus 563,57 %

2.Gemini 3.1 Pro Preview59,06 %

3.Claude Fable 556,07 %

4.Gemini 3 Flash Preview55,92 %

5.Gemini 3.5 Flash55,83 %

6.Claude Opus 4.754,86 %

7.Claude Fable 5.153,51 %

8.Gemini 3.7 Flash53,39 %

9.Claude Opus 4.853,22 %

10.Gemini 3.6 Flash53,15 %

11.Claude Sonnet 5.552,92 %

12.Gemini 2.5 Pro50,59 %

13.Claude Opus 5.549,8 %

14.GPT-549,63 %

15.Grok 4.749,55 %

16.GPT-5.549,1 %

17.Kimi K348,88 %

18.GPT-6 Astra48,49 %

19.Claude Opus 4.648,24 %

20.Gemini 3.8 Flash48,14 %

21.Gemini 3.1 Flash-Lite47,6 %

22.Claude Sonnet 547,54 %

23.o347,29 %

24.GPT-6 Sol47,07 %

25.MiniMax M346,29 %

26.Claude Opus 4.545,17 %

27.Grok 4.644,71 %

28.GPT-6 Luna44,69 %

29.GPT-5.6 Sol43,97 %

30.Gemini 3.5 Flash-Lite43,49 %

31.GPT-5.6 Terra43,41 %

32.Grok 4.543,29 %

33.GPT-5 mini43,05 %

34.GLM-5.342,86 %

35.GPT-5.6 Luna42,39 %

36.GLM-5.141,6 %

37.GPT-5.441,29 %

38.Inkling41,19 %

39.DeepSeek-V4.1-Flash41,17 %

40.GPT-5.4 nano41,03 %

41.GLM-5.240,77 %

42.Qwen 3.8 Max 090240,67 %

43.Claude Sonnet 4.540,57 %

44.DeepSeek-V4-Pro40,46 %

45.Kimi K2.640,14 %

46.Kimi K2.539,32 %

47.Qwen 3.7 Max38,75 %

48.Nemotron 3 Ultra38,62 %

49.Grok 4.338,07 %

50.Inkling Small37,89 %

51.MiniMax M2.734,44 %

52.MiniMax M2.134,08 %

53.o4-mini33,79 %

54.Mistral Medium 3.533,75 %

55.GLM-4.732,77 %

56.MiMo-V2.5-Pro32,48 %

57.Ling 3.0 Flash32,28 %

58.Grok 4.20 Reasoning32,16 %

59.MiMo-V2.531,9 %

60.Mercury 2.531,33 %

61.GPT-5 nano30,44 %

62.Qwen 3.8 27B28,7 %

63.Gemini 2.5 Flash-Lite27,12 %

64.Llama 4 Scout23,31 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medcode:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 64
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 18.675. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MMLU-Pro

Overall

1.Claude Fable 5.192,38 %

2.Claude Opus 591,59 %

3.Claude Fable 591,5 %

4.Gemini 3.1 Pro Preview90,99 %

5.Gemini 3.8 Flash90,22 %

6.Gemini 3.7 Flash90,12 %

7.Claude Opus 4.789,87 %

8.Claude Opus 4.889,59 %

9.Gemini 3.5 Flash89,52 %

10.Grok 4.689,4 %

11.Qwen 3.7 Max89,31 %

12.Gemini 3.6 Flash89,28 %

13.Grok 4.589,22 %

14.GPT-5.6 Sol89,1 %

15.Qwen 3.8 Max 090288,6 %

16.Gemini 3 Flash Preview88,59 %

17.GPT-5.588,14 %

18.Kimi K387,97 %

19.Kimi K2.687,57 %

20.Claude Sonnet 587,55 %

21.GPT-5.487,48 %

22.Claude Sonnet 4.687,34 %

23.DeepSeek-V4-Pro87,25 %

24.MiniMax M2.187,05 %

25.GLM-5.186,9 %

26.GLM-5.386,77 %

27.GLM-5.286,71 %

28.GPT-5.6 Terra86,66 %

29.GPT-586,54 %

30.Inkling86,3 %

31.Grok 4.20 Reasoning86,25 %

32.Gemini 3.1 Flash-Lite86,24 %

33.GLM-5.3-Flash86,06 %

34.GPT-5.6 Luna86,04 %

35.GLM-586,03 %

36.Kimi K2.585,91 %

37.Grok 4.385,84 %

38.Gemini 3.5 Flash-Lite85,84 %

39.Nemotron 3 Ultra85,76 %

40.o385,6 %

41.Claude Opus 4.585,59 %

42.Inkling Small85,57 %

43.MiMo-V2.5-Pro84,6 %

44.GPT-5.4 mini84,55 %

45.Qwen 3.8 27B84,34 %

46.MiniMax M384,22 %

47.o183,49 %

48.DeepSeek-R183,18 %

49.DeepSeek-V3.283,06 %

50.MiMo-V2.582,93 %

51.GLM-4.782,74 %

52.GPT-5 mini82,23 %

53.GLM-4.682,2 %

54.Ling 3.0 Flash82,01 %

55.GLM-4.581,22 %

56.Kimi K2 Thinking81,07 %

57.o4-mini80,56 %

58.GPT-4.180,5 %

59.MiniMax M2.780,43 %

60.MiniMax M2.580,09 %

61.Mistral Large 379,82 %

62.DeepSeek-V3 032479,47 %

63.Kimi K2 071179,39 %

64.GPT OSS 120B79,17 %

65.o3-mini78,69 %

66.GPT-4.1 mini77,23 %

67.GPT-5.4 nano77,17 %

68.GPT-5 nano76,07 %

69.Mistral Medium 3.575,34 %

70.DeepSeek-V373,82 %

71.GPT OSS 20B71,64 %

72.Llama 4 Scout69,63 %

73.Command A69,17 %

74.Mistral Small 3.166,02 %

75.GPT-4.1 nano63,48 %

76.GPT-4o mini62,74 %

77.Command R+44 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

|

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mmlu-pro:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 77
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 32.92. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-29-383f4d5d1419. Prüfsumme der Quelldaten: 383f4d5d141971e7bb60b6c77a0df7a2be27ee6a005dd8854eb2df953dec36a4. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Dokumentierte Messdetails

Code Migration: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 4.905
Bewertung: 4.905
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 5470.513. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-09-29-f0b317d5bed3. Prüfsumme der Quelldaten: f0b317d5bed3a2654a9ea39762d5e57f4649306adce3e6103e845ee1b9b94add. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 65.462
Bewertung: 65.462
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 15.015. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-29-83186cfafe52. Prüfsumme der Quelldaten: 83186cfafe526f0b8fe2ae86af05e8209fe799c8bfa48292ef1fef5db66650ee. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

EMB: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 31.735
Bewertung: 31.735
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-emb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 2382.355. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-09-29-90535b2fd4dc. Prüfsumme der Quelldaten: 90535b2fd4dc213540eac0aff8ae769e34b6b1ba54e1ed6d0a51dcfe307d5598. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Finance Agent (v2): Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 37.667
Bewertung: 37.667
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-finance-agent-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 253.882. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-09-29-addcd124c670. Prüfsumme der Quelldaten: addcd124c6706893659c1ae26698bf6ffa29c91018ee95b98ab15b9d4b6edcdb. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 86.112
Bewertung: 86.112
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 158.471. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-29-8caf7b4807e8. Prüfsumme der Quelldaten: 8caf7b4807e87a2880c30218acea7855ea3a11721d56f7e049a77fadaf35dd34. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

LiveCodeBench v6: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 85.976
Bewertung: 85.976
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 161.2. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-09-29-b6ee1006a41a. Prüfsumme der Quelldaten: b6ee1006a41aab0c68eef9d3e42a2151634fffaaeb6bdc2230a6d02994198a59. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Harvey's Legal Agent Benchmark: Overall · Task fully resolved (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.417
Bewertung: 0.417
Messgröße: task resolution rate
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall · Task fully resolved
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-agent-benchmark:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 2034.322. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-09-29-d6fb708e5bcc. Prüfsumme der Quelldaten: d6fb708e5bccec56c7a5e5ad97918d9cc47c5ebefb88af4a1a5771493dadba2f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

LegalBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 82.066
Bewertung: 82.066
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-bench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 5.179. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-29-c1213019b552. Prüfsumme der Quelldaten: c1213019b55234a262ae86fd4ebfe291530f315c988a4ee32fd501c13777f85f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Legal Research Bench: Overall · All-pass (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 15.385
Bewertung: 15.385
Messgröße: all-pass rate
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall · All-pass
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-research:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 611.366. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-09-29-b15acd492114. Prüfsumme der Quelldaten: b15acd492114174e151eff7ff17a38d547d5a1e93d2d598c153066542bbc56b7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.621
Bewertung: 38.621
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medcode:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 18.675. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MMLU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 85.761
Bewertung: 85.761
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mmlu-pro:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 32.92. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-29-383f4d5d1419. Prüfsumme der Quelldaten: 383f4d5d141971e7bb60b6c77a0df7a2be27ee6a005dd8854eb2df953dec36a4. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

ProgramBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0
Bewertung: 0
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-programbench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 3718.555. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-programbench-2026-09-29-bff20a0d17ec. Prüfsumme der Quelldaten: bff20a0d17ec279ecc2de4a40b1e08d0eb38e155e58aaf585a09af58807a4e0d. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Seite 1 von 3

Unsere Tests

Angezeigt wird jeweils der aktuellste Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Frühere Läufe bleiben in den Testdetails erreichbar. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

Nemotron 3 Ultra

Ausgabe aus Sicherheitsgründen nicht dargestellt

Reasoning (angefragt): high

Aktueller Versuch

Datum des Testlaufs: 01.10.2026
API-Anbieter: openrouter
Angefragtes API-Modell: nvidia/nemotron-3-ultra-550b-a55b
API-Modell laut Antwort: nvidia/nemotron-3-ultra-550b-a55b
Reasoning-Einstellung: high
Festgelegter Endpunkt: DeepInfra | nvidia/nemotron-3-ultra-550b-a55b-20260604
Temperatur: Anbieterstandard
Tokenlimit inklusive Reasoning: 8.192 Token
Testprotokoll: community-visual-tests-v1
Technische Prüfung: Nicht bestanden
Antwortzeit: 21,1 s

Visuell noch nicht bewertet. Eine erfolgreiche Aufzeichnung bestätigt weder korrekte Physik noch die vollständige Umsetzung des Prompts.

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

Beliebtheit

53 / 100

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	Open WeightsQuelle
Zugang	API, LokalQuelle
Parameter	550 Mrd.Quelle
Aktive Parameter	55 Mrd.Quelle
Kontextfenster	1.000.000 TokenQuelle
Veröffentlichung	2026-06-04Quelle
Lizenz	OpenMDW-1.1Quelle
Architektur	LatentMoE, Mamba-2 + MoE + Attention hybrid with MTPQuelle
Sprachen	English, French, Spanish, Italian, German, Japanese, Hindi, Korean, Brazilian Portuguese, ChineseQuelle
Eingabe	TextQuelle
Ausgabe	TextQuelle

Veröffentlichte Preise

Marktpreis: Median aus 4 OpenRouter-Endpunkten von 3 Anbietern (repräsentativ: BaseTen), beobachtet am 7. Oktober 2026. Cache-Preise unterscheiden sich je Anbieter und werden nicht ausgewiesen.

API-Eingabe: 0,6 $ pro 1 Mio. TokenQuelle
API-Ausgabe: 2,4 $ pro 1 Mio. TokenQuelle

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	Median der bereitstellenden Anbieter. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · NVIDIA Nemotron 3 Ultra model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · NVIDIA Nemotron 3 Ultra model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 2 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	knowledge-cutoff Originalwortlaut No exact value located in the checked primary model card/API documentation.
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Nemotron 3 Ultra technical report · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Creative Commons Attribution 4.0