SprachmodellAktiv

Llama 4 Scout

Veröffentlichte Benchmarks

Bildverständnis

VisualToolBench

Overall

1.204 visuelle Aufgaben verlangen Bildbearbeitung, Python, Websuche oder Rechnerzugriff mit höchstens 20 Werkzeugaufrufen. Der Score gehört zum kompletten multimodalen Werkzeugsystem. Das Modell allein lässt sich daraus nicht isolieren.

1.GPT-5.429,17 %

2.Gemini 3.1 Pro Preview28,97 %

3.Claude Opus 4.627,52 %

4.o313,74 %

5.Gemini 2.5 Pro11,75 %

6.o4-mini11,12 %

7.GPT-4.15,52 %

8.Gemini 2.5 Flash4,69 %

9.Llama 4 Scout1,58 %

10.Llama 4 Maverick1,41 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-visual-toolbench-apr
Messgröße: average pass rate
Skala: 0-100
Teilnehmer: 10
Methodik und Einordnung: 1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.. Kennung des Quellmodells: curated/llama-4-scout. Name des Quellmodells: Llama 4 Scout. Anbieter laut Quelle: Meta. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 1,58 % ± 0,04. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-7822fbb7c5cc. Prüfsumme der Quelldaten: 7822fbb7c5ccfaf05dab72443f6fe33aacc3c4831ec7684f25300ddcc9159ea1. Parserversion: curated-v1. Importiert am: 2026-09-29

Quelle: Scale AI

MMMU-Pro

Overall

1.Claude Fable 5.190,64 %

2.Claude Opus 589,88 %

3.Claude Fable 589,31 %

4.Gemini 3.8 Flash89,08 %

5.Gemini 3.7 Flash88,96 %

6.GPT-5.6 Sol88,84 %

7.Gemini 3.6 Flash88,38 %

8.Gemini 3.5 Flash88,27 %

8.GPT-5.588,27 %

10.Gemini 3.1 Pro Preview88,21 %

11.Kimi K388,15 %

12.Qwen 3.8 Max 090288,04 %

13.Gemini 3 Flash Preview87,63 %

14.GPT-5.487,51 %

15.Claude Opus 4.886,59 %

16.GPT-5.6 Terra86,47 %

17.Kimi K2.686,3 %

18.GLM-5.3-Flash86,01 %

19.Claude Opus 4.785,55 %

20.GPT-5.6 Luna85,03 %

21.Kimi K2.584,34 %

22.Qwen 3.8 27B83,93 %

23.Claude Sonnet 4.683,58 %

23.Gemini 3.5 Flash-Lite83,58 %

25.Grok 4.20 Reasoning83,47 %

26.Grok 4.383,06 %

27.Claude Sonnet 583,01 %

28.Gemini 3.1 Flash-Lite82,49 %

29.GPT-581,5 %

30.MiniMax M381,16 %

31.Claude Opus 4.581,1 %

32.o380,42 %

33.MiMo-V2.580 %

34.o4-mini79,67 %

35.GPT-5.4 mini79,25 %

36.GPT-5 mini78,91 %

37.Inkling78,5 %

38.o177,41 %

39.GPT-5.4 nano73,58 %

40.GPT-4.172,39 %

41.GPT-5 nano70,94 %

42.GPT-4.1 mini70,54 %

43.Mistral Large 366,19 %

44.Grok 4.561,79 %

45.Mistral Small 3.160,08 %

46.Llama 4 Scout58,75 %

47.GPT-4o mini56,56 %

48.GPT-4.1 nano55,06 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mmmu:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 48
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 10.506. Kosten je Aufgabe in USD: 0.000835. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmmu-2026-09-29-33b66d0175de. Prüfsumme der Quelldaten: 33b66d0175de09b833e9133865eafe05c59cc0756b0531a3b75c2de47a124650. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

CorpFin v2

Overall

1.Claude Opus 573,19 %

2.Claude Fable 571,83 %

3.Kimi K371,56 %

4.Inkling Small69,62 %

5.Inkling68,57 %

6.Grok 4.368,53 %

7.GPT-5.568,42 %

8.Kimi K2.568,26 %

9.MiniMax M368,1 %

10.Grok 4.567,41 %

11.Claude Sonnet 566,98 %

12.Kimi K2.666,74 %

13.Claude Opus 4.866,71 %

14.Gemini 3 Flash Preview66,43 %

15.Grok 4.666,16 %

16.GLM-5.266,12 %

17.Claude Opus 4.766,08 %

18.Qwen 3.8 Max 090265,85 %

19.Nemotron 3 Ultra65,46 %

20.Claude Sonnet 4.665,31 %

20.GPT-5.6 Terra65,31 %

22.GPT-5.465,27 %

23.Gemini 3.5 Flash64,69 %

24.Gemini 3.1 Pro Preview64,49 %

25.GLM-5.164,45 %

26.GPT-5.6 Sol64,38 %

27.GPT-5.6 Luna64,22 %

28.Qwen 3.7 Max63,71 %

29.Grok 4.20 Reasoning63,68 %

30.Gemini 3.6 Flash63,33 %

31.GPT-4.163,05 %

32.GLM-562,9 %

33.Qwen 3.6 27B62,32 %

34.Ling 3.0 Flash61,93 %

35.MiMo-V2.5-Pro61,42 %

36.DeepSeek-V4-Pro61,38 %

37.Claude Opus 4.561,31 %

38.GPT-5.4 nano61,19 %

38.MiniMax M2.761,19 %

40.GPT-561,07 %

41.Mistral Large 361,03 %

42.GLM-4.560,96 %

43.GPT-5.4 mini60,92 %

44.Claude Sonnet 4.560,8 %

44.Gemini 2.5 Pro60,8 %

46.Gemini 3.5 Flash-Lite60,68 %

47.Kimi K2 Thinking60,57 %

48.Claude Haiku 4.560,3 %

49.GPT-5 mini60,18 %

50.MiMo-V2.559,91 %

51.o359,71 %

52.MiniMax M2.559,6 %

53.Gemini 3.1 Flash-Lite59,36 %

54.o4-mini58,97 %

55.MiniMax M2.158,9 %

56.Mistral Medium 3.558,78 %

57.GPT OSS 120B58,24 %

58.GPT-4.1 mini57,93 %

59.GLM-4.656,84 %

60.DeepSeek-V3 032454,74 %

61.Trinity Large Thinking54,66 %

62.Nemotron 3.5 Lightning54,24 %

63.DeepSeek-R154,12 %

64.GPT OSS 20B53,15 %

65.DeepSeek-V352,49 %

66.DeepSeek-V3.151,48 %

67.Kimi K2 071150,39 %

68.DeepSeek-V3.247,94 %

69.Llama 4 Scout46,78 %

70.GLM-4.746,39 %

71.Command A45,96 %

72.GPT-4o mini45,46 %

73.o3-mini45,3 %

74.Mistral Small 3.144,17 %

75.GPT-4.1 nano42,08 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 75
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 9.697. Kosten je Aufgabe in USD: 0.011639. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-29-83186cfafe52. Prüfsumme der Quelldaten: 83186cfafe526f0b8fe2ae86af05e8209fe799c8bfa48292ef1fef5db66650ee. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

GPQA Diamond

Overall

1.Gemini 3.1 Pro Preview95,45 %

2.GPT-5.6 Sol95,2 %

3.Grok 4.694,7 %

4.Gemini 3.8 Flash94,44 %

5.Gemini 3.7 Flash93,94 %

6.Qwen 3.8 Max 090293,69 %

7.Claude Fable 5.193,43 %

7.Claude Opus 593,43 %

7.Gemini 3.6 Flash93,43 %

10.Claude Fable 593,18 %

10.GPT-5.593,18 %

12.Grok 4.592,93 %

12.Kimi K392,93 %

14.Gemini 3.5 Flash92,68 %

14.MiniMax M392,68 %

16.Claude Opus 4.892,42 %

17.GPT-5.491,67 %

17.GPT-5.6 Luna91,67 %

19.Grok 4.391,41 %

20.GPT-5.6 Terra90,91 %

21.Claude Opus 4.790,15 %

21.Qwen 3.7 Max90,15 %

23.DeepSeek-V4-Pro89,39 %

24.Kimi K2.689,14 %

25.Claude Sonnet 588,89 %

25.Qwen 3.8 27B88,89 %

27.Grok 4.20 Reasoning88,64 %

28.GLM-5.388,13 %

29.Gemini 3 Flash Preview87,88 %

30.Inkling87,12 %

31.MiniMax M2.786,62 %

32.GLM-5.3-Flash86,36 %

33.Nemotron 3 Ultra86,11 %

34.Claude Sonnet 4.685,61 %

34.GLM-5.285,61 %

34.GPT-585,61 %

37.Ling 3.0 Flash84,85 %

38.GLM-5.184,52 %

39.Kimi K2.584,09 %

39.o384,09 %

41.Gemini 3.5 Flash-Lite83,84 %

42.Inkling Small83,59 %

43.GLM-583,33 %

44.GPT-5.4 mini83,08 %

45.MiMo-V2.5-Pro82,58 %

46.MiniMax M2.582,07 %

47.MiMo-V2.581,57 %

48.Gemini 3.1 Flash-Lite81,06 %

49.GPT-5 mini80,3 %

50.GLM-4.780,05 %

51.Claude Opus 4.579,55 %

52.GPT OSS 120B78,54 %

52.Kimi K2 Thinking78,54 %

52.MiniMax M2.178,54 %

55.GPT-5.4 nano77,53 %

56.DeepSeek-V3.276,26 %

57.o3-mini75,51 %

58.GLM-4.674,5 %

58.o4-mini74,5 %

60.o173,23 %

61.GLM-4.572,22 %

62.Kimi K2 071171,46 %

63.GPT OSS 20B68,94 %

64.Mistral Large 368,43 %

65.GPT-4.1 mini67,93 %

66.GPT-4.165,4 %

67.GPT-5 nano63,38 %

68.DeepSeek-V3 032461,62 %

69.DeepSeek-V354,55 %

70.GPT-4.1 nano50,76 %

71.Command A48,49 %

72.Llama 4 Scout46,97 %

73.GPT-4o mini44,19 %

73.Mistral Small 3.144,19 %

75.Mistral Medium 3.534,85 %

76.Command R+31,06 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 76
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 12.092. Kosten je Aufgabe in USD: 0.000654. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-29-8caf7b4807e8. Prüfsumme der Quelldaten: 8caf7b4807e87a2880c30218acea7855ea3a11721d56f7e049a77fadaf35dd34. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

LiveCodeBench v6

Overall

1.Claude Fable 5.190,52 %

2.Claude Fable 589,78 %

3.Gemini 3.8 Flash89,48 %

4.Claude Opus 589,03 %

5.Gemini 3.7 Flash88,65 %

6.Gemini 3.1 Pro Preview88,49 %

7.Grok 4.688,22 %

8.Gemini 3.6 Flash88,08 %

9.Qwen 3.8 Max 090287,85 %

10.Claude Opus 4.887,82 %

11.Gemini 3.5 Flash87,6 %

12.DeepSeek-V4-Pro87,48 %

13.Grok 4.587,35 %

14.GPT-5.3-Codex87,31 %

15.Kimi K387,19 %

16.Qwen 3.7 Max87,06 %

17.Kimi K2.686,77 %

18.GPT-5 mini86,61 %

19.Nemotron 3 Ultra85,98 %

20.Inkling Small85,93 %

21.GPT-5.6 Terra85,93 %

22.GPT-585,91 %

23.Gemini 3 Flash Preview85,59 %

24.Inkling85,52 %

25.GPT-5.585,3 %

26.Claude Opus 4.785,07 %

27.Grok 4.384,49 %

28.Grok 4.20 Reasoning84,27 %

29.GPT-5.484,14 %

30.GPT-5.4 nano84,01 %

31.Qwen 3.8 27B84 %

32.Ling 3.0 Flash83,99 %

33.o383,91 %

34.Kimi K2.583,87 %

35.GPT OSS 120B83,23 %

36.GPT-5.6 Sol82,6 %

37.Claude Sonnet 582,43 %

38.GLM-4.782,23 %

39.o4-mini82,21 %

40.MiniMax M382,15 %

41.Claude Sonnet 4.682,09 %

42.Kimi K2.7 Code82,05 %

43.GLM-581,87 %

44.MiniMax M2.181,76 %

45.MiMo-V2.581,51 %

46.GPT-5.4 mini81,47 %

47.GLM-5.181,38 %

48.MiMo-V2.5-Pro81,35 %

49.GLM-4.681,04 %

50.GLM-5.380,54 %

51.GLM-5.3-Flash80,51 %

52.GPT OSS 20B80,39 %

53.Gemini 3.1 Flash-Lite80,12 %

54.MiniMax M2.779,93 %

55.MiniMax M2.579,21 %

56.Gemini 3.5 Flash-Lite79,01 %

57.Claude Opus 4.575,03 %

58.o3-mini71,48 %

59.Kimi K2 071170,45 %

60.DeepSeek-R170,22 %

61.GPT-5 nano70,22 %

62.DeepSeek-V3.269,86 %

63.GLM-5.269,5 %

64.GLM-4.567,45 %

65.DeepSeek-V3 032465,48 %

66.Kimi K2 Thinking63,15 %

67.GPT-4.1 mini58,16 %

68.Mistral Large 355,34 %

69.GPT-4.154,67 %

70.o150,26 %

71.GPT-4o43,44 %

72.GPT-4.1 nano42,72 %

73.Llama 4 Scout38,54 %

74.Command A35,07 %

75.Mistral Small 3.131,82 %

76.GPT-4o mini26,42 %

77.Command R+18,24 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-lcb:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 77
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 16.762. Kosten je Aufgabe in USD: 0.000615. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-09-29-b6ee1006a41a. Prüfsumme der Quelldaten: b6ee1006a41aab0c68eef9d3e42a2151634fffaaeb6bdc2230a6d02994198a59. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

LegalBench

Overall

1.Claude Fable 588,56 %

2.Claude Fable 5.188,51 %

3.Gemini 3.1 Pro Preview87,4 %

4.Gemini 3.7 Flash87,26 %

5.Gemini 3.8 Flash86,99 %

6.Claude Opus 586,97 %

7.GPT-5.6 Sol86,97 %

8.Gemini 3 Flash Preview86,86 %

9.Gemini 3.6 Flash86,71 %

10.GPT-5.586,52 %

11.Grok 4.686,31 %

12.GPT-5.486,04 %

13.GPT-586,02 %

14.Kimi K386,02 %

15.Grok 4.585,97 %

16.MiniMax M385,42 %

17.Claude Opus 4.785,25 %

18.GPT-5.6 Terra85,11 %

19.Qwen 3.7 Max84,91 %

20.GLM-5.384,84 %

21.Kimi K2.684,74 %

22.Grok 4.384,46 %

23.GLM-5.184,39 %

24.Grok 4.784,39 %

25.Gemini 3.5 Flash-Lite84,07 %

25.GLM-5.284,07 %

27.GLM-584,06 %

28.GPT-5.6 Luna84,03 %

29.MiniMax M2.783,98 %

30.GLM-5.3-Flash83,93 %

31.Claude Sonnet 583,92 %

32.Gemini 3.1 Flash-Lite83,76 %

33.o383,76 %

34.Qwen 3.8 Max 090283,61 %

35.Gemini 3.5 Flash83,6 %

36.Claude Opus 4.883,57 %

37.GLM-4.783,36 %

38.DeepSeek-V4.1-Flash83,28 %

39.GPT-4.183,1 %

40.Mercury 2.583,06 %

41.Inkling Small82,99 %

42.Inkling82,95 %

43.Claude Opus 4.582,84 %

44.Qwen 3.8 27B82,43 %

45.Claude Sonnet 4.682,12 %

46.Nemotron 3 Ultra82,07 %

47.GPT-5 mini81,77 %

48.Kimi K2 071181,45 %

49.DeepSeek-V380,76 %

50.o180,39 %

51.DeepSeek-V4-Pro80,32 %

52.Kimi K2 Thinking80,2 %

53.MiniMax M2.579,96 %

54.Command A79,7 %

55.Ling 3.0 Flash79,69 %

56.GLM-4.679,61 %

57.o4-mini79,19 %

58.Mistral Large 379,14 %

59.MiMo-V2.578,89 %

60.GPT-4.1 mini78,04 %

61.GPT-5.4 nano77,92 %

62.Grok 4.20 Reasoning77,74 %

63.DeepSeek-V3 032477,73 %

64.MiMo-V2.5-Pro77,13 %

65.GPT OSS 120B75,94 %

66.GLM-4.575,63 %

67.MiniMax M2.175,45 %

68.Llama 4 Scout72,04 %

69.o3-mini71,54 %

70.GPT OSS 20B70,85 %

71.Mistral Small 3.169,16 %

72.Command R+68,29 %

73.Gemma 2 27B67,98 %

74.DeepSeek-R167,32 %

75.DeepSeek-V3.265,96 %

76.GPT-4.1 nano61,06 %

77.GPT-5 nano50,13 %

78.Command R32,97 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-bench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 78
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 0.392. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-29-c1213019b552. Prüfsumme der Quelldaten: c1213019b55234a262ae86fd4ebfe291530f315c988a4ee32fd501c13777f85f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Mathematik

MATH 500

Overall

1.GPT-596 %

2.GPT OSS 120B94,8 %

2.GPT-5 mini94,8 %

4.o394,6 %

5.GPT OSS 20B94,2 %

5.Kimi K2 071194,2 %

5.o4-mini94,2 %

8.GLM-4.594 %

9.GPT-5 nano93,8 %

10.DeepSeek-R192,2 %

11.o3-mini91,8 %

12.o190,4 %

13.MiniMax M2.189 %

14.DeepSeek-V3 032488,6 %

15.GPT-4.1 mini88 %

16.GPT-4.187,2 %

17.DeepSeek-V380,4 %

18.GPT-4.1 nano80,2 %

19.Llama 4 Scout79,2 %

20.Command A76,2 %

21.GPT-4o mini72,6 %

22.Mistral Small 3.168,4 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-math500:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 22
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 10.523. Kosten je Aufgabe in USD: 0.00043. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-09-29-62411eb86259. Prüfsumme der Quelldaten: 62411eb8625948521e074a88585b8309cfdb10b7ecf042ef7312373f008b6209. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MGSM

Overall

1.Claude Opus 4.594,76 %

2.o4-mini93,42 %

3.Gemini 3 Flash Preview93,31 %

4.GPT-592,84 %

5.GPT-5 mini92,58 %

6.DeepSeek-R192,25 %

7.DeepSeek-V392,15 %

8.GPT OSS 120B92,04 %

9.o391,75 %

10.DeepSeek-V3 032491,67 %

11.o3-mini91,35 %

12.Kimi K2 071190,95 %

13.DeepSeek-V3.290,87 %

14.GLM-4.590,84 %

15.Kimi K2 Thinking90,15 %

16.GLM-4.689,75 %

17.GPT-5 nano89,31 %

17.o189,31 %

19.GPT OSS 20B89,02 %

20.GLM-4.788,18 %

21.Llama 4 Scout87,96 %

22.MiniMax M2.187,85 %

23.GPT-4.1 mini87,78 %

24.GPT-4.187,67 %

25.GPT-4o mini86,18 %

26.Command A85,71 %

27.Mistral Large 385,42 %

28.Mistral Small 3.184,22 %

29.GPT-4.1 nano69,27 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mgsm:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 29
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 3.499. Kosten je Aufgabe in USD: 0.000147. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mgsm-2026-09-29-c67395c9276b. Prüfsumme der Quelldaten: c67395c9276b40cb0779a8c4ce4d254c7ab19874322f51486687c9e65f97e390. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Gesundheit

MedCode

Overall

1.Claude Opus 563,57 %

2.Gemini 3.1 Pro Preview59,06 %

3.Claude Fable 556,07 %

4.Gemini 3 Flash Preview55,92 %

5.Gemini 3.5 Flash55,83 %

6.Claude Opus 4.754,86 %

7.Claude Fable 5.153,51 %

8.Gemini 3.7 Flash53,39 %

9.Claude Opus 4.853,22 %

10.Gemini 3.6 Flash53,15 %

11.Claude Sonnet 5.552,92 %

12.Gemini 2.5 Pro50,59 %

13.Claude Opus 5.549,8 %

14.GPT-549,63 %

15.Grok 4.749,55 %

16.GPT-5.549,1 %

17.Kimi K348,88 %

18.GPT-6 Astra48,49 %

19.Claude Opus 4.648,24 %

20.Gemini 3.8 Flash48,14 %

21.Gemini 3.1 Flash-Lite47,6 %

22.Claude Sonnet 547,54 %

23.o347,29 %

24.GPT-6 Sol47,07 %

25.MiniMax M346,29 %

26.Claude Opus 4.545,17 %

27.Grok 4.644,71 %

28.GPT-6 Luna44,69 %

29.GPT-5.6 Sol43,97 %

30.Gemini 3.5 Flash-Lite43,49 %

31.GPT-5.6 Terra43,41 %

32.Grok 4.543,29 %

33.GPT-5 mini43,05 %

34.GLM-5.342,86 %

35.GPT-5.6 Luna42,39 %

36.GLM-5.141,6 %

37.GPT-5.441,29 %

38.Inkling41,19 %

39.DeepSeek-V4.1-Flash41,17 %

40.GPT-5.4 nano41,03 %

41.GLM-5.240,77 %

42.Qwen 3.8 Max 090240,67 %

43.Claude Sonnet 4.540,57 %

44.DeepSeek-V4-Pro40,46 %

45.Kimi K2.640,14 %

46.Kimi K2.539,32 %

47.Qwen 3.7 Max38,75 %

48.Nemotron 3 Ultra38,62 %

49.Grok 4.338,07 %

50.Inkling Small37,89 %

51.MiniMax M2.734,44 %

52.MiniMax M2.134,08 %

53.o4-mini33,79 %

54.Mistral Medium 3.533,75 %

55.GLM-4.732,77 %

56.MiMo-V2.5-Pro32,48 %

57.Ling 3.0 Flash32,28 %

58.Grok 4.20 Reasoning32,16 %

59.MiMo-V2.531,9 %

60.Mercury 2.531,33 %

61.GPT-5 nano30,44 %

62.Qwen 3.8 27B28,7 %

63.Gemini 2.5 Flash-Lite27,12 %

64.Llama 4 Scout23,31 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medcode:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 64
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 10.736. Kosten je Aufgabe in USD: 0.002176. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MedQA

Overall

1.o196,52 %

2.Gemini 3.1 Pro Preview96,37 %

3.GPT-596,32 %

4.GPT-5.496,09 %

5.GPT-5 mini96,06 %

5.o396,06 %

7.o4-mini96,02 %

8.Gemini 3 Flash Preview95,81 %

9.o3-mini94,83 %

10.Grok 4.20 Reasoning94,55 %

11.Kimi K2.594,37 %

12.GLM-594,27 %

13.GLM-4.793,74 %

14.GPT-5 nano93,26 %

15.Claude Opus 4.593,16 %

16.Kimi K2 Thinking92,59 %

17.MiniMax M2.592,53 %

18.GLM-4.692,23 %

19.Claude Sonnet 4.692,06 %

20.GPT OSS 120B91,36 %

21.GPT-4.191,18 %

22.MiniMax M2.191,16 %

23.DeepSeek-R190,8 %

24.GLM-4.589,98 %

25.DeepSeek-V3.289,45 %

26.GPT-4o88,16 %

27.GPT-4.1 mini84,63 %

28.Kimi K2 071183,98 %

29.GPT OSS 20B82,88 %

30.Mistral Large 382,23 %

31.DeepSeek-V3 032482 %

32.DeepSeek-V380,9 %

33.Command A80,55 %

34.GPT-4o mini72,44 %

35.Mistral Small 3.169,1 %

36.GPT-4.1 nano68,23 %

37.Mixtral 8x22B62,14 %

38.Llama 4 Scout50,9 %

39.Command R+2,65 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 39
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Latenz in Sekunden: 4.802. Kosten je Aufgabe in USD: 0.000326. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medqa-2026-09-29-2886a92806d7. Prüfsumme der Quelldaten: 2886a92806d7b2e892c96203b7c7b462a4e28ec54dae900401734c38aa443883. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MedScribe

Overall

1.Claude Opus 5.591,43 %

2.Claude Fable 5.191,29 %

3.Claude Sonnet 5.591,1 %

4.Claude Opus 590,99 %

5.Grok 4.789,38 %

6.GLM-5.3-Flash88,94 %

7.GLM-5.388,81 %

8.Claude Fable 588,52 %

9.Kimi K387,96 %

10.GPT-6 Astra87,91 %

11.MiniMax M387,25 %

12.Grok 4.586,88 %

13.GPT-5.586,87 %

14.Claude Opus 4.686,74 %

15.Grok 4.686,53 %

16.Claude Opus 4.885,76 %

17.DeepSeek-V4.1-Flash85,5 %

18.Inkling85,41 %

19.GPT-5.6 Sol85,23 %

20.Qwen 3.8 Max 090284,95 %

21.Claude Sonnet 4.584,52 %

22.Gemini 3.8 Flash84,5 %

23.GPT-5.6 Luna84,39 %

24.Inkling Small84,11 %

25.Gemini 3.7 Flash83,94 %

26.Qwen 3.8 27B83,85 %

27.MiMo-V2.5-Pro83,73 %

28.GPT-6 Luna83,71 %

29.GPT-583,65 %

30.GLM-5.283,53 %

31.Claude Opus 4.583,25 %

32.Claude Opus 4.782,95 %

33.GPT-5.6 Terra82,87 %

34.GPT-6 Sol82,03 %

35.Ling 3.0 Flash80,9 %

36.MiniMax M2.180,78 %

37.GPT-5 mini80,58 %

38.MiniMax M2.779,87 %

39.Gemini 3.6 Flash79,66 %

40.Qwen 3.7 Max79,4 %

41.Kimi K2.678,15 %

42.GPT-5.477,55 %

43.GPT-5.4 nano77,09 %

44.o376,65 %

45.Gemini 3.5 Flash76,57 %

46.Kimi K2.576,44 %

47.Gemini 3.1 Pro Preview76,11 %

48.Claude Sonnet 576,05 %

49.DeepSeek-V4-Pro75,14 %

50.Grok 4.374,4 %

51.Gemini 2.5 Pro73,55 %

52.GPT-5 nano72,87 %

53.Gemini 2.5 Flash-Lite72,83 %

54.GLM-5.172,27 %

55.MiMo-V2.572,15 %

56.Gemini 3.5 Flash-Lite70,89 %

57.Gemini 3 Flash Preview69,92 %

58.o4-mini69,14 %

59.GLM-4.768,63 %

60.Mistral Medium 3.567,73 %

61.Gemini 3.1 Flash-Lite63,9 %

62.Grok 4.20 Reasoning63,41 %

63.Mercury 2.555,09 %

64.Llama 4 Scout50,59 %

65.Nemotron 3.5 Lightning4,27 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medscribe:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 65
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 11.323. Kosten je Aufgabe in USD: 0.0017. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-09-29-6533d95c8055. Prüfsumme der Quelldaten: 6533d95c80553d2dd26927f7269ab6454c589d2181f1858c662a4f493b5685c7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

MMLU-Pro

Overall

1.Claude Fable 5.192,38 %

2.Claude Opus 591,59 %

3.Claude Fable 591,5 %

4.Gemini 3.1 Pro Preview90,99 %

5.Gemini 3.8 Flash90,22 %

6.Gemini 3.7 Flash90,12 %

7.Claude Opus 4.789,87 %

8.Claude Opus 4.889,59 %

9.Gemini 3.5 Flash89,52 %

10.Grok 4.689,4 %

11.Qwen 3.7 Max89,31 %

12.Gemini 3.6 Flash89,28 %

13.Grok 4.589,22 %

14.GPT-5.6 Sol89,1 %

15.Qwen 3.8 Max 090288,6 %

16.Gemini 3 Flash Preview88,59 %

17.GPT-5.588,14 %

18.Kimi K387,97 %

19.Kimi K2.687,57 %

20.Claude Sonnet 587,55 %

21.GPT-5.487,48 %

22.Claude Sonnet 4.687,34 %

23.DeepSeek-V4-Pro87,25 %

24.MiniMax M2.187,05 %

25.GLM-5.186,9 %

26.GLM-5.386,77 %

27.GLM-5.286,71 %

28.GPT-5.6 Terra86,66 %

29.GPT-586,54 %

30.Inkling86,3 %

31.Grok 4.20 Reasoning86,25 %

32.Gemini 3.1 Flash-Lite86,24 %

33.GLM-5.3-Flash86,06 %

34.GPT-5.6 Luna86,04 %

35.GLM-586,03 %

36.Kimi K2.585,91 %

37.Grok 4.385,84 %

38.Gemini 3.5 Flash-Lite85,84 %

39.Nemotron 3 Ultra85,76 %

40.o385,6 %

41.Claude Opus 4.585,59 %

42.Inkling Small85,57 %

43.MiMo-V2.5-Pro84,6 %

44.GPT-5.4 mini84,55 %

45.Qwen 3.8 27B84,34 %

46.MiniMax M384,22 %

47.o183,49 %

48.DeepSeek-R183,18 %

49.DeepSeek-V3.283,06 %

50.MiMo-V2.582,93 %

51.GLM-4.782,74 %

52.GPT-5 mini82,23 %

53.GLM-4.682,2 %

54.Ling 3.0 Flash82,01 %

55.GLM-4.581,22 %

56.Kimi K2 Thinking81,07 %

57.o4-mini80,56 %

58.GPT-4.180,5 %

59.MiniMax M2.780,43 %

60.MiniMax M2.580,09 %

61.Mistral Large 379,82 %

62.DeepSeek-V3 032479,47 %

63.Kimi K2 071179,39 %

64.GPT OSS 120B79,17 %

65.o3-mini78,69 %

66.GPT-4.1 mini77,23 %

67.GPT-5.4 nano77,17 %

68.GPT-5 nano76,07 %

69.Mistral Medium 3.575,34 %

70.DeepSeek-V373,82 %

71.GPT OSS 20B71,64 %

72.Llama 4 Scout69,63 %

73.Command A69,17 %

74.Mistral Small 3.166,02 %

75.GPT-4.1 nano63,48 %

76.GPT-4o mini62,74 %

77.Command R+44 %

höhere Werte sind besserStand 29. September 2026Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mmlu-pro:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 77
Methodik und Einordnung: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 5.342. Kosten je Aufgabe in USD: 0.000507. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-29-383f4d5d1419. Prüfsumme der Quelldaten: 383f4d5d141971e7bb60b6c77a0df7a2be27ee6a005dd8854eb2df953dec36a4. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle: Vals AI

Dokumentierte Messdetails

VisualToolBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1.58
Bewertung: 1.58
Messgröße: average pass rate
Einheit: %
Benchmark-Version: 1,204-task release
Kategorie: multimodal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-visual-toolbench-apr
Konfidenzintervall: 0.04
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.. Kennung des Quellmodells: curated/llama-4-scout. Name des Quellmodells: Llama 4 Scout. Anbieter laut Quelle: Meta. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 1,58 % ± 0,04. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-7822fbb7c5cc. Prüfsumme der Quelldaten: 7822fbb7c5ccfaf05dab72443f6fe33aacc3c4831ec7684f25300ddcc9159ea1. Parserversion: curated-v1. Importiert am: 2026-09-29
Vergleichsmethodik: 1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.

Quelle Scale AI

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 46.776
Bewertung: 46.776
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 9.697. Kosten je Aufgabe in USD: 0.011639. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-29-83186cfafe52. Prüfsumme der Quelldaten: 83186cfafe526f0b8fe2ae86af05e8209fe799c8bfa48292ef1fef5db66650ee. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 46.97
Bewertung: 46.97
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 12.092. Kosten je Aufgabe in USD: 0.000654. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-29-8caf7b4807e8. Prüfsumme der Quelldaten: 8caf7b4807e87a2880c30218acea7855ea3a11721d56f7e049a77fadaf35dd34. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

LiveCodeBench v6: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.541
Bewertung: 38.541
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 16.762. Kosten je Aufgabe in USD: 0.000615. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-09-29-b6ee1006a41a. Prüfsumme der Quelldaten: b6ee1006a41aab0c68eef9d3e42a2151634fffaaeb6bdc2230a6d02994198a59. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

LegalBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 72.036
Bewertung: 72.036
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-bench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-27. Latenz in Sekunden: 0.392. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-29-c1213019b552. Prüfsumme der Quelldaten: c1213019b55234a262ae86fd4ebfe291530f315c988a4ee32fd501c13777f85f. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MATH 500: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 79.2
Bewertung: 79.2
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-math500:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 10.523. Kosten je Aufgabe in USD: 0.00043. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-09-29-62411eb86259. Prüfsumme der Quelldaten: 62411eb8625948521e074a88585b8309cfdb10b7ecf042ef7312373f008b6209. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 23.311
Bewertung: 23.311
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medcode:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 10.736. Kosten je Aufgabe in USD: 0.002176. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-09-29-7062229b5ab4. Prüfsumme der Quelldaten: 7062229b5ab4a5e16f014a78fd550f9f34e7147be6be796b610ab1ca3de055ab. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedQA: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 50.9
Bewertung: 50.9
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Latenz in Sekunden: 4.802. Kosten je Aufgabe in USD: 0.000326. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medqa-2026-09-29-2886a92806d7. Prüfsumme der Quelldaten: 2886a92806d7b2e892c96203b7c7b462a4e28ec54dae900401734c38aa443883. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MedScribe: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 50.593
Bewertung: 50.593
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medscribe:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-26. Latenz in Sekunden: 11.323. Kosten je Aufgabe in USD: 0.0017. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medscribe-2026-09-29-6533d95c8055. Prüfsumme der Quelldaten: 6533d95c80553d2dd26927f7269ab6454c589d2181f1858c662a4f493b5685c7. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MGSM: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 87.964
Bewertung: 87.964
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mgsm:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 3.499. Kosten je Aufgabe in USD: 0.000147. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mgsm-2026-09-29-c67395c9276b. Prüfsumme der Quelldaten: c67395c9276b40cb0779a8c4ce4d254c7ab19874322f51486687c9e65f97e390. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MMLU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 69.632
Bewertung: 69.632
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mmlu-pro:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 5.342. Kosten je Aufgabe in USD: 0.000507. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-29-383f4d5d1419. Prüfsumme der Quelldaten: 383f4d5d141971e7bb60b6c77a0df7a2be27ee6a005dd8854eb2df953dec36a4. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 58.752
Bewertung: 58.752
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: multimodal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mmmu:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-29
Methodik: Kennung des Quellmodells: together/meta-llama/Llama-4-Scout-17B-16E-Instruct. Name des Quellmodells: Llama 4 Scout. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 10.506. Kosten je Aufgabe in USD: 0.000835. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmmu-2026-09-29-33b66d0175de. Prüfsumme der Quelldaten: 33b66d0175de09b833e9133865eafe05c59cc0756b0531a3b75c2de47a124650. Parserversion: vals-astro-v2. Importiert am: 2026-09-29

Quelle Vals AI

Seite 1 von 4

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	Open WeightsQuelle
Zugang	API, LokalQuelle
Parameter	109 Mrd.Quelle
Aktive Parameter	17 Mrd.Quelle
Kontextfenster	10.485.760 TokenQuelle
Knowledge Cutoff	August 2024Quelle
Hinweise	16 Experten, 17B aktiv pro Token, 10M KontextfensterQuelle
Lizenz	Llama 4 Community LicenseQuelle
Veröffentlichung	2025-04-05Quelle
Parameter	109 Mrd.Quelle
Aktive Parameter	17 Mrd.Quelle
Architektur	early-fusion sparse mixture-of-expertsQuelle
Eingabe	Text, BildQuelle
Ausgabe	Text, codeQuelle
Sprachen	12Quelle
Trainings-Token	~40TQuelle
Wissensstand	2024-08Quelle

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	Median der bereitstellenden Anbieter. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Meta Llama 4 model card (abgerufen 8. September 2026) · Meta Llama 4 model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Meta Llama 4 model card (abgerufen 8. September 2026) · Meta Llama 4 model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 2 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	max-output-tokens Originalwortlaut Card does not specify a model-specific maximum output.
Weitere Quelle	Modellmetadaten
Weitere Quelle	Kontextfenster-Daten
Weitere Quelle	Wissensstand-Daten · Meta AI, The Llama 4 herd · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	Vals AI (abgerufen 29. September 2026)
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Creative Commons Attribution 4.0

Llama 4 Scout

Veröffentlichte Benchmarks

Bildverständnis

VisualToolBench

MMMU-Pro

CorpFin v2

GPQA Diamond

LiveCodeBench v6

LegalBench

Mathematik

MATH 500

MGSM

Gesundheit

MedCode

MedQA

MedScribe

MMLU-Pro

Dokumentierte Messdetails

Unsere Tests

Pelikan auf dem Fahrrad

Beliebtheit

Technische Daten und Zugang

Veröffentlichte Preise

Quellen und Datenstand