Vergleichskohorte: vals-corp-fin-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 50
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 36.732. Kosten je Aufgabe in USD: 0.052049. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-04-46dad6684551. Prüfsumme der Quelldaten: 46dad668455190ee4239b7c743d00d81c6fd3127e0d87123c518ec107c13b44d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

TaxEval v2

Overall

Mehr ist besser54 ModelleDeepSeek-V3 0324: Platz 42 von 54Datenstand: 4. September 2026

1.Claude Fable 576,94 %

2.GPT-5.6 Luna76,17 %

2.GPT-5.6 Terra76,17 %

4.Kimi K375,72 %

5.Claude Sonnet 575,63 %

6.GLM-5.3-Flash75,59 %

7.Inkling Small75,51 %

8.Inkling75,31 %

9.GPT-5 mini75,23 %

10.Claude Opus 575,14 %

11.GPT-4.175,06 %

12.GPT-5.574,98 %

13.Gemini 3.6 Flash74,86 %

14.o4-mini74,78 %

15.GPT-5.6 Sol74,78 %

16.Gemini 3.7 Flash74,73 %

17.Kimi K2.674,65 %

18.o374,57 %

19.Gemini 3.8 Flash74,45 %

20.Gemini 3.5 Flash74,37 %

21.o174,28 %

22.Kimi K2.574,2 %

23.GPT-5.473,96 %

24.Gemini 3 Flash73,88 %

25.MiMo-V2.5-Pro73,79 %

26.GPT-573,39 %

27.GLM-5.273,34 %

28.Gemini 3.1 Pro Preview72,88 %

29.Gemini 3.5 Flash-Lite72,61 %

30.GLM-4.572,4 %

31.GLM-5.372,36 %

32.DeepSeek-R172,28 %

33.DeepSeek-V4-Pro72,08 %

34.GPT-4.1 mini71,91 %

35.MiMo-V2.571,83 %

36.Gemini 3.1 Flash-Lite71,79 %

37.Kimi K2 Thinking71,71 %

38.Grok 4.571,67 %

39.GPT OSS 120B71,59 %

40.GPT-5.4 mini71,22 %

41.GLM-5.171,19 %

42.DeepSeek-V3 032471,1 %

42.Grok 4.671,1 %

44.Grok 4.370,81 %

45.GLM-570,03 %

46.o3-mini69,42 %

47.GLM-4.768,77 %

48.DeepSeek-V367,91 %

49.GPT-5.4 nano67,42 %

50.GPT-5 nano67,38 %

51.GLM-4.666,24 %

52.GPT OSS 20B63,7 %

53.GPT-4.1 nano60,75 %

54.GPT-4o mini60,55 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-tax-eval-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 34.009. Kosten je Aufgabe in USD: 0.000652. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-tax_eval_v2-2026-09-04-f0e140ab16fc. Prüfsumme der Quelldaten: f0e140ab16fcb52041f4f87d2872273c03ca8014fdb69b3da9afd01b0f1e77ec. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

GPQA Diamond

Overall

Mehr ist besser54 ModelleDeepSeek-V3 0324: Platz 50 von 54Datenstand: 4. September 2026

1.Gemini 3.1 Pro Preview95,45 %

2.GPT-5.6 Sol95,2 %

3.Grok 4.694,7 %

4.Gemini 3.8 Flash94,44 %

5.Gemini 3.7 Flash93,94 %

6.Claude Opus 593,43 %

6.Gemini 3.6 Flash93,43 %

8.Claude Fable 593,18 %

8.GPT-5.593,18 %

10.Grok 4.592,93 %

10.Kimi K392,93 %

12.Gemini 3.5 Flash92,68 %

13.GPT-5.491,67 %

13.GPT-5.6 Luna91,67 %

15.Grok 4.391,41 %

16.GPT-5.6 Terra90,91 %

17.DeepSeek-V4-Pro89,39 %

18.Kimi K2.689,14 %

19.Claude Sonnet 588,89 %

20.GLM-5.388,13 %

21.Gemini 3 Flash87,88 %

22.Inkling87,12 %

23.GLM-5.3-Flash86,36 %

24.GLM-5.285,61 %

24.GPT-585,61 %

26.GLM-5.184,52 %

27.Kimi K2.584,09 %

27.o384,09 %

29.Gemini 3.5 Flash-Lite83,84 %

30.Inkling Small83,59 %

31.GLM-583,33 %

32.GPT-5.4 mini83,08 %

33.MiMo-V2.5-Pro82,58 %

34.MiMo-V2.581,57 %

35.Gemini 3.1 Flash-Lite81,06 %

36.GPT-5 mini80,3 %

37.GLM-4.780,05 %

38.GPT OSS 120B78,54 %

38.Kimi K2 Thinking78,54 %

40.GPT-5.4 nano77,53 %

41.o3-mini75,51 %

42.GLM-4.674,5 %

42.o4-mini74,5 %

44.o173,23 %

45.GLM-4.572,22 %

46.GPT OSS 20B68,94 %

47.GPT-4.1 mini67,93 %

48.GPT-4.165,4 %

49.GPT-5 nano63,38 %

50.DeepSeek-V3 032461,62 %

51.DeepSeek-V354,55 %

52.GPT-4.1 nano50,76 %

53.GPT-4o mini44,19 %

54.Command R+31,06 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 23.475. Kosten je Aufgabe in USD: 0.001552. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-04-fc438726f0d8. Prüfsumme der Quelldaten: fc438726f0d8523d320f02d75ae372a3fa38b28b36f70fe318d119f55153560d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

Programmieren

2 Messreihen

IOI

Overall

Mehr ist besser24 ModelleDeepSeek-V3 0324: Platz 24 von 24Datenstand: 4. September 2026

1.Claude Opus 591,67 %

2.GPT-5.6 Sol86,67 %

3.GPT-5.6 Luna72,92 %

4.Claude Fable 572,25 %

5.GPT-5.467,83 %

6.GPT-5.6 Terra65,25 %

7.GPT-5.3-Codex43,83 %

8.Gemini 3 Flash39,08 %

9.DeepSeek-V4-Pro35,83 %

10.Gemini 3.5 Flash-Lite26,17 %

11.GLM-522 %

12.GPT-520 %

13.Kimi K2.517,67 %

14.Gemini 2.5 Pro17,08 %

15.Grok 4.315,33 %

16.GPT-5.4 nano15,25 %

17.GLM-4.77,58 %

18.GPT-5 mini6,75 %

19.GPT-5.4 mini6,42 %

20.o4-mini4,83 %

21.GLM-4.64,33 %

22.GLM-4.52,92 %

23.Gemini 2.5 Flash2,61 %

24.DeepSeek-V3 03241,67 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-ioi:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 24
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-08-09. Latenz in Sekunden: 171.479. Kosten je Aufgabe in USD: 0.606484. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-ioi-2026-09-04-c6f99e8d7130. Prüfsumme der Quelldaten: c6f99e8d713092dbfdc9cbcfd6b376fbb7209970714528eab31f6b541d90f20c. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

LiveCodeBench v6

Overall

Mehr ist besser56 ModelleDeepSeek-V3 0324: Platz 48 von 56Datenstand: 4. September 2026

1.Claude Fable 589,78 %

2.Gemini 3.8 Flash89,48 %

3.Claude Opus 589,03 %

4.Gemini 3.7 Flash88,65 %

5.Gemini 3.1 Pro Preview88,49 %

6.Grok 4.688,22 %

7.Gemini 3.6 Flash88,08 %

8.Gemini 3.5 Flash87,6 %

9.DeepSeek-V4-Pro87,48 %

10.Grok 4.587,35 %

11.GPT-5.3-Codex87,31 %

12.Kimi K387,19 %

13.Kimi K2.686,77 %

14.GPT-5 mini86,61 %

15.Inkling Small85,93 %

16.GPT-5.6 Terra85,93 %

17.GPT-585,91 %

18.Gemini 3 Flash85,59 %

19.Inkling85,52 %

20.GPT-5.585,3 %

21.Grok 4.384,49 %

22.GPT-5.484,14 %

23.GPT-5.4 nano84,01 %

24.o383,91 %

25.Kimi K2.583,87 %

26.GPT OSS 120B83,23 %

27.GPT-5.6 Sol82,6 %

28.Claude Sonnet 582,43 %

29.GLM-4.782,23 %

30.o4-mini82,21 %

31.Kimi K2.7 Code82,05 %

32.GLM-581,87 %

33.MiMo-V2.581,51 %

34.GPT-5.4 mini81,47 %

35.GLM-5.181,38 %

36.MiMo-V2.5-Pro81,35 %

37.GLM-4.681,04 %

38.GLM-5.380,54 %

39.GLM-5.3-Flash80,51 %

40.GPT OSS 20B80,39 %

41.Gemini 3.1 Flash-Lite80,12 %

42.Gemini 3.5 Flash-Lite79,01 %

43.o3-mini71,48 %

44.DeepSeek-R170,22 %

45.GPT-5 nano70,22 %

46.GLM-5.269,5 %

47.GLM-4.567,45 %

48.DeepSeek-V3 032465,48 %

49.Kimi K2 Thinking63,15 %

50.GPT-4.1 mini58,16 %

51.GPT-4.154,67 %

52.o150,26 %

53.GPT-4o43,44 %

54.GPT-4.1 nano42,72 %

55.GPT-4o mini26,42 %

56.Command R+18,24 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-lcb:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 56
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 26.93. Kosten je Aufgabe in USD: 0.001776. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-09-04-95ca83387127. Prüfsumme der Quelldaten: 95ca83387127df287e9a6d928c411c98c9b65b4cefeee46eb4008ca1521f5ed4. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

LegalBench

Overall

Mehr ist besser53 ModelleDeepSeek-V3 0324: Platz 43 von 53Datenstand: 4. September 2026

1.Claude Fable 588,56 %

2.Gemini 3.1 Pro Preview87,4 %

3.Gemini 3.7 Flash87,26 %

4.Gemini 3.8 Flash86,99 %

5.Claude Opus 586,97 %

6.GPT-5.6 Sol86,97 %

7.Gemini 3 Flash86,86 %

8.Gemini 3.6 Flash86,71 %

9.GPT-5.586,52 %

10.Grok 4.686,31 %

11.GPT-5.486,04 %

12.GPT-586,02 %

13.Kimi K386,02 %

14.Grok 4.585,97 %

15.GPT-5.6 Terra85,11 %

16.GLM-5.384,84 %

17.Kimi K2.684,74 %

18.Grok 4.384,46 %

19.GLM-5.184,39 %

20.Gemini 3.5 Flash-Lite84,07 %

20.GLM-5.284,07 %

22.GLM-584,06 %

23.GPT-5.6 Luna84,03 %

24.GLM-5.3-Flash83,93 %

25.Claude Sonnet 583,92 %

26.Gemini 3.1 Flash-Lite83,76 %

27.o383,76 %

28.Gemini 3.5 Flash83,6 %

29.GLM-4.783,36 %

30.GPT-4.183,1 %

31.Inkling Small82,99 %

32.Inkling82,95 %

33.GPT-5 mini81,77 %

34.DeepSeek-V380,76 %

35.o180,39 %

36.DeepSeek-V4-Pro80,32 %

37.Kimi K2 Thinking80,2 %

38.GLM-4.679,61 %

39.o4-mini79,19 %

40.MiMo-V2.578,89 %

41.GPT-4.1 mini78,04 %

42.GPT-5.4 nano77,92 %

43.DeepSeek-V3 032477,73 %

44.MiMo-V2.5-Pro77,13 %

45.GPT OSS 120B75,94 %

46.GLM-4.575,63 %

47.o3-mini71,54 %

48.GPT OSS 20B70,85 %

49.Command R+68,29 %

50.DeepSeek-R167,32 %

51.GPT-4.1 nano61,06 %

52.GPT-5 nano50,13 %

53.Command R32,97 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-bench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 53
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 7.712. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-04-ff81649923fb. Prüfsumme der Quelldaten: ff81649923fb684ff37d5f557fd320ba5ab433927831065ed781a94548f480ef. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

Mathematik

2 Messreihen

MATH 500

Overall

Mehr ist besser17 ModelleDeepSeek-V3 0324: Platz 12 von 17Datenstand: 4. September 2026

1.GPT-596 %

2.GPT OSS 120B94,8 %

2.GPT-5 mini94,8 %

4.o394,6 %

5.GPT OSS 20B94,2 %

5.o4-mini94,2 %

7.GLM-4.594 %

8.GPT-5 nano93,8 %

9.DeepSeek-R192,2 %

10.o3-mini91,8 %

11.o190,4 %

12.DeepSeek-V3 032488,6 %

13.GPT-4.1 mini88 %

14.GPT-4.187,2 %

15.DeepSeek-V380,4 %

16.GPT-4.1 nano80,2 %

17.GPT-4o mini72,6 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-math500:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 17
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 12.545. Kosten je Aufgabe in USD: 0.00074. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-09-04-a87fdb25617d. Prüfsumme der Quelldaten: a87fdb25617d5588f5c63d5774177861d27be3a848b9eb67a7f417d2b97cb127. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

MGSM

Overall

Mehr ist besser21 ModelleDeepSeek-V3 0324: Platz 9 von 21Datenstand: 4. September 2026

1.o4-mini93,42 %

2.Gemini 3 Flash93,31 %

3.GPT-592,84 %

4.GPT-5 mini92,58 %

5.DeepSeek-R192,25 %

6.DeepSeek-V392,15 %

7.GPT OSS 120B92,04 %

8.o391,75 %

9.DeepSeek-V3 032491,67 %

10.o3-mini91,35 %

11.GLM-4.590,84 %

12.Kimi K2 Thinking90,15 %

13.GLM-4.689,75 %

14.GPT-5 nano89,31 %

14.o189,31 %

16.GPT OSS 20B89,02 %

17.GLM-4.788,18 %

18.GPT-4.1 mini87,78 %

19.GPT-4.187,67 %

20.GPT-4o mini86,18 %

21.GPT-4.1 nano69,27 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mgsm:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 21
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 18.032. Kosten je Aufgabe in USD: 0.000395. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mgsm-2026-09-04-8454c4c2a5d6. Prüfsumme der Quelldaten: 8454c4c2a5d6a567e4c17ce67f5f6eb9f3589353348190378d4b83b2df182750. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

MedQA

Overall

Mehr ist besser27 ModelleDeepSeek-V3 0324: Platz 23 von 27Datenstand: 4. September 2026

1.o196,52 %

2.Gemini 3.1 Pro Preview96,37 %

3.GPT-596,32 %

4.GPT-5.496,09 %

5.GPT-5 mini96,06 %

5.o396,06 %

7.o4-mini96,02 %

8.Gemini 3 Flash95,81 %

9.o3-mini94,83 %

10.Kimi K2.594,37 %

11.GLM-594,27 %

12.GLM-4.793,74 %

13.GPT-5 nano93,26 %

14.Kimi K2 Thinking92,59 %

15.GLM-4.692,23 %

16.GPT OSS 120B91,36 %

17.GPT-4.191,18 %

18.DeepSeek-R190,8 %

19.GLM-4.589,98 %

20.GPT-4o88,16 %

21.GPT-4.1 mini84,63 %

22.GPT OSS 20B82,88 %

23.DeepSeek-V3 032482 %

24.DeepSeek-V380,9 %

25.GPT-4o mini72,44 %

26.GPT-4.1 nano68,23 %

27.Command R+2,65 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-medqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 27
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Latenz in Sekunden: 12.876. Kosten je Aufgabe in USD: 0.000614. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medqa-2026-09-04-de083a524dbf. Prüfsumme der Quelldaten: de083a524dbf0fa1c2da5cf0a06bd001693d2426690681ffac4cd93ccf3fbeba. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

MMLU-Pro

Overall

Mehr ist besser55 ModelleDeepSeek-V3 0324: Platz 45 von 55Datenstand: 4. September 2026

1.Claude Opus 591,59 %

2.Claude Fable 591,5 %

3.Gemini 3.1 Pro Preview90,99 %

4.Gemini 3.8 Flash90,22 %

5.Gemini 3.7 Flash90,12 %

6.Gemini 3.5 Flash89,52 %

7.Grok 4.689,4 %

8.Gemini 3.6 Flash89,28 %

9.Grok 4.589,22 %

10.GPT-5.6 Sol89,1 %

11.Gemini 3 Flash88,59 %

12.GPT-5.588,14 %

13.Kimi K387,97 %

14.Kimi K2.687,57 %

15.Claude Sonnet 587,55 %

16.GPT-5.487,48 %

17.DeepSeek-V4-Pro87,25 %

18.GLM-5.186,9 %

19.GLM-5.386,77 %

20.GLM-5.286,71 %

21.GPT-5.6 Terra86,66 %

22.GPT-586,54 %

23.Inkling86,3 %

24.Gemini 3.1 Flash-Lite86,24 %

25.GLM-5.3-Flash86,06 %

26.GPT-5.6 Luna86,04 %

27.GLM-586,03 %

28.Kimi K2.585,91 %

29.Grok 4.385,84 %

30.Gemini 3.5 Flash-Lite85,84 %

31.o385,6 %

32.Inkling Small85,57 %

33.MiMo-V2.5-Pro84,6 %

34.GPT-5.4 mini84,55 %

35.o183,49 %

36.DeepSeek-R183,18 %

37.MiMo-V2.582,93 %

38.GLM-4.782,74 %

39.GPT-5 mini82,23 %

40.GLM-4.682,2 %

41.GLM-4.581,22 %

42.Kimi K2 Thinking81,07 %

43.o4-mini80,56 %

44.GPT-4.180,5 %

45.DeepSeek-V3 032479,47 %

46.GPT OSS 120B79,17 %

47.o3-mini78,69 %

48.GPT-4.1 mini77,23 %

49.GPT-5.4 nano77,17 %

50.GPT-5 nano76,07 %

51.DeepSeek-V373,82 %

52.GPT OSS 20B71,64 %

53.GPT-4.1 nano63,48 %

54.GPT-4o mini62,74 %

55.Command R+44 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-mmlu-pro:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 55
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 25.051. Kosten je Aufgabe in USD: 0.00147. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-04-94eef672a38c. Prüfsumme der Quelldaten: 94eef672a38c8146fc1334fecbd173c083343c88de0f3047ae7d034776227e0f. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

Messungen ohne passende Vergleichswerte

Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.

AIME: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 52.202
Bewertung: 52.202
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-aime:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Latenz in Sekunden: 50.575. Kosten je Aufgabe in USD: 0.003192. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-aime-2026-09-04-ab904d5655de. Prüfsumme der Quelldaten: ab904d5655de635c6d89d8e7b15a28996af0ceb1900d3589b2676c3de5eb9ab7. Parserversion: vals-astro-v2. Importiert am: 2026-09-04
Einordnung: Der Benchmark ist im Quelldatensatz als archiviert markiert. Der Wert bleibt als historische Evidenz sichtbar und ist nicht mit einer aktiven Rangliste gleichzusetzen.

Quelle Vals AI

MMLU-Pro (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 81.2
Bewertung: 81.2
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Vergleichskohorte: research:deepseek-v3-0324:0
Quellentyp: vendor-reported
Auswertung: DeepSeek V3-0324 model card
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. benchmark figure; exact shots/temperature not fully labeled in figure

Quelle DeepSeek V3-0324 model card

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 54.74
Bewertung: 54.74
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 36.732. Kosten je Aufgabe in USD: 0.052049. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-04-46dad6684551. Prüfsumme der Quelldaten: 46dad668455190ee4239b7c743d00d81c6fd3127e0d87123c518ec107c13b44d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 61.616
Bewertung: 61.616
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 23.475. Kosten je Aufgabe in USD: 0.001552. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-04-fc438726f0d8. Prüfsumme der Quelldaten: fc438726f0d8523d320f02d75ae372a3fa38b28b36f70fe318d119f55153560d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

IOI: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1.667
Bewertung: 1.667
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-ioi:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-08-09. Latenz in Sekunden: 171.479. Kosten je Aufgabe in USD: 0.606484. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-ioi-2026-09-04-c6f99e8d7130. Prüfsumme der Quelldaten: c6f99e8d713092dbfdc9cbcfd6b376fbb7209970714528eab31f6b541d90f20c. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

LiveCodeBench v6: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 65.478
Bewertung: 65.478
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 26.93. Kosten je Aufgabe in USD: 0.001776. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-09-04-95ca83387127. Prüfsumme der Quelldaten: 95ca83387127df287e9a6d928c411c98c9b65b4cefeee46eb4008ca1521f5ed4. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

LegalBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 77.727
Bewertung: 77.727
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-bench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 7.712. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-04-ff81649923fb. Prüfsumme der Quelldaten: ff81649923fb684ff37d5f557fd320ba5ab433927831065ed781a94548f480ef. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

MATH 500: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 88.6
Bewertung: 88.6
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-math500:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 12.545. Kosten je Aufgabe in USD: 0.00074. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-09-04-a87fdb25617d. Prüfsumme der Quelldaten: a87fdb25617d5588f5c63d5774177861d27be3a848b9eb67a7f417d2b97cb127. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

MedQA: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 82
Bewertung: 82
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: health
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-medqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Latenz in Sekunden: 12.876. Kosten je Aufgabe in USD: 0.000614. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medqa-2026-09-04-de083a524dbf. Prüfsumme der Quelldaten: de083a524dbf0fa1c2da5cf0a06bd001693d2426690681ffac4cd93ccf3fbeba. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

MGSM: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 91.673
Bewertung: 91.673
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mgsm:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 18.032. Kosten je Aufgabe in USD: 0.000395. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mgsm-2026-09-04-8454c4c2a5d6. Prüfsumme der Quelldaten: 8454c4c2a5d6a567e4c17ce67f5f6eb9f3589353348190378d4b83b2df182750. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

MMLU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 79.474
Bewertung: 79.474
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-mmlu-pro:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 25.051. Kosten je Aufgabe in USD: 0.00147. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-09-04-94eef672a38c. Prüfsumme der Quelldaten: 94eef672a38c8146fc1334fecbd173c083343c88de0f3047ae7d034776227e0f. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

TaxEval v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 71.096
Bewertung: 71.096
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-tax-eval-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3-0324. Name des Quellmodells: DeepSeek-V3 0324. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 34.009. Kosten je Aufgabe in USD: 0.000652. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-tax_eval_v2-2026-09-04-f0e140ab16fc. Prüfsumme der Quelldaten: f0e140ab16fcb52041f4f87d2872273c03ca8014fdb69b3da9afd01b0f1e77ec. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

DeepSeek-V3 0324

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

DeepSeek-V3 0324

Veröffentlichte Benchmarks

Finanzen

CorpFin v2

TaxEval v2

GPQA Diamond

Programmieren

IOI

LiveCodeBench v6

LegalBench

Mathematik

MATH 500

MGSM

MedQA

MMLU-Pro

Messungen ohne passende Vergleichswerte

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand