SprachmodellAktiv

DeepSeek-V3

DeepSeek

Veröffentlicht: 26. Dezember 2024
Datenstand: 8. September 2026

Intelligenz: Nicht gerankt
Gesamtwertung
Preis: 0,2574 $ · 1,0287 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text
Ausgabe: Text

Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.

Einträge 1-12 von 121. Seite 1 von 11.

Veröffentlichte Benchmarks

Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.

Agentenaufgaben

2 Messreihen

AssistantBench

Accuracy

Was der Benchmark prüft: 33 automatisch prüfbare HAL-Aufgaben aus 214 realistischen, zeitaufwendigen Web-Rechercheaufgaben.

Einordnung: Der veröffentlichte HAL-Ausschnitt ist kleiner als der vollständige Datensatz. Die Kosten berücksichtigen keine Cache-Vorteile.

Mehr ist besser4 ModelleDeepSeek-V3: Platz 4 von 4Datenstand: 5. August 2026

1.o338,81 %

2.GPT-535,23 %

3.GPT-4.117,39 %

4.DeepSeek-V32,03 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-assistantbench-browser-use-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Ein gemeinsames Browser-Use-Gerüst löst 33 verifizierte HAL-Aufgaben. Kosten sind durch 33 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-v3-0324. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Kosten je Aufgabe in USD: 0.38363636363636366. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-9a5202122ebd. Prüfsumme der Quelldaten: 9a5202122ebda67b0616c9e02bb7338b3a7efbd02c0281f38afbc539486363dc. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Online Mind2Web

Accuracy

Was der Benchmark prüft: 300 verifizierte Aufgaben auf 136 dynamischen Live-Websites.

Einordnung: SeeAct und Browser-Use sind unterschiedliche Agentengerüste und bleiben deshalb getrennte Vergleichsgruppen.

Mehr ist besser5 ModelleDeepSeek-V3: Platz 2 von 5Datenstand: 5. August 2026

1.GPT-4.136,33 %

2.DeepSeek-V332,33 %

3.GPT-532 %

4.o329 %

5.DeepSeek-R125,33 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-online-mind2web-browser-use-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Kosten je Aufgabe in USD: 0.7158. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-4f73f352634c. Prüfsumme der Quelldaten: 4f73f352634c61b68118cfe631a33093434e04a6de3ca7be5e55ee7a038f4074. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Programmieren

4 Messreihen

SciCode

Accuracy

Was der Benchmark prüft: 65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten.

Einordnung: Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.

Mehr ist besser3 ModelleDeepSeek-V3: Platz 3 von 3Datenstand: 5. August 2026

1.GPT-4.16,15 %

2.o34,62 %

3.DeepSeek-V33,08 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scicode-scicode-zero-shot-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 3
Methodik und Einordnung: SciCode Zero Shot auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Zero Shot. Agent: SciCode Zero Shot. Kosten je Aufgabe in USD: 0.012153846153846154. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-8ba24e65935f. Prüfsumme der Quelldaten: 8ba24e65935f745e28c39d827922a1504e0dd3c542bbbf7f52073bf2ed1c60e2. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

ScienceAgentBench

Accuracy

Was der Benchmark prüft: 102 von Fachleuten geprüfte Aufgaben für datengetriebene wissenschaftliche Arbeit.

Einordnung: Agentengerüst, Werkzeuge und Codeausführung sind Teil des Ergebnisses. HAL nennt an verschiedenen Stellen 42 und 44 zugrunde liegende Publikationen.

Mehr ist besser5 ModelleDeepSeek-V3: Platz 5 von 5Datenstand: 6. August 2026

1.o333,33 %

2.GPT-530,39 %

3.GPT-4.124,51 %

4.DeepSeek-R123,53 %

5.DeepSeek-V315,69 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scienceagentbench-sab-self-debug-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SAB Self-Debug. Agent: SAB Self-Debug. Kosten je Aufgabe in USD: 0.02049019607843137. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-205da614cb5f. Prüfsumme der Quelldaten: 205da614cb5f85706a2bf9b0e8c27e8a75cf8c503ee510834f6ee27bdc15e656. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

SWE-bench Verified Mini

Accuracy

Was der Benchmark prüft: Zufälliger, vollständig von Menschen geprüfter Ausschnitt mit 50 GitHub-Issues aus 12 Python-Repositories.

Einordnung: Der kleine Ausschnitt ist günstiger, aber statistisch weniger stabil als die vollständigen 500 Aufgaben. SWE-Agent und HAL Generalist bleiben getrennt.

Hinweis (DeepSeek-V3): HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

Mehr ist besser4 ModelleDeepSeek-V3: Platz 4 von 4Datenstand: 5. August 2026

1.GPT-546 %

Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

1.o346 %

Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

3.GPT-4.144 %

Hinweis: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

4.DeepSeek-V324 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-swebench-verified-mini-swe-agent-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SWE-Agent. Agent: SWE-Agent. Kosten je Aufgabe in USD: 0.2354. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-69f60128a276. Prüfsumme der Quelldaten: 69f60128a276569b958f9a6412d4d7437b18e233dd872ac2800cfd8194e19711. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

USACO

Accuracy

Was der Benchmark prüft: 307 algorithmische Programmieraufgaben von Bronze bis Platinum mit vollständigen Tests.

Einordnung: Der Test misst Wettbewerbsprogrammierung, nicht Repository-Navigation, Wartbarkeit oder Produktkomfort.

Mehr ist besser5 ModelleDeepSeek-V3: Platz 4 von 5Datenstand: 6. August 2026

1.GPT-569,06 %

2.o346,25 %

3.GPT-4.144,95 %

4.DeepSeek-V339,09 %

5.DeepSeek-R138,11 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-usaco-usaco-episodic-semantic-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: USACO Episodic + Semantic. Agent: USACO Episodic + Semantic. Kosten je Aufgabe in USD: 0.039348534201954395. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d7390cf317e3. Prüfsumme der Quelldaten: d7390cf317e3a69cc8a9318b4278c5077dfef4f126088a7f33bd3bde371e78f9. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Wissen

2 Messreihen

MMLU-ProX

Average across 29 languages

Was der Benchmark prüft: 11.829 parallele Aufgaben je Sprache vergleichen Fachwissen und Reasoning in 29 Sprachen.

Einordnung: Die Ergebnisse gelten für 5-Shot Chain of Thought und sind nicht mit MMLU-Pro gleichzusetzen.

Mehr ist besser4 ModelleDeepSeek-V3: Platz 3 von 4Datenstand: 9. August 2026

1.DeepSeek-R175,5 %

2.GPT-4.172,7 %

3.DeepSeek-V370,5 %

4.o4-mini69,3 %

Skala: 0 % - 100 %

Quelle: MMLU-ProX

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: mmlu-prox:official:avg29
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-ca9ab5dfeb4b. Prüfsumme der Quelldaten: ca9ab5dfeb4ba849dd5a0c1c49be73ac5229e5feeafb72eee1c7feacf57d680b. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: MMLU-ProX

MMLU-ProX

German

Was der Benchmark prüft: 11.829 parallele Aufgaben je Sprache vergleichen Fachwissen und Reasoning in 29 Sprachen.

Einordnung: Die Ergebnisse gelten für 5-Shot Chain of Thought und sind nicht mit MMLU-Pro gleichzusetzen.

Mehr ist besser4 ModelleDeepSeek-V3: Platz 3 von 4Datenstand: 9. August 2026

1.DeepSeek-R176,7 %

2.GPT-4.176,4 %

3.DeepSeek-V375,1 %

4.o4-mini73,5 %

Skala: 0 % - 100 %

Quelle: MMLU-ProX

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: mmlu-prox:official:de
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-7c8587b85110. Prüfsumme der Quelldaten: 7c8587b85110113c94fb5098e12ebbbe37dd97d735b9599d3af4f4bbd1d492ef. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: MMLU-ProX

CorpFin v2

Overall

Mehr ist besser50 ModelleDeepSeek-V3: Platz 46 von 50Datenstand: 4. September 2026

1.Claude Opus 573,19 %

2.Claude Fable 571,83 %

3.Kimi K371,56 %

4.Inkling Small69,62 %

5.Inkling68,57 %

6.Grok 4.368,53 %

7.GPT-5.568,42 %

8.Kimi K2.568,26 %

9.Grok 4.567,41 %

10.Claude Sonnet 566,98 %

11.Kimi K2.666,74 %

12.Gemini 3 Flash66,43 %

13.Grok 4.666,16 %

14.GLM-5.266,12 %

15.GPT-5.6 Terra65,31 %

16.GPT-5.465,27 %

17.Gemini 3.5 Flash64,69 %

18.Gemini 3.1 Pro Preview64,49 %

19.GLM-5.164,45 %

20.GPT-5.6 Sol64,38 %

21.GPT-5.6 Luna64,22 %

22.Gemini 3.6 Flash63,33 %

23.GPT-4.163,05 %

24.GLM-562,9 %

25.MiMo-V2.5-Pro61,42 %

26.DeepSeek-V4-Pro61,38 %

27.GPT-5.4 nano61,19 %

28.GPT-561,07 %

29.GLM-4.560,96 %

30.GPT-5.4 mini60,92 %

31.Gemini 2.5 Pro60,8 %

32.Gemini 3.5 Flash-Lite60,68 %

33.Kimi K2 Thinking60,57 %

34.GPT-5 mini60,18 %

35.MiMo-V2.559,91 %

36.o359,71 %

37.Gemini 3.1 Flash-Lite59,36 %

38.o4-mini58,97 %

39.GPT OSS 120B58,24 %

40.GPT-4.1 mini57,93 %

41.GLM-4.656,84 %

42.DeepSeek-V3 032454,74 %

43.Trinity Large Thinking54,66 %

44.DeepSeek-R154,12 %

45.GPT OSS 20B53,15 %

46.DeepSeek-V352,49 %

47.GLM-4.746,39 %

48.GPT-4o mini45,46 %

49.o3-mini45,3 %

50.GPT-4.1 nano42,08 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-corp-fin-v2:2:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 50
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 28.322. Kosten je Aufgabe in USD: 0.052026. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-04-46dad6684551. Prüfsumme der Quelldaten: 46dad668455190ee4239b7c743d00d81c6fd3127e0d87123c518ec107c13b44d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

GPQA Diamond

Overall

Mehr ist besser54 ModelleDeepSeek-V3: Platz 51 von 54Datenstand: 4. September 2026

1.Gemini 3.1 Pro Preview95,45 %

2.GPT-5.6 Sol95,2 %

3.Grok 4.694,7 %

4.Gemini 3.8 Flash94,44 %

5.Gemini 3.7 Flash93,94 %

6.Claude Opus 593,43 %

6.Gemini 3.6 Flash93,43 %

8.Claude Fable 593,18 %

8.GPT-5.593,18 %

10.Grok 4.592,93 %

10.Kimi K392,93 %

12.Gemini 3.5 Flash92,68 %

13.GPT-5.491,67 %

13.GPT-5.6 Luna91,67 %

15.Grok 4.391,41 %

16.GPT-5.6 Terra90,91 %

17.DeepSeek-V4-Pro89,39 %

18.Kimi K2.689,14 %

19.Claude Sonnet 588,89 %

20.GLM-5.388,13 %

21.Gemini 3 Flash87,88 %

22.Inkling87,12 %

23.GLM-5.3-Flash86,36 %

24.GLM-5.285,61 %

24.GPT-585,61 %

26.GLM-5.184,52 %

27.Kimi K2.584,09 %

27.o384,09 %

29.Gemini 3.5 Flash-Lite83,84 %

30.Inkling Small83,59 %

31.GLM-583,33 %

32.GPT-5.4 mini83,08 %

33.MiMo-V2.5-Pro82,58 %

34.MiMo-V2.581,57 %

35.Gemini 3.1 Flash-Lite81,06 %

36.GPT-5 mini80,3 %

37.GLM-4.780,05 %

38.GPT OSS 120B78,54 %

38.Kimi K2 Thinking78,54 %

40.GPT-5.4 nano77,53 %

41.o3-mini75,51 %

42.GLM-4.674,5 %

42.o4-mini74,5 %

44.o173,23 %

45.GLM-4.572,22 %

46.GPT OSS 20B68,94 %

47.GPT-4.1 mini67,93 %

48.GPT-4.165,4 %

49.GPT-5 nano63,38 %

50.DeepSeek-V3 032461,62 %

51.DeepSeek-V354,55 %

52.GPT-4.1 nano50,76 %

53.GPT-4o mini44,19 %

54.Command R+31,06 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-gpqa:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 54
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 21.282. Kosten je Aufgabe in USD: 0.001468. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-04-fc438726f0d8. Prüfsumme der Quelldaten: fc438726f0d8523d320f02d75ae372a3fa38b28b36f70fe318d119f55153560d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

LegalBench

Overall

Mehr ist besser53 ModelleDeepSeek-V3: Platz 34 von 53Datenstand: 4. September 2026

1.Claude Fable 588,56 %

2.Gemini 3.1 Pro Preview87,4 %

3.Gemini 3.7 Flash87,26 %

4.Gemini 3.8 Flash86,99 %

5.Claude Opus 586,97 %

6.GPT-5.6 Sol86,97 %

7.Gemini 3 Flash86,86 %

8.Gemini 3.6 Flash86,71 %

9.GPT-5.586,52 %

10.Grok 4.686,31 %

11.GPT-5.486,04 %

12.GPT-586,02 %

13.Kimi K386,02 %

14.Grok 4.585,97 %

15.GPT-5.6 Terra85,11 %

16.GLM-5.384,84 %

17.Kimi K2.684,74 %

18.Grok 4.384,46 %

19.GLM-5.184,39 %

20.Gemini 3.5 Flash-Lite84,07 %

20.GLM-5.284,07 %

22.GLM-584,06 %

23.GPT-5.6 Luna84,03 %

24.GLM-5.3-Flash83,93 %

25.Claude Sonnet 583,92 %

26.Gemini 3.1 Flash-Lite83,76 %

27.o383,76 %

28.Gemini 3.5 Flash83,6 %

29.GLM-4.783,36 %

30.GPT-4.183,1 %

31.Inkling Small82,99 %

32.Inkling82,95 %

33.GPT-5 mini81,77 %

34.DeepSeek-V380,76 %

35.o180,39 %

36.DeepSeek-V4-Pro80,32 %

37.Kimi K2 Thinking80,2 %

38.GLM-4.679,61 %

39.o4-mini79,19 %

40.MiMo-V2.578,89 %

41.GPT-4.1 mini78,04 %

42.GPT-5.4 nano77,92 %

43.DeepSeek-V3 032477,73 %

44.MiMo-V2.5-Pro77,13 %

45.GPT OSS 120B75,94 %

46.GLM-4.575,63 %

47.o3-mini71,54 %

48.GPT OSS 20B70,85 %

49.Command R+68,29 %

50.DeepSeek-R167,32 %

51.GPT-4.1 nano61,06 %

52.GPT-5 nano50,13 %

53.Command R32,97 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-legal-bench:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 53
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 4.395. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-04-ff81649923fb. Prüfsumme der Quelldaten: ff81649923fb684ff37d5f557fd320ba5ab433927831065ed781a94548f480ef. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

MATH 500

Overall

Mehr ist besser17 ModelleDeepSeek-V3: Platz 15 von 17Datenstand: 4. September 2026

1.GPT-596 %

2.GPT OSS 120B94,8 %

2.GPT-5 mini94,8 %

4.o394,6 %

5.GPT OSS 20B94,2 %

5.o4-mini94,2 %

7.GLM-4.594 %

8.GPT-5 nano93,8 %

9.DeepSeek-R192,2 %

10.o3-mini91,8 %

11.o190,4 %

12.DeepSeek-V3 032488,6 %

13.GPT-4.1 mini88 %

14.GPT-4.187,2 %

15.DeepSeek-V380,4 %

16.GPT-4.1 nano80,2 %

17.GPT-4o mini72,6 %

Skala: 0 % - 100 %

Quelle: Vals AI

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-math500:1:overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 17
Methodik und Einordnung: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 7.94. Kosten je Aufgabe in USD: 0.000563. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-09-04-a87fdb25617d. Prüfsumme der Quelldaten: a87fdb25617d5588f5c63d5774177861d27be3a848b9eb67a7f417d2b97cb127. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle: Vals AI

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

AssistantBench: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 2.03
Bewertung: 2.03
Messgröße: accuracy
Einheit: %
Benchmark-Version: HAL 33-task public set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-assistantbench-browser-use-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: Ein gemeinsames Browser-Use-Gerüst löst 33 verifizierte HAL-Aufgaben. Kosten sind durch 33 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-v3-0324. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Kosten je Aufgabe in USD: 0.38363636363636366. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-9a5202122ebd. Prüfsumme der Quelldaten: 9a5202122ebda67b0616c9e02bb7338b3a7efbd02c0281f38afbc539486363dc. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Ein gemeinsames Browser-Use-Gerüst löst 33 verifizierte HAL-Aufgaben. Kosten sind durch 33 geteilt.

Quelle Princeton HAL

Online Mind2Web: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 32.33
Bewertung: 32.33
Messgröße: accuracy
Einheit: %
Benchmark-Version: 300-task live set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-online-mind2web-browser-use-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Kosten je Aufgabe in USD: 0.7158. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-4f73f352634c. Prüfsumme der Quelldaten: 4f73f352634c61b68118cfe631a33093434e04a6de3ca7be5e55ee7a038f4074. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.

Quelle Princeton HAL

SciCode: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 3.08
Bewertung: 3.08
Messgröße: accuracy
Einheit: %
Benchmark-Version: 65-problem main set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scicode-scicode-zero-shot-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: SciCode Zero Shot auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Zero Shot. Agent: SciCode Zero Shot. Kosten je Aufgabe in USD: 0.012153846153846154. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-8ba24e65935f. Prüfsumme der Quelldaten: 8ba24e65935f745e28c39d827922a1504e0dd3c542bbbf7f52073bf2ed1c60e2. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SciCode Zero Shot auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.

Quelle Princeton HAL

ScienceAgentBench: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 15.69
Bewertung: 15.69
Messgröße: accuracy
Einheit: %
Benchmark-Version: verified 102-task set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scienceagentbench-sab-self-debug-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SAB Self-Debug. Agent: SAB Self-Debug. Kosten je Aufgabe in USD: 0.02049019607843137. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-205da614cb5f. Prüfsumme der Quelldaten: 205da614cb5f85706a2bf9b0e8c27e8a75cf8c503ee510834f6ee27bdc15e656. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.

Quelle Princeton HAL

SWE-bench Verified Mini: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 24
Bewertung: 24
Messgröße: accuracy
Einheit: %
Benchmark-Version: 50-task random verified subset
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-swebench-verified-mini-swe-agent-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SWE-Agent. Agent: SWE-Agent. Kosten je Aufgabe in USD: 0.2354. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-69f60128a276. Prüfsumme der Quelldaten: 69f60128a276569b958f9a6412d4d7437b18e233dd872ac2800cfd8194e19711. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SWE-Agent auf demselben zufälligen 50-Aufgaben-Ausschnitt. Kosten sind durch 50 geteilt.
Einordnung: HAL veröffentlicht bei mehreren Läufen Min-Max-Spannen. Der zentrale Wert ist der gemeldete Mittelwert, nicht ein 95-Prozent-Konfidenzintervall.

Quelle Princeton HAL

USACO: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 39.09
Bewertung: 39.09
Messgröße: accuracy
Einheit: %
Benchmark-Version: HAL 307-problem set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-usaco-usaco-episodic-semantic-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: USACO Episodic + Semantic. Agent: USACO Episodic + Semantic. Kosten je Aufgabe in USD: 0.039348534201954395. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d7390cf317e3. Prüfsumme der Quelldaten: d7390cf317e3a69cc8a9318b4278c5077dfef4f126088a7f33bd3bde371e78f9. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.

Quelle Princeton HAL

MMLU-ProX: Average across 29 languages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 70.5
Bewertung: 70.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: EMNLP 2025 full release
Kategorie: knowledge
Aufgabe: avg29
Aufgabenbezeichnung: Average across 29 languages
Richtung: Mehr ist besser
Vergleichskohorte: mmlu-prox:official:avg29
Quellentyp: official-leaderboard
Auswertung: MMLU-ProX
Status: active
Abrufdatum: 2026-08-09
Methodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-ca9ab5dfeb4b. Prüfsumme der Quelldaten: ca9ab5dfeb4ba849dd5a0c1c49be73ac5229e5feeafb72eee1c7feacf57d680b. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.

Quelle MMLU-ProX

MMLU-ProX: German (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 75.1
Bewertung: 75.1
Messgröße: accuracy
Einheit: %
Benchmark-Version: EMNLP 2025 full release
Kategorie: knowledge
Aufgabe: de
Aufgabenbezeichnung: German
Richtung: Mehr ist besser
Vergleichskohorte: mmlu-prox:official:de
Quellentyp: official-leaderboard
Auswertung: MMLU-ProX
Status: active
Abrufdatum: 2026-08-09
Methodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-7c8587b85110. Prüfsumme der Quelldaten: 7c8587b85110113c94fb5098e12ebbbe37dd97d735b9599d3af4f4bbd1d492ef. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.

Quelle MMLU-ProX

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 52.486
Bewertung: 52.486
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Latenz in Sekunden: 28.322. Kosten je Aufgabe in USD: 0.052026. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-09-04-46dad6684551. Prüfsumme der Quelldaten: 46dad668455190ee4239b7c743d00d81c6fd3127e0d87123c518ec107c13b44d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 54.546
Bewertung: 54.546
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 21.282. Kosten je Aufgabe in USD: 0.001468. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-09-04-fc438726f0d8. Prüfsumme der Quelldaten: fc438726f0d8523d320f02d75ae372a3fa38b28b36f70fe318d119f55153560d. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

LegalBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 80.762
Bewertung: 80.762
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: legal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-legal-bench:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Latenz in Sekunden: 4.395. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-09-04-ff81649923fb. Prüfsumme der Quelldaten: ff81649923fb684ff37d5f557fd320ba5ab433927831065ed781a94548f480ef. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

MATH 500: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 80.4
Bewertung: 80.4
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: math
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-math500:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-09-04
Methodik: Kennung des Quellmodells: fireworks/deepseek-v3. Name des Quellmodells: DeepSeek-V3. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Latenz in Sekunden: 7.94. Kosten je Aufgabe in USD: 0.000563. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-09-04-a87fdb25617d. Prüfsumme der Quelldaten: a87fdb25617d5588f5c63d5774177861d27be3a848b9eb67a7f417d2b97cb127. Parserversion: vals-astro-v2. Importiert am: 2026-09-04

Quelle Vals AI

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

DeepSeek-V3

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

DeepSeek-V3

Veröffentlichte Benchmarks

Agentenaufgaben

AssistantBench

Online Mind2Web

Programmieren

SciCode

ScienceAgentBench

SWE-bench Verified Mini

USACO

Wissen

MMLU-ProX

MMLU-ProX

CorpFin v2

GPQA Diamond

LegalBench

MATH 500

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand