SprachmodellAktiv

DeepSeek-R1

DeepSeek

Veröffentlicht: Januar 2025
Datenstand: 8. September 2026

Intelligenz: Nicht gerankt
Gesamtwertung
Preis: 0,7 $ · 2,5 $
Eingabe · Ausgabe / 1 Mio. Token

Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.

Einträge 1-12 von 91. Seite 1 von 8.

Veröffentlichte Benchmarks

Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.

Programmieren

3 Messreihen

Aider Polyglot

Overall

Was der Benchmark prüft: 225 Code-Editing-Aufgaben aus Exercism in C++, Go, Java, JavaScript, Python und Rust.

Einordnung: Aider, Edit-Format, Reasoning-Budget und zwei Versuche sind Teil des Resultats.

Mehr ist besser4 ModelleDeepSeek-R1: Platz 4 von 4Datenstand: 2. September 2026

1.o3-pro84,9 %

2.Gemini 2.5 Pro83,1 %

3.o381,3 %

4.DeepSeek-R171,4 %

Skala: 0 % - 100 %

Quelle: Aider

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: aider-polyglot-pass2-diff
Messgröße: percent correct after two attempts
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-0528. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-06. Versuche: pass 2. Latenz in Sekunden: 716.6. Kosten je Aufgabe in USD: 0.021340444444444443. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-83be0654f25d. Prüfsumme der Quelldaten: 83be0654f25dcee536c478783a0547fbe586876fabb5c3f977893c0de30a9531. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Aider

ScienceAgentBench

Accuracy

Was der Benchmark prüft: 102 von Fachleuten geprüfte Aufgaben für datengetriebene wissenschaftliche Arbeit.

Einordnung: Agentengerüst, Werkzeuge und Codeausführung sind Teil des Ergebnisses. HAL nennt an verschiedenen Stellen 42 und 44 zugrunde liegende Publikationen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 4 von 5Datenstand: 6. August 2026

1.o333,33 %

2.GPT-530,39 %

3.GPT-4.124,51 %

4.DeepSeek-R123,53 %

5.DeepSeek-V315,69 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-scienceagentbench-sab-self-debug-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SAB Self-Debug. Agent: SAB Self-Debug. Kosten je Aufgabe in USD: 0.1788235294117647. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-6fc49efd47b7. Prüfsumme der Quelldaten: 6fc49efd47b70abe914ca04758101a25125a9e8a20c5a6c90019906650d6beee. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

USACO

Accuracy

Was der Benchmark prüft: 307 algorithmische Programmieraufgaben von Bronze bis Platinum mit vollständigen Tests.

Einordnung: Der Test misst Wettbewerbsprogrammierung, nicht Repository-Navigation, Wartbarkeit oder Produktkomfort.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 5 von 5Datenstand: 6. August 2026

1.GPT-569,06 %

2.o346,25 %

3.GPT-4.144,95 %

4.DeepSeek-V339,09 %

5.DeepSeek-R138,11 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-usaco-usaco-episodic-semantic-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: USACO Episodic + Semantic. Agent: USACO Episodic + Semantic. Kosten je Aufgabe in USD: 0.2607166123778502. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-b17824331ef0. Prüfsumme der Quelldaten: b17824331ef027e156721f99110a57b278ee78be01b8959a892bacfb3502ff67. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Online Mind2Web

Accuracy

Was der Benchmark prüft: 300 verifizierte Aufgaben auf 136 dynamischen Live-Websites.

Einordnung: SeeAct und Browser-Use sind unterschiedliche Agentengerüste und bleiben deshalb getrennte Vergleichsgruppen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 5 von 5Datenstand: 5. August 2026

1.GPT-4.136,33 %

2.DeepSeek-V332,33 %

3.GPT-532 %

4.o329 %

5.DeepSeek-R125,33 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-online-mind2web-browser-use-overall
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Kosten je Aufgabe in USD: 0.9364333333333332. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-664f99d510f5. Prüfsumme der Quelldaten: 664f99d510f5321c20560c70c760680b5d40263821b082cc494f3bdfae6cc0cb. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Reasoning

6 Messreihen

LongBench v2

Easy

Was der Benchmark prüft: 503 Aufgaben mit Kontexten von 8.000 bis 2 Millionen Wörtern decken Dokumente, Dialoge, Code-Repositories und strukturierte Daten ab.

Einordnung: Die Werte mit Chain of Thought sind nicht mit direkten Antworten ohne Reasoning gleichzusetzen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 4 von 5Datenstand: 2. September 2026

1.Gemini 2.5 Pro75 %

2.Gemini 2.5 Flash72,3 %

3.o166,8 %

4.DeepSeek-R166,1 %

5.GPT-4o54,2 %

Skala: 0 % - 100 %

Quelle: LongBench

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: longbench-v2-cot-easy
Messgröße: accuracy with chain of thought
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-0a5a05f9e399. Prüfsumme der Quelldaten: 0a5a05f9e3998728b5a5b827562b52b9ca09a1367d7119c88a6029d109ea6ba1. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: LongBench

LongBench v2

Hard

Was der Benchmark prüft: 503 Aufgaben mit Kontexten von 8.000 bis 2 Millionen Wörtern decken Dokumente, Dialoge, Code-Repositories und strukturierte Daten ab.

Einordnung: Die Werte mit Chain of Thought sind nicht mit direkten Antworten ohne Reasoning gleichzusetzen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 3 von 5Datenstand: 2. September 2026

1.Gemini 2.5 Pro56,1 %

2.Gemini 2.5 Flash55,8 %

3.DeepSeek-R153,4 %

4.o152,1 %

5.GPT-4o49,7 %

Skala: 0 % - 100 %

Quelle: LongBench

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: longbench-v2-cot-hard
Messgröße: accuracy with chain of thought
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-4bbc7fc01da6. Prüfsumme der Quelldaten: 4bbc7fc01da6ef1b5e372f2f17fe0849fdde69eabd7caecb2a887466f25e1590. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: LongBench

LongBench v2

Long, 128,000 to 2 million words

Was der Benchmark prüft: 503 Aufgaben mit Kontexten von 8.000 bis 2 Millionen Wörtern decken Dokumente, Dialoge, Code-Repositories und strukturierte Daten ab.

Einordnung: Die Werte mit Chain of Thought sind nicht mit direkten Antworten ohne Reasoning gleichzusetzen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 2 von 5Datenstand: 2. September 2026

1.Gemini 2.5 Pro71 %

2.DeepSeek-R159,3 %

3.o158,1 %

4.Gemini 2.5 Flash55,7 %

5.GPT-4o43,5 %

Skala: 0 % - 100 %

Quelle: LongBench

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: longbench-v2-cot-long
Messgröße: accuracy with chain of thought
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-82dc59c97071. Prüfsumme der Quelldaten: 82dc59c970714785cd17275ff52c361f3d2b8a5993aa36a66c75fdeeb5ae73f7. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: LongBench

LongBench v2

Medium, 32,000 to 128,000 words

Was der Benchmark prüft: 503 Aufgaben mit Kontexten von 8.000 bis 2 Millionen Wörtern decken Dokumente, Dialoge, Code-Repositories und strukturierte Daten ab.

Einordnung: Die Werte mit Chain of Thought sind nicht mit direkten Antworten ohne Reasoning gleichzusetzen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 3 von 5Datenstand: 2. September 2026

1.Gemini 2.5 Flash60 %

2.Gemini 2.5 Pro56,3 %

3.DeepSeek-R154,4 %

4.o153,5 %

5.GPT-4o48,6 %

Skala: 0 % - 100 %

Quelle: LongBench

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: longbench-v2-cot-medium
Messgröße: accuracy with chain of thought
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-fb7d385c6728. Prüfsumme der Quelldaten: fb7d385c672839bb9d1ed3dc00b8c30983a1ce5c55a3eb9d36472f825cd289e0. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: LongBench

LongBench v2

Overall

Was der Benchmark prüft: 503 Aufgaben mit Kontexten von 8.000 bis 2 Millionen Wörtern decken Dokumente, Dialoge, Code-Repositories und strukturierte Daten ab.

Einordnung: Die Werte mit Chain of Thought sind nicht mit direkten Antworten ohne Reasoning gleichzusetzen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 3 von 5Datenstand: 2. September 2026

1.Gemini 2.5 Pro63,3 %

2.Gemini 2.5 Flash62,1 %

3.DeepSeek-R158,3 %

4.o157,7 %

5.GPT-4o51,4 %

Skala: 0 % - 100 %

Quelle: LongBench

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: longbench-v2-cot-overall
Messgröße: accuracy with chain of thought
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-6ffc97a26a0d. Prüfsumme der Quelldaten: 6ffc97a26a0d168714d6ad2c17b12e71f02f861a991e218b4e26bc83961982ac. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: LongBench

LongBench v2

Short, up to 32,000 words

Was der Benchmark prüft: 503 Aufgaben mit Kontexten von 8.000 bis 2 Millionen Wörtern decken Dokumente, Dialoge, Code-Repositories und strukturierte Daten ab.

Einordnung: Die Werte mit Chain of Thought sind nicht mit direkten Antworten ohne Reasoning gleichzusetzen.

Mehr ist besser5 ModelleDeepSeek-R1: Platz 4 von 5Datenstand: 2. September 2026

1.Gemini 2.5 Flash68,3 %

2.Gemini 2.5 Pro67,2 %

3.o162,6 %

4.DeepSeek-R162,2 %

5.GPT-4o59,6 %

Skala: 0 % - 100 %

Quelle: LongBench

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: longbench-v2-cot-short
Messgröße: accuracy with chain of thought
Skala: 0-100
Teilnehmer: 5
Methodik und Einordnung: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-95504bd97ff3. Prüfsumme der Quelldaten: 95504bd97ff39c57c15186af68e6f7d6c9ec26f875b04b56acd8b82b88cb1b28. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: LongBench

Wissen

2 Messreihen

MMLU-ProX

Average across 29 languages

Was der Benchmark prüft: 11.829 parallele Aufgaben je Sprache vergleichen Fachwissen und Reasoning in 29 Sprachen.

Einordnung: Die Ergebnisse gelten für 5-Shot Chain of Thought und sind nicht mit MMLU-Pro gleichzusetzen.

Mehr ist besser4 ModelleDeepSeek-R1: Platz 1 von 4Datenstand: 9. August 2026

1.DeepSeek-R175,5 %

2.GPT-4.172,7 %

3.DeepSeek-V370,5 %

4.o4-mini69,3 %

Skala: 0 % - 100 %

Quelle: MMLU-ProX

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: mmlu-prox:official:avg29
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-8f9f86134c2e. Prüfsumme der Quelldaten: 8f9f86134c2ebc8925a6d4ff3dbb89da6047f972657ea0db5d5844f2ec5914a1. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: MMLU-ProX

MMLU-ProX

German

Was der Benchmark prüft: 11.829 parallele Aufgaben je Sprache vergleichen Fachwissen und Reasoning in 29 Sprachen.

Einordnung: Die Ergebnisse gelten für 5-Shot Chain of Thought und sind nicht mit MMLU-Pro gleichzusetzen.

Mehr ist besser4 ModelleDeepSeek-R1: Platz 1 von 4Datenstand: 9. August 2026

1.DeepSeek-R176,7 %

2.GPT-4.176,4 %

3.DeepSeek-V375,1 %

4.o4-mini73,5 %

Skala: 0 % - 100 %

Quelle: MMLU-ProX

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: mmlu-prox:official:de
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-e0ead6d94ec9. Prüfsumme der Quelldaten: e0ead6d94ec90867a9587837a0fe3c52850e102d710bae5ca6e97bf6b86470e1. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: MMLU-ProX

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

Aider Polyglot: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 71.4
Bewertung: 71.4
Messgröße: percent correct after two attempts
Einheit: %
Benchmark-Version: 225-case polyglot suite
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: aider-polyglot-pass2-diff
Quellentyp: official-leaderboard
Auswertung: Aider
Status: active
Abrufdatum: 2026-09-02
Methodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-0528. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-06. Versuche: pass 2. Latenz in Sekunden: 716.6. Kosten je Aufgabe in USD: 0.021340444444444443. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-83be0654f25d. Prüfsumme der Quelldaten: 83be0654f25dcee536c478783a0547fbe586876fabb5c3f977893c0de30a9531. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.

Quelle Aider

Online Mind2Web: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 25.33
Bewertung: 25.33
Messgröße: accuracy
Einheit: %
Benchmark-Version: 300-task live set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-online-mind2web-browser-use-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Browser-Use. Agent: Browser-Use. Kosten je Aufgabe in USD: 0.9364333333333332. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-664f99d510f5. Prüfsumme der Quelldaten: 664f99d510f5321c20560c70c760680b5d40263821b082cc494f3bdfae6cc0cb. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Das Browser-Use-Gerüst bearbeitet dieselben 300 Aufgaben auf 136 Live-Websites. Kosten sind durch 300 geteilt.

Quelle Princeton HAL

ScienceAgentBench: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 23.53
Bewertung: 23.53
Messgröße: accuracy
Einheit: %
Benchmark-Version: verified 102-task set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-scienceagentbench-sab-self-debug-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SAB Self-Debug. Agent: SAB Self-Debug. Kosten je Aufgabe in USD: 0.1788235294117647. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-6fc49efd47b7. Prüfsumme der Quelldaten: 6fc49efd47b70abe914ca04758101a25125a9e8a20c5a6c90019906650d6beee. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: SAB Self-Debug auf 102 wissenschaftlichen Aufgaben. Kosten sind durch 102 geteilt und berücksichtigen laut HAL keinen Cache.

Quelle Princeton HAL

USACO: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.11
Bewertung: 38.11
Messgröße: accuracy
Einheit: %
Benchmark-Version: HAL 307-problem set
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-usaco-usaco-episodic-semantic-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: Princeton HAL. Datensatztyp: public. Harness: USACO Episodic + Semantic. Agent: USACO Episodic + Semantic. Kosten je Aufgabe in USD: 0.2607166123778502. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-b17824331ef0. Prüfsumme der Quelldaten: b17824331ef027e156721f99110a57b278ee78be01b8959a892bacfb3502ff67. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: USACO Episodic + Semantic auf demselben 307-Aufgaben-Split. Kosten sind durch 307 geteilt und berücksichtigen keinen Cache.

Quelle Princeton HAL

LongBench v2: Easy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 66.1
Bewertung: 66.1
Messgröße: accuracy with chain of thought
Einheit: %
Benchmark-Version: v2
Kategorie: reasoning
Aufgabe: easy
Aufgabenbezeichnung: Easy
Richtung: Mehr ist besser
Vergleichskohorte: longbench-v2-cot-easy
Quellentyp: official-leaderboard
Auswertung: LongBench
Status: active
Abrufdatum: 2026-09-02
Methodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-0a5a05f9e399. Prüfsumme der Quelldaten: 0a5a05f9e3998728b5a5b827562b52b9ca09a1367d7119c88a6029d109ea6ba1. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.

Quelle LongBench

LongBench v2: Hard (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 53.4
Bewertung: 53.4
Messgröße: accuracy with chain of thought
Einheit: %
Benchmark-Version: v2
Kategorie: reasoning
Aufgabe: hard
Aufgabenbezeichnung: Hard
Richtung: Mehr ist besser
Vergleichskohorte: longbench-v2-cot-hard
Quellentyp: official-leaderboard
Auswertung: LongBench
Status: active
Abrufdatum: 2026-09-02
Methodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-4bbc7fc01da6. Prüfsumme der Quelldaten: 4bbc7fc01da6ef1b5e372f2f17fe0849fdde69eabd7caecb2a887466f25e1590. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.

Quelle LongBench

LongBench v2: Long, 128,000 to 2 million words (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 59.3
Bewertung: 59.3
Messgröße: accuracy with chain of thought
Einheit: %
Benchmark-Version: v2
Kategorie: reasoning
Aufgabe: long
Aufgabenbezeichnung: Long, 128,000 to 2 million words
Richtung: Mehr ist besser
Vergleichskohorte: longbench-v2-cot-long
Quellentyp: official-leaderboard
Auswertung: LongBench
Status: active
Abrufdatum: 2026-09-02
Methodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-82dc59c97071. Prüfsumme der Quelldaten: 82dc59c970714785cd17275ff52c361f3d2b8a5993aa36a66c75fdeeb5ae73f7. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.

Quelle LongBench

LongBench v2: Medium, 32,000 to 128,000 words (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 54.4
Bewertung: 54.4
Messgröße: accuracy with chain of thought
Einheit: %
Benchmark-Version: v2
Kategorie: reasoning
Aufgabe: medium
Aufgabenbezeichnung: Medium, 32,000 to 128,000 words
Richtung: Mehr ist besser
Vergleichskohorte: longbench-v2-cot-medium
Quellentyp: official-leaderboard
Auswertung: LongBench
Status: active
Abrufdatum: 2026-09-02
Methodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-fb7d385c6728. Prüfsumme der Quelldaten: fb7d385c672839bb9d1ed3dc00b8c30983a1ce5c55a3eb9d36472f825cd289e0. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.

Quelle LongBench

LongBench v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 58.3
Bewertung: 58.3
Messgröße: accuracy with chain of thought
Einheit: %
Benchmark-Version: v2
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: longbench-v2-cot-overall
Quellentyp: official-leaderboard
Auswertung: LongBench
Status: active
Abrufdatum: 2026-09-02
Methodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-6ffc97a26a0d. Prüfsumme der Quelldaten: 6ffc97a26a0d168714d6ad2c17b12e71f02f861a991e218b4e26bc83961982ac. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.

Quelle LongBench

LongBench v2: Short, up to 32,000 words (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 62.2
Bewertung: 62.2
Messgröße: accuracy with chain of thought
Einheit: %
Benchmark-Version: v2
Kategorie: reasoning
Aufgabe: short
Aufgabenbezeichnung: Short, up to 32,000 words
Richtung: Mehr ist besser
Vergleichskohorte: longbench-v2-cot-short
Quellentyp: official-leaderboard
Auswertung: LongBench
Status: active
Abrufdatum: 2026-09-02
Methodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Modellstand: deepseek-r1-2025-01-20. Evaluator: LongBench. Datensatztyp: public. Stand der Rangliste: 2025-01-20. Versuche: pass@1. Reasoning-Stufe: chain of thought. Quellenkennung: longbench. Kennung der Evidenzaufnahme: curated-longbench-2026-09-02-95504bd97ff3. Prüfsumme der Quelldaten: 95504bd97ff39c57c15186af68e6f7d6c9ec26f875b04b56acd8b82b88cb1b28. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 503 Multiple-Choice-Aufgaben mit vorgegebenem Reasoning-Prompt.

Quelle LongBench

MMLU-ProX: Average across 29 languages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 75.5
Bewertung: 75.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: EMNLP 2025 full release
Kategorie: knowledge
Aufgabe: avg29
Aufgabenbezeichnung: Average across 29 languages
Richtung: Mehr ist besser
Vergleichskohorte: mmlu-prox:official:avg29
Quellentyp: official-leaderboard
Auswertung: MMLU-ProX
Status: active
Abrufdatum: 2026-08-09
Methodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-8f9f86134c2e. Prüfsumme der Quelldaten: 8f9f86134c2ebc8925a6d4ff3dbb89da6047f972657ea0db5d5844f2ec5914a1. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.

Quelle MMLU-ProX

MMLU-ProX: German (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 76.7
Bewertung: 76.7
Messgröße: accuracy
Einheit: %
Benchmark-Version: EMNLP 2025 full release
Kategorie: knowledge
Aufgabe: de
Aufgabenbezeichnung: German
Richtung: Mehr ist besser
Vergleichskohorte: mmlu-prox:official:de
Quellentyp: official-leaderboard
Auswertung: MMLU-ProX
Status: active
Abrufdatum: 2026-08-09
Methodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.. Kennung des Quellmodells: curated/deepseek-r1. Name des Quellmodells: DeepSeek-R1. Anbieter laut Quelle: DeepSeek. Evaluator: MMLU-ProX. Datensatztyp: public. Quellenkennung: mmlu-prox. Kennung der Evidenzaufnahme: curated-mmlu-prox-2026-08-09-e0ead6d94ec9. Prüfsumme der Quelldaten: e0ead6d94ec90867a9587837a0fe3c52850e102d710bae5ca6e97bf6b86470e1. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Vollständiger 29-Sprachen-Datensatz mit 5-Shot Chain of Thought. Die Quelle nennt August 2025, aber keinen belastbaren Veröffentlichungstag.

Quelle MMLU-ProX

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

DeepSeek-R1

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

DeepSeek-R1

Veröffentlichte Benchmarks

Programmieren

Aider Polyglot

ScienceAgentBench

USACO

Online Mind2Web

Reasoning

LongBench v2

LongBench v2

LongBench v2

LongBench v2

LongBench v2

LongBench v2

Wissen

MMLU-ProX

MMLU-ProX

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand