Claude Sonnet 4.5
Noch nicht getestet
SprachmodellAktiv
Claude Sonnet 4.5
Anthropic
- Veröffentlicht
- September 2025
- Datenstand
- 8. September 2026
- Intelligenz
- Gesamtwertung
- Geschwindigkeit
- 43,8 Token/sAusgabe-Tempo
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild
- Ausgabe
- Text
Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.
Einträge 1-12 von 42. Seite 1 von 4.
Veröffentlichte Benchmarks
Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.
BFCL v4
Overall
Was der Benchmark prüft: Berkeleys Function-Calling-Test verbindet einzelne und mehrstufige Tool-Aufrufe mit Websuche, Gedächtnis und Halluzinationsmessung.
Einordnung: Der Gesamtscore ist ein ungewichteter Mix der Teilbereiche und hängt von nativem Function Calling oder Prompt-Workarounds ab.
Mehr ist besser2 ModelleClaude Sonnet 4.5: Platz 2 von 2Datenstand: 2. September 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- bfcl-v4-f7cf735-overall
- Messgröße
- unweighted overall accuracy
- Skala
- 0-100
- Teilnehmer
- 2
- Methodik und Einordnung
- Ungewichteter Gesamtscore aus agentischen, mehrstufigen und einzelnen Function-Calling-Tests.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Modellstand: claude-sonnet-4-5-20250929-fc. Evaluator: Berkeley BFCL. Datensatztyp: public. Stand der Rangliste: 2026-04-12. Quellenkennung: berkeley-bfcl. Kennung der Evidenzaufnahme: curated-berkeley-bfcl-2026-09-02-171020422eb3. Prüfsumme der Quelldaten: 171020422eb31aa497dbf9dd95b72c153c0db68a3eceec63a4c059bade96f4c2. Parserversion: curated-v1. Importiert am: 2026-09-04
Programmieren
2 MessreihenCORE-Bench Hard
Automatic validation
Was der Benchmark prüft: 45 öffentliche Aufgaben zur Reproduktion von Forschungsergebnissen mit Code, Daten und Abhängigkeiten.
Einordnung: Automatische und manuell geprüfte Werte sind verschiedene Metriken. Das Agentengerüst beeinflusst den Score stark.
Mehr ist besser2 ModelleClaude Sonnet 4.5: Platz 2 von 2Datenstand: 6. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- hal-corebench-hard-claude-code-automatic
- Messgröße
- automatic accuracy
- Skala
- 0-100
- Teilnehmer
- 2
- Methodik und Einordnung
- Claude Code auf 45 öffentlichen Paper-Reproduktionen. Kosten sind durch 45 geteilt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Claude Code. Agent: Claude Code. Kosten je Aufgabe in USD: 1.5184444444444445. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d289e35e619a. Prüfsumme der Quelldaten: d289e35e619aac7b28355c86830d55c245fc6b287e2327069860ac0522c95e8b. Parserversion: curated-v1. Importiert am: 2026-09-04
SciCode
Accuracy
Was der Benchmark prüft: 65 wissenschaftliche Programmierprobleme mit 338 Teilproblemen aus 16 Forschungsgebieten.
Einordnung: Zero Shot, Tool Calling und HAL Generalist sind nicht direkt miteinander vergleichbar.
Mehr ist besser4 ModelleClaude Sonnet 4.5: Platz 3 von 4Datenstand: 5. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- hal-scicode-scicode-tool-calling-overall
- Messgröße
- accuracy
- Skala
- 0-100
- Teilnehmer
- 4
- Methodik und Einordnung
- SciCode Tool Calling auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Tool Calling. Agent: SciCode Tool Calling. Kosten je Aufgabe in USD: 1.6044615384615386. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-c67a4c4ed842. Prüfsumme der Quelldaten: c67a4c4ed8428dfb71febdf30c9d21b46b0644189ef4d4de5ce334f3f2edc12c. Parserversion: curated-v1. Importiert am: 2026-09-04
Cybersicherheit
2 MessreihenMT-AgentRisk
Attack success rate
Was der Benchmark prüft: 365 schädliche Sequenzen prüfen Sicherheitsrisiken bei mehrstufiger Werkzeugnutzung.
Einordnung: Eine niedrigere Angriffs-Erfolgsrate ist besser. Kompetenz und Sicherheit sind getrennte Größen.
Hinweis (Claude Sonnet 4.5): Tabelle 4 nennt für die Ablehnungsquote 15,43 %. Tabelle 9 desselben Papers nennt 15,34 %. Hier steht der Wert aus der direkten Einzel-gegen-Mehrfachdialog-Tabelle.
Weniger ist besser3 ModelleClaude Sonnet 4.5: Platz 1 von 3Datenstand: 9. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- mt-agent-risk:multi-turn:asr
- Messgröße
- attack success rate
- Skala
- 0-100
- Teilnehmer
- 3
- Methodik und Einordnung
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MT-AgentRisk. Datensatztyp: public. Stand der Rangliste: 2026-02-13. Harness: OpenHands. Quellenkennung: mt-agent-risk. Kennung der Evidenzaufnahme: curated-mt-agent-risk-2026-08-09-f550ff9bf634. Prüfsumme der Quelldaten: f550ff9bf6346dc509fb04e302b64acda7943dd7e5863a5ca3206286480a11a5. Parserversion: curated-v1. Importiert am: 2026-09-04
MT-AgentRisk
Refusal rate
Was der Benchmark prüft: 365 schädliche Sequenzen prüfen Sicherheitsrisiken bei mehrstufiger Werkzeugnutzung.
Einordnung: Eine niedrigere Angriffs-Erfolgsrate ist besser. Kompetenz und Sicherheit sind getrennte Größen.
Hinweis (Claude Sonnet 4.5): Tabelle 4 nennt für die Ablehnungsquote 15,43 %. Tabelle 9 desselben Papers nennt 15,34 %. Hier steht der Wert aus der direkten Einzel-gegen-Mehrfachdialog-Tabelle.
Mehr ist besser3 ModelleClaude Sonnet 4.5: Platz 1 von 3Datenstand: 9. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- mt-agent-risk:multi-turn:refusal
- Messgröße
- refusal rate
- Skala
- 0-100
- Teilnehmer
- 3
- Methodik und Einordnung
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MT-AgentRisk. Datensatztyp: public. Stand der Rangliste: 2026-02-13. Harness: OpenHands. Quellenkennung: mt-agent-risk. Kennung der Evidenzaufnahme: curated-mt-agent-risk-2026-08-09-9e7ba7aa3157. Prüfsumme der Quelldaten: 9e7ba7aa3157bc30470265facc4bb25edf1a9b2f6cf7b733102470330ed4b034. Parserversion: curated-v1. Importiert am: 2026-09-04
MultiChallenge
Overall
Was der Benchmark prüft: Mehrstufige Gespräche prüfen Erinnern, Anweisungsbindung, versionierte Überarbeitung und innere Konsistenz.
Einordnung: Die Aufgaben wurden anhand gemeinsamer Fehler sechs älterer Spitzenmodelle ausgewählt und können diese Modelle benachteiligen.
Mehr ist besser8 ModelleClaude Sonnet 4.5: Platz 8 von 8Datenstand: 26. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- scale-multichallenge-overall
- Messgröße
- rubric pass rate
- Skala
- 0-100
- Teilnehmer
- 8
- Methodik und Einordnung
- Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: thinking. Angezeigter Wert: 55,32 % ± 1,47. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-93c4c6df84ba. Prüfsumme der Quelldaten: 93c4c6df84baa57ecc302765b454f1d1d402750d6ee8968f2085772a44e192b1. Parserversion: curated-v1. Importiert am: 2026-09-04
PRBench Finance
Overall
Was der Benchmark prüft: 600 realistische Finanzfragen mit gewichteten Kriterien, davon 300 im schwierigen Teildatensatz.
Einordnung: Ein o4-mini-Juror bewertet die Antworten. Fachliche Richtigkeit und praktische Verlässlichkeit bleiben deshalb getrennte Fragen.
Mehr ist besser16 ModelleClaude Sonnet 4.5: Platz 10 von 16Datenstand: 26. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- scale-prbench-finance-full
- Messgröße
- weighted rubric score
- Skala
- 0-100
- Teilnehmer
- 16
- Methodik und Einordnung
- 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 43,79 % ± 0,4. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-db93e34ac02d. Prüfsumme der Quelldaten: db93e34ac02d5628c3ec931b3f6d17257e1b7695c21cf8aee846e136474ca9b9. Parserversion: curated-v1. Importiert am: 2026-09-04
PRBench Legal
Overall
Was der Benchmark prüft: 500 realistische Rechtsfragen mit gewichteten Kriterien aus unterschiedlichen Ländern und Rechtsgebieten.
Einordnung: Der Benchmark misst professionelle Antwortqualität, ersetzt aber weder Rechtsprüfung noch menschliche Verantwortung.
Mehr ist besser16 ModelleClaude Sonnet 4.5: Platz 13 von 16Datenstand: 26. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- scale-prbench-legal-full
- Messgröße
- weighted rubric score
- Skala
- 0-100
- Teilnehmer
- 16
- Methodik und Einordnung
- 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 40,84 % ± 0,4. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-cfd9f8c7d859. Prüfsumme der Quelldaten: cfd9f8c7d85930ec8d7acf7515a8200c29b116b3913b0affc48e4e68b3103115. Parserversion: curated-v1. Importiert am: 2026-09-04
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
CORE-Bench Hard: Automatic validation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 44.44
- Bewertung
- 44.44
- Messgröße
- automatic accuracy
- Einheit
- %
- Benchmark-Version
- 45-paper public hard set
- Kategorie
- coding
- Aufgabe
- automatic
- Aufgabenbezeichnung
- Automatic validation
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-corebench-hard-core-agent-automatic
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- CORE-Agent auf 45 öffentlichen Paper-Reproduktionen. Kosten sind durch 45 geteilt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Princeton HAL. Datensatztyp: public. Harness: CORE-Agent. Agent: CORE-Agent. Kosten je Aufgabe in USD: 2.052. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-338fc6c016cb. Prüfsumme der Quelldaten: 338fc6c016cbec4209b3ca33757424adc5b86974ca4ce825ab4c08f7af37f8c5. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- CORE-Agent auf 45 öffentlichen Paper-Reproduktionen. Kosten sind durch 45 geteilt.
MCP-Universe: Evaluator score (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 54.38
- Bewertung
- 54.38
- Messgröße
- average evaluator score
- Einheit
- %
- Benchmark-Version
- official site capture 2026-08-09
- Kategorie
- agentic
- Aufgabe
- evaluator
- Aufgabenbezeichnung
- Evaluator score
- Richtung
- Mehr ist besser
- Vergleichskohorte
- mcp-universe:native-function-call:evaluator
- Quellentyp
- official-leaderboard
- Auswertung
- MCP-Universe
- Status
- active
- Abrufdatum
- 2026-08-09
- Methodik
- Ausführungsbasierte Evaluatoren. ReAct und native Funktionsaufrufe bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MCP-Universe. Datensatztyp: public. Quellenkennung: mcp-universe. Kennung der Evidenzaufnahme: curated-mcp-universe-2026-08-09-f3d0dc2c2491. Prüfsumme der Quelldaten: f3d0dc2c24919b5cca24bbefffc86f3433b0737e9314be6a595a7d24880d3aff. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- Ausführungsbasierte Evaluatoren. ReAct und native Funktionsaufrufe bleiben getrennt.
MCP-Universe: Task success (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 35.06
- Bewertung
- 35.06
- Messgröße
- task success rate
- Einheit
- %
- Benchmark-Version
- official site capture 2026-08-09
- Kategorie
- agentic
- Aufgabe
- success
- Aufgabenbezeichnung
- Task success
- Richtung
- Mehr ist besser
- Vergleichskohorte
- mcp-universe:native-function-call:success
- Quellentyp
- official-leaderboard
- Auswertung
- MCP-Universe
- Status
- active
- Abrufdatum
- 2026-08-09
- Methodik
- Ausführungsbasierte Evaluatoren. ReAct und native Funktionsaufrufe bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MCP-Universe. Datensatztyp: public. Quellenkennung: mcp-universe. Kennung der Evidenzaufnahme: curated-mcp-universe-2026-08-09-364c94147e9a. Prüfsumme der Quelldaten: 364c94147e9ac55d8449117dbbee9ad4648cfffca2173a06a6ae236e6bf6d2ca. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- Ausführungsbasierte Evaluatoren. ReAct und native Funktionsaufrufe bleiben getrennt.
MT-AgentRisk: Attack success rate (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 44.66
- Bewertung
- 44.66
- Messgröße
- attack success rate
- Einheit
- %
- Benchmark-Version
- ICML 2026 paper
- Kategorie
- cybersecurity
- Aufgabe
- asr
- Aufgabenbezeichnung
- Attack success rate
- Richtung
- Weniger ist besser
- Vergleichskohorte
- mt-agent-risk:single-turn:asr
- Quellentyp
- independent-evaluator
- Auswertung
- MT-AgentRisk
- Status
- active
- Abrufdatum
- 2026-08-09
- Methodik
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MT-AgentRisk. Datensatztyp: public. Stand der Rangliste: 2026-02-13. Harness: OpenHands. Quellenkennung: mt-agent-risk. Kennung der Evidenzaufnahme: curated-mt-agent-risk-2026-08-09-47f14ee18e72. Prüfsumme der Quelldaten: 47f14ee18e7288e62796e1835eadb1033199f50054a3144b2cc0f674c8547480. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.
Dokumentierte Messdetails
Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.
BFCL v4: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 73.24
- Bewertung
- 73.24
- Messgröße
- unweighted overall accuracy
- Einheit
- %
- Benchmark-Version
- v4, commit f7cf735
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- bfcl-v4-f7cf735-overall
- Quellentyp
- official-leaderboard
- Auswertung
- Berkeley BFCL
- Status
- active
- Abrufdatum
- 2026-09-02
- Methodik
- Ungewichteter Gesamtscore aus agentischen, mehrstufigen und einzelnen Function-Calling-Tests.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Modellstand: claude-sonnet-4-5-20250929-fc. Evaluator: Berkeley BFCL. Datensatztyp: public. Stand der Rangliste: 2026-04-12. Quellenkennung: berkeley-bfcl. Kennung der Evidenzaufnahme: curated-berkeley-bfcl-2026-09-02-171020422eb3. Prüfsumme der Quelldaten: 171020422eb31aa497dbf9dd95b72c153c0db68a3eceec63a4c059bade96f4c2. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- Ungewichteter Gesamtscore aus agentischen, mehrstufigen und einzelnen Function-Calling-Tests.
CORE-Bench Hard: Automatic validation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 62.22
- Bewertung
- 62.22
- Messgröße
- automatic accuracy
- Einheit
- %
- Benchmark-Version
- 45-paper public hard set
- Kategorie
- coding
- Aufgabe
- automatic
- Aufgabenbezeichnung
- Automatic validation
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-corebench-hard-claude-code-automatic
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- Claude Code auf 45 öffentlichen Paper-Reproduktionen. Kosten sind durch 45 geteilt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Princeton HAL. Datensatztyp: public. Harness: Claude Code. Agent: Claude Code. Kosten je Aufgabe in USD: 1.5184444444444445. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d289e35e619a. Prüfsumme der Quelldaten: d289e35e619aac7b28355c86830d55c245fc6b287e2327069860ac0522c95e8b. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- Claude Code auf 45 öffentlichen Paper-Reproduktionen. Kosten sind durch 45 geteilt.
SciCode: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 3.08
- Bewertung
- 3.08
- Messgröße
- accuracy
- Einheit
- %
- Benchmark-Version
- 65-problem main set
- Kategorie
- coding
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accuracy
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-scicode-scicode-tool-calling-overall
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- SciCode Tool Calling auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Princeton HAL. Datensatztyp: public. Harness: SciCode Tool Calling. Agent: SciCode Tool Calling. Kosten je Aufgabe in USD: 1.6044615384615386. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-c67a4c4ed842. Prüfsumme der Quelldaten: c67a4c4ed8428dfb71febdf30c9d21b46b0644189ef4d4de5ce334f3f2edc12c. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- SciCode Tool Calling auf 65 wissenschaftlichen Hauptproblemen. Kosten sind durch 65 geteilt.
MT-AgentRisk: Attack success rate (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 71.78
- Bewertung
- 71.78
- Messgröße
- attack success rate
- Einheit
- %
- Benchmark-Version
- ICML 2026 paper
- Kategorie
- cybersecurity
- Aufgabe
- asr
- Aufgabenbezeichnung
- Attack success rate
- Richtung
- Weniger ist besser
- Vergleichskohorte
- mt-agent-risk:multi-turn:asr
- Quellentyp
- independent-evaluator
- Auswertung
- MT-AgentRisk
- Status
- active
- Abrufdatum
- 2026-08-09
- Methodik
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MT-AgentRisk. Datensatztyp: public. Stand der Rangliste: 2026-02-13. Harness: OpenHands. Quellenkennung: mt-agent-risk. Kennung der Evidenzaufnahme: curated-mt-agent-risk-2026-08-09-f550ff9bf634. Prüfsumme der Quelldaten: f550ff9bf6346dc509fb04e302b64acda7943dd7e5863a5ca3206286480a11a5. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.
- Einordnung
- Tabelle 4 nennt für die Ablehnungsquote 15,43 %. Tabelle 9 desselben Papers nennt 15,34 %. Hier steht der Wert aus der direkten Einzel-gegen-Mehrfachdialog-Tabelle.
MT-AgentRisk: Refusal rate (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 15.43
- Bewertung
- 15.43
- Messgröße
- refusal rate
- Einheit
- %
- Benchmark-Version
- ICML 2026 paper
- Kategorie
- cybersecurity
- Aufgabe
- refusal
- Aufgabenbezeichnung
- Refusal rate
- Richtung
- Mehr ist besser
- Vergleichskohorte
- mt-agent-risk:multi-turn:refusal
- Quellentyp
- independent-evaluator
- Auswertung
- MT-AgentRisk
- Status
- active
- Abrufdatum
- 2026-08-09
- Methodik
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: MT-AgentRisk. Datensatztyp: public. Stand der Rangliste: 2026-02-13. Harness: OpenHands. Quellenkennung: mt-agent-risk. Kennung der Evidenzaufnahme: curated-mt-agent-risk-2026-08-09-9e7ba7aa3157. Prüfsumme der Quelldaten: 9e7ba7aa3157bc30470265facc4bb25edf1a9b2f6cf7b733102470330ed4b034. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- OpenHands ohne Schutzschicht, GPT-4.1 als Juror. Einzel- und Mehrfachdialog bleiben getrennt.
- Einordnung
- Tabelle 4 nennt für die Ablehnungsquote 15,43 %. Tabelle 9 desselben Papers nennt 15,34 %. Hier steht der Wert aus der direkten Einzel-gegen-Mehrfachdialog-Tabelle.
MultiChallenge: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 55.32
- Bewertung
- 55.32
- Messgröße
- rubric pass rate
- Einheit
- %
- Benchmark-Version
- four multi-turn challenge types
- Kategorie
- productivity
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- scale-multichallenge-overall
- Konfidenzintervall
- 1.47
- Quellentyp
- official-leaderboard
- Auswertung
- Scale AI
- Status
- active
- Abrufdatum
- 2026-08-26
- Methodik
- Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Reasoning-Stufe: thinking. Angezeigter Wert: 55,32 % ± 1,47. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-93c4c6df84ba. Prüfsumme der Quelldaten: 93c4c6df84baa57ecc302765b454f1d1d402750d6ee8968f2085772a44e192b1. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.
PRBench Finance: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 43.79
- Bewertung
- 43.79
- Messgröße
- weighted rubric score
- Einheit
- %
- Benchmark-Version
- full finance set
- Kategorie
- finance
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- scale-prbench-finance-full
- Konfidenzintervall
- 0.4
- Quellentyp
- official-leaderboard
- Auswertung
- Scale AI
- Status
- active
- Abrufdatum
- 2026-08-26
- Methodik
- 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 43,79 % ± 0,4. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-db93e34ac02d. Prüfsumme der Quelldaten: db93e34ac02d5628c3ec931b3f6d17257e1b7695c21cf8aee846e136474ca9b9. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.
PRBench Legal: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 40.84
- Bewertung
- 40.84
- Messgröße
- weighted rubric score
- Einheit
- %
- Benchmark-Version
- full legal set
- Kategorie
- legal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- scale-prbench-legal-full
- Konfidenzintervall
- 0.4
- Quellentyp
- official-leaderboard
- Auswertung
- Scale AI
- Status
- active
- Abrufdatum
- 2026-08-26
- Methodik
- 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/claude-sonnet-4.5. Name des Quellmodells: Claude Sonnet 4.5. Anbieter laut Quelle: Anthropic. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 40,84 % ± 0,4. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-cfd9f8c7d859. Prüfsumme der Quelldaten: cfd9f8c7d85930ec8d7acf7515a8200c29b116b3913b0affc48e4e68b3103115. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.
Eigene Modelltests
Community-Tests zum Anschauen
Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Steckbrief
Technische Daten und Zugang
Veröffentlichte Angaben zum Modell. Vorhandene Schätzungen sind ausdrücklich gekennzeichnet.
Weitere Quellenangaben
Datierte Angaben aus Dokumentation und Modellkarten. Anbieterlimits sowie native und erweiterte Kontextfenster können sich unterscheiden. Konfigurationshinweise bleiben im Original erhalten.
- API-Modellkennung
- claude-sonnet-4-5-20250929Quelle
- Status laut Quelle
- active (legacy)Quelle
- Veröffentlichung
- 2025-09-29Quelle
- Kontextfenster
- 200.000 TokenQuelle
- Maximale Ausgabe
- 64.000 TokenQuelle
- Eingabe
- Text, imagesQuelle
- Ausgabe
- TextQuelle
- Reasoning-Modus
- extended thinkingQuelle
- Wissensstand
- 2025-01 reliable / 2025-07 trainingQuelle
- Werkzeugaufrufe
- JaQuelle
- Strukturierte Ausgabe
- JaQuelle
Kosten
Veröffentlichte Preise
Die Preise gelten für die jeweils genannte Einheit. Auflösung, Ausgabelänge und Anbieter können die Kosten verändern.
Kostenbeispiel
100 API-Anfragen
1,05 $
100 Anfragen mit je 1.000 Eingabe- und 500 Ausgabe-Token kosten rechnerisch 1,05 $. Davon entfallen 0,3 $ auf Eingaben und 0,75 $ auf Ausgaben.
- Eingabe-Preis
- 3 $ / 1 Mio. TokenBasisstufe je Anfrage
- Ausgabe-Preis
- 15 $ / 1 Mio. TokenBasisstufe je Anfrage
Die Rechnung nutzt die dokumentierten Tokenpreise und keinen Cache-Rabatt. Zusätzliche Tools, Steuern, Reasoning-Token und weitere nicht sichtbare Ausgabe-Token sind nicht enthalten.
Quelle öffnenDirekte Vergleiche
Dieses Modell im Vergleich
Jedes Duell vergleicht dieses Modell mit genau einem weiteren Modell aus derselben Kategorie.
Für dieses Modell sind noch keine direkten Vergleiche veröffentlicht.
Nachweise
Quellen und Datenstand
Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.
- Geschwindigkeit
Anthropic, Non-reasoning. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026.
- Preis
API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten.
- Eingabe
Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
- Ausgabe
Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
Offene Nachweise und Recherchehinweise (Originalwortlaut)
In den geprüften Quellen nicht gefunden
parameters-billions. Anthropic does not publish parameter counts for this model.
In den geprüften Quellen nicht gefunden
active-parameters-billions. Anthropic does not publish active parameter counts for this model.
- ModellmetadatenQuelle
- Kontextfenster-DatenQuelle
- API-PreiseQuelle
- Berkeley BFCL (abgerufen 2. September 2026)Quelle
- Princeton HAL (abgerufen 5. August 2026)Quelle
- Princeton HAL (abgerufen 6. August 2026)Quelle
- Princeton HAL (abgerufen 5. August 2026)Quelle
- Princeton HAL (abgerufen 6. August 2026)Quelle
- Princeton HAL (abgerufen 5. August 2026)Quelle
- MCP-Universe (abgerufen 9. August 2026)Quelle
- MT-AgentRisk (abgerufen 9. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Anthropic (abgerufen 8. September 2026)Quelle
- Artificial Analysis (abgerufen 8. September 2026)Quelle
- Modellmetadaten (abgerufen 8. September 2026)Quelle
- Messmethode der GeschwindigkeitQuelle