Zum Hauptinhalt springen

Direktvergleich

Claude Opus 4.5 vs. Gemini 3.1 Pro Preview

Veröffentlichte Benchmarkwerte aus derselben Version und Vergleichskohorte, API-Preise und technische Eckdaten. Unterschiedliche Testeinstellungen werden sichtbar ausgewiesen.

gemeinsame Messreihen
32
verschiedene Benchmarks
20
jüngster Abruf
29.09.2026

Modellauswahl ändern

Steckbrief

Allgemeine Daten

Erscheinungsdatum, Verfügbarkeit, Kontextfenster, Architektur und veröffentlichte Parameterzahlen auf einen Blick. Nicht veröffentlichte Angaben bleiben als solche markiert.

Allgemeine Daten von Claude Opus 4.5 und Gemini 3.1 Pro Preview
MerkmalClaude Opus 4.5Gemini 3.1 Pro Preview
AnbieterAnthropicGoogle
ErschienenNov. 202519. Feb. 2026
VerfügbarkeitAktivPreview
ModelltypProprietärProprietär
ParameterNicht veröffentlichtNicht veröffentlicht
ArchitekturNicht veröffentlichtNicht veröffentlicht
Kontextfenster200.000 Token1.048.576 Token
WissensstandMai 2025Nicht veröffentlicht
Technische QuellenModell, KontextModell

Kosten

API-Preise im Vergleich

Die Tabelle vergleicht die offiziellen Standard-API-Tarife pro 1 Mio. Token einschließlich veröffentlichter Cache-Preise. Batch, Fast, Priority, regionale Aufschläge, Toolaufrufe und Cloudpreise sind nicht eingerechnet.

API-Preise von Claude Opus 4.5 und Gemini 3.1 Pro Preview
PreisartClaude Opus 4.5Gemini 3.1 Pro Preview
API-Eingabe5 $2 $ ≤200K / 4 $ >200K
API-Ausgabe25 $12 $ ≤200K / 18 $ >200K
Cache lesen0,5 $0,2 $ ≤200K / 0,4 $ >200K
Cache schreiben (5 Min.)6,25 $Nicht ausgewiesen
Cache schreiben (1 Std.)10 $Nicht ausgewiesen
Preis geprüft22.09.2026 Quelle22.09.2026 Quelle
Claude Opus 4.5Gemini 3.1 Pro Preview
API-EingabeUSD pro 1 Mio. Token, Basistarif
Claude Opus 4.55 $
Gemini 3.1 Pro PreviewGünstiger2 $
API-AusgabeUSD pro 1 Mio. Token, Basistarif
Claude Opus 4.525 $
Gemini 3.1 Pro PreviewGünstiger12 $
Cache lesenUSD pro 1 Mio. Token, Basistarif
Claude Opus 4.50,5 $
Gemini 3.1 Pro PreviewGünstiger0,2 $

Zeichenerklärung:besserer Wertbesser, aber nicht eindeutigGleichstand

Preise nach Anbieter

Direkte Entwicklertarife und über OpenRouter geroutete Anbieterpreise sind getrennt gekennzeichnet. Alle Preise gelten in USD pro 1 Mio. Token. Kontextabhängige Direktpreise sowie regionale, Flex-, Priority- und weitere OpenRouter-Tarife bleiben einzeln erkennbar.

Anbieterpreise von Claude Opus 4.5 und Gemini 3.1 Pro Preview
ModellAnbieterBezugsweg und TarifEingabe pro 1 Mio. TokenAusgabe pro 1 Mio. TokenQuelle
Claude Opus 4.5AnthropicDirekt beim EntwicklerStandard-APIGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle22.09.2026
Amazon BedrockÜber OpenRouteramazon-bedrockGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle07.10.2026
Amazon BedrockÜber OpenRouteramazon-bedrock/eu-west-15,5 $27,5 $Quelle07.10.2026
AnthropicÜber OpenRouteranthropicGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle07.10.2026
AzureÜber OpenRouterazure/globalGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle07.10.2026
Claude Platform on AWSÜber OpenRouterclaude-on-awsGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle07.10.2026
GoogleÜber OpenRoutergoogle-vertex/globalGünstigster erfasster Preis: 5 $Günstigster erfasster Preis: 25 $Quelle07.10.2026
Gemini 3.1 Pro PreviewGoogleDirekt beim EntwicklerBis 200.000 Kontext-Token2 $12 $Quelle22.09.2026
GoogleDirekt beim EntwicklerÜber 200.000 Kontext-Token4 $18 $Quelle22.09.2026
GoogleÜber OpenRoutergoogle-vertex/global2 $12 $Quelle07.10.2026
GoogleÜber OpenRoutergoogle-vertex/global/priority3,6 $21,6 $Quelle07.10.2026
Google AI StudioÜber OpenRoutergoogle-ai-studio2 $12 $Quelle07.10.2026
Google AI StudioÜber OpenRoutergoogle-ai-studio/flexGünstigster erfasster Preis: 1 $Günstigster erfasster Preis: 6 $Quelle07.10.2026
Google AI StudioÜber OpenRoutergoogle-ai-studio/priority3,6 $21,6 $Quelle07.10.2026

Leistung

Gemeinsame Benchmarks

Nur veröffentlichte Ergebnisse mit derselben Benchmark-Version, Aufgabe, Metrik und Vergleichskohorte werden gegenübergestellt. Wenn Anbieter unterschiedliche Reasoning-Stufen, Agenten oder Ausgabegrenzen verwendet haben, steht das direkt in der Tabelle.

Fähigkeitsprofil aus vergleichbaren Benchmarks

Jede Achse mittelt direkt vergleichbare Benchmarkfamilien. Ein Wert von 100 bedeutet den stärkeren Wert innerhalb dieses Duells, keinen universellen Qualitätswert.

255075100CodingReasoningWissenFinanzenRechtAgenten-AufgabenMultimodalGesundheit
Claude Opus 4.5
Gemini 3.1 Pro Preview
Coding: 84,8 / 100 (1 Benchmarkfamilie)
Reasoning: 83,3 / 100 (1 Benchmarkfamilie)
Wissen: 94,1 / 100 (1 Benchmarkfamilie)
Finanzen: 98 / 99,4 (3 Benchmarkfamilien)
Recht: 94,8 / 100 (1 Benchmarkfamilie)
Agenten-Aufgaben: 94,7 / 98,4 (3 Benchmarkfamilien)
Multimodal: 91,9 / 100 (1 Benchmarkfamilie)
Gesundheit: 91,1 / 97,1 (3 Benchmarkfamilien)

25 passende Messreihen aus 15 Benchmarkfamilien wurden berücksichtigt. Das Radar zeigt 8 von 9 vergleichbaren Kategorien.

Claude Opus 4.5Gemini 3.1 Pro Preview
CorpFin v2Overall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.561,305 %
Gemini 3.1 Pro PreviewGewinner64,491 %
GAIA ReliabilityAccuracy. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.568,5 %
Gemini 3.1 Pro PreviewGewinner76,2 %
GPQA DiamondOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.579,546 %
Gemini 3.1 Pro PreviewGewinner95,454 %
LegalBenchOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.582,837 %
Gemini 3.1 Pro PreviewGewinner87,398 %
LiveCodeBench v6Overall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.575,034 %
Gemini 3.1 Pro PreviewGewinner88,485 %
MedCodeOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.545,174 %
Gemini 3.1 Pro PreviewGewinner59,062 %
MedQAOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.593,158 %
Gemini 3.1 Pro PreviewGewinner96,367 %
MedScribeOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.5Gewinner83,246 %
Gemini 3.1 Pro Preview76,114 %
MMLU-ProOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.585,59 %
Gemini 3.1 Pro PreviewGewinner90,987 %
MMMU-ProOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.581,098 %
Gemini 3.1 Pro PreviewGewinner88,208 %
MortgageTaxOverall. Mehr ist besser. Kein dokumentierter Setup-Unterschied
Claude Opus 4.568,68 %
Gemini 3.1 Pro PreviewGewinner69,396 %
MultiChallengeOverall. Mehr ist besser. Testaufbau nicht identisch dokumentiert
Claude Opus 4.558,97 % ± 0,42
Gemini 3.1 Pro PreviewHöherer Messwert71,37 % ± 1,74

Zeichenerklärung:besserer Wertbesser, aber nicht eindeutigGleichstand

Benchmarkwerte von Claude Opus 4.5 und Gemini 3.1 Pro Preview
Benchmark und AufgabeClaude Opus 4.5Gemini 3.1 Pro PreviewQuelle
CorpFin v2Overall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
61,305 %
Gewinner64,491 %
Vals AI
Quellendetails
Datenstand: 12.08.2026
GAIA ReliabilityAccuracy
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: final leak-cleaned public validation setMessgröße: exact-match accuracyBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
68,5 %
Gewinner76,2 %
Princeton HAL
Quellendetails
Datenstand: 06.08.2026
GPQA DiamondOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
79,546 %
Gewinner95,454 %
Vals AI
Quellendetails
Datenstand: 01.09.2026
LegalBenchOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
82,837 %
Gewinner87,398 %
Vals AI
Quellendetails
Datenstand: 27.09.2026
LiveCodeBench v6Overall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
75,034 %
Gewinner88,485 %
Vals AI
Quellendetails
Datenstand: 01.09.2026
MedCodeOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
45,174 %
Gewinner59,062 %
Vals AI
Quellendetails
Datenstand: 26.09.2026
MedQAOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
93,158 %
Gewinner96,367 %
Vals AI
Quellendetails
Datenstand: 16.04.2026
MedScribeOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
Gewinner83,246 %
76,114 %
Vals AI
Quellendetails
Datenstand: 26.09.2026
MMLU-ProOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
85,59 %
Gewinner90,987 %
Vals AI
Quellendetails
Datenstand: 01.09.2026
MMMU-ProOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
81,098 %
Gewinner88,208 %
Vals AI
Quellendetails
Datenstand: 01.09.2026
MortgageTaxOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
68,68 %
Gewinner69,396 %
Vals AI
Quellendetails
Datenstand: 01.09.2026
MultiChallengeOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: four multi-turn challenge typesMessgröße: rubric pass rateBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: thinking, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
Mehrstufige Gespräche mit binären, aufgabenspezifischen Rubriken.
58,97 % ± 0,42
95-%-Konfidenzintervall: ±0,42
Höherer Messwert71,37 % ± 1,74
95-%-Konfidenzintervall: ±1,74
Scale AI
Quellendetails
Datenstand: 26.08.2026
MultiNRCOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: French, Spanish, and Chinese releaseMessgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: none, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.
41,23 % ± 2,97
95-%-Konfidenzintervall: ±2,97
Höherer Messwert64,74 % ± 2,88
95-%-Konfidenzintervall: ±2,88
Scale AI
Quellendetails
Datenstand: 26.08.2026
PRBench FinanceOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: full finance setMessgröße: weighted rubric scoreBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: thinking, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.
Höherer Messwert46,16 % ± 0,27
95-%-Konfidenzintervall: ±0,27
41,87 % ± 1,22
95-%-Konfidenzintervall: ±1,22
Scale AI
Quellendetails
Datenstand: 26.08.2026
PRBench LegalOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: full legal setMessgröße: weighted rubric scoreBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: thinking, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.
Höherer Messwert44,21 % ± 0,34
95-%-Konfidenzintervall: ±0,34
44,02 % ± 1,12
95-%-Konfidenzintervall: ±1,12
Scale AI
Quellendetails
Datenstand: 26.08.2026
SAGEOverall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
45,002 %
Gewinner48,677 %
Vals AI
Quellendetails
Datenstand: 26.09.2026
TaxEval v2Overall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
Gewinner74,325 %
72,882 %
Vals AI
Quellendetails
Datenstand: 01.09.2026
Terminal-Bench 2.0Overall
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 2.0Messgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Snapshot: claude-opus-4-5-20251101
58,427 %
Gewinner67,416 %
Vals AI
Quellendetails
Datenstand: 04.06.2026
TutorBenchOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1,490-task releaseMessgröße: weighted rubric scoreBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: none, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.
49,82 % ± 0,98
95-%-Konfidenzintervall: ±0,98
Höherer Messwert52,99 % ± 1,06
95-%-Konfidenzintervall: ±1,06
Scale AI
Quellendetails
Datenstand: 26.08.2026
τ-bench Airline CleanAccuracy
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 26-task cleaned subsetMessgröße: task success rateBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
80,8 %
Gewinner82,1 %
Princeton HAL
Quellendetails
Datenstand: 05.08.2026
GAIA ReliabilityConsistency
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: final leak-cleaned public validation setMessgröße: aggregate consistencyBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
Gewinner0,81 Bewertungspunkte
0,76 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 06.08.2026
MultiNRCOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: French, Spanish, and Chinese releaseMessgröße: accuracyBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: thinking, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
Native, nicht aus dem Englischen übersetzte Reasoning-Aufgaben mit automatischer Bewertung.
48,63 % ± 3,02
95-%-Konfidenzintervall: ±3,02
Höherer Messwert64,74 % ± 2,88
95-%-Konfidenzintervall: ±2,88
Scale AI
Quellendetails
Datenstand: 26.08.2026
TutorBenchOverall
Testdetails
Testaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1,490-task releaseMessgröße: weighted rubric scoreBewertung: Mehr ist besserClaude Opus 4.5: Reasoning: thinking, Versuche: pass@1
Gemini 3.1 Pro Preview: Versuche: pass@1
1.490 Aufgaben mit gewichteten Rubriken und Claude 4 Sonnet als Juror.
51,2 % ± 0,99
95-%-Konfidenzintervall: ±0,99
Höherer Messwert52,99 % ± 1,06
95-%-Konfidenzintervall: ±1,06
Scale AI
Quellendetails
Datenstand: 26.08.2026
τ-bench Airline CleanConsistency
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 26-task cleaned subsetMessgröße: aggregate consistencyBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Gewinner0,84 Bewertungspunkte
0,81 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 05.08.2026
GAIA ReliabilityPredictability
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: final leak-cleaned public validation setMessgröße: aggregate predictabilityBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
Gewinner0,84 Bewertungspunkte
0,78 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 06.08.2026
τ-bench Airline CleanPredictability
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 26-task cleaned subsetMessgröße: aggregate predictabilityBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Gewinner0,85 Bewertungspunkte
0,83 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 05.08.2026
GAIA ReliabilityReliability
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: final leak-cleaned public validation setMessgröße: aggregate reliabilityBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
Gewinner0,85 Bewertungspunkte
0,82 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 06.08.2026
τ-bench Airline CleanReliability
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 26-task cleaned subsetMessgröße: aggregate reliabilityBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Gewinner0,88 Bewertungspunkte
0,86 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 05.08.2026
GAIA ReliabilityRobustness
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: final leak-cleaned public validation setMessgröße: aggregate robustnessBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
0,91 Bewertungspunkte
Gewinner0,94 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 06.08.2026
τ-bench Airline CleanRobustness
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 26-task cleaned subsetMessgröße: aggregate robustnessBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Gewinner0,97 Bewertungspunkte
0,94 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 05.08.2026
GAIA ReliabilitySafety
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: final leak-cleaned public validation setMessgröße: aggregate safetyBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
Gleichstand1 Bewertungspunkte
Gleichstand1 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 06.08.2026
τ-bench Airline CleanSafety
Testdetails
Kein dokumentierter Unterschied im TestaufbauVersion: 26-task cleaned subsetMessgröße: aggregate safetyBewertung: Mehr ist besserEinstellungen: Agent: HAL Reliability, Harness: HAL Reliability26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Gewinner0,98 Bewertungspunkte
0,97 Bewertungspunkte
Princeton HAL
Quellendetails
Datenstand: 05.08.2026

Zeichenerklärung:besserer Wertbesser, aber nicht eindeutigGleichstand

Eigene Modelltests

Unsere Tests

Vergleiche, wie die Modelle denselben Prompt umsetzen. Angezeigt wird jeweils der aktuellste Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Frühere Läufe bleiben in den Testdetails erreichbar. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

Claude Opus 4.5

Claude Opus 4.5: Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.

Reasoning (angefragt): high

Aktueller Versuch
Datum des Testlaufs
01.10.2026
API-Anbieter
openrouter
Angefragtes API-Modell
anthropic/claude-opus-4.5
API-Modell laut Antwort
anthropic/claude-opus-4.5
Reasoning-Einstellung
high
Festgelegter Endpunkt
Anthropic | anthropic/claude-4.5-opus-20251124
Temperatur
Anbieterstandard
Tokenlimit inklusive Reasoning
8.192 Token
Testprotokoll
community-visual-tests-v1
Technische Prüfung
Bestanden, keine Qualitätsbewertung
Antwortzeit
21,6 s

Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.

Gemini 3.1 Pro Preview

Die Antwort hat das Tokenlimit erreicht. Es liegt keine vollständige Aufzeichnung vor.

Reasoning (angefragt): high

Aktueller Versuch
Datum des Testlaufs
02.10.2026
API-Anbieter
openrouter
Angefragtes API-Modell
google/gemini-3.1-pro-preview
API-Modell laut Antwort
google/gemini-3.1-pro-preview
Reasoning-Einstellung
high
Festgelegter Endpunkt
Google AI Studio | google/gemini-3.1-pro-preview-20260219
Temperatur
Anbieterstandard
Tokenlimit inklusive Reasoning
8.192 Token
Testprotokoll
community-visual-tests-v1
Technische Prüfung
Nicht bestanden
Antwortzeit
61,6 s

Visuell noch nicht bewertet. Eine erfolgreiche Aufzeichnung bestätigt weder korrekte Physik noch die vollständige Umsetzung des Prompts.

Frühere Versuche (2)
  • 01.10.2026API-Anfrage fehlgeschlagenReasoning-Einstellung: high
  • 07.09.2026API-Anfrage fehlgeschlagenReasoning-Einstellung: high
Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

So liest du den Vergleich

Ein Benchmark-Sieg ist kein Gesamturteil

Entscheidend sind deine Aufgaben, dein Budget und die benötigte Kontextlänge. Ein Coding-Benchmark sagt wenig über Bildverständnis oder Agentenarbeit aus.

Die Standardpreistabelle nutzt direkte Entwicklertarife. Der Anbieter-Vergleich kennzeichnet OpenRouter-Endpoints, Regionen und Sondertarife separat.

Jeder Messwert verlinkt seine Messstelle und zeigt den Abrufstand. Je nach Kennzeichnung handelt es sich um eine Anbieterangabe, ein offizielles Benchmark-Leaderboard oder eine unabhängige Evaluation. Strittige oder archivierte Ergebnisse werden nicht verwendet.

Weitere Duelle

Vergleiche Claude Opus 4.5 und Gemini 3.1 Pro Preview mit weiteren wichtigen Modellen. Alle Duelle nutzen dieselbe Daten- und Benchmarklogik.

Zum vollständigen LLM-Vergleich