Code MigrationOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 6,148 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
CorpFin v2OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besser | | 60,684 % | Vals AIQuellendetailsDatenstand: 12.08.2026 |
CyberBench v1.1PatchTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 69,492 % | | Vals AIQuellendetailsDatenstand: 03.08.2026 |
EMBOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 43,231 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Finance Agent (v2)OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besser | 42,982 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
GPQA DiamondOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 83,838 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
Harvey's Legal Agent BenchmarkOverall · Task fully resolvedTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: task resolution rateBewertung: Mehr ist besser | | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Legal Research BenchOverall · All-passTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besser | | 13,942 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
LegalBenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 84,073 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
LiveCodeBench v6OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 79,014 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
LMArena Text, Style ControlOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGemini 3.1 Pro Preview: Snapshot: gemini-3.1-pro-preview, Harness: Arena text, style control Gemini 3.5 Flash-Lite: Snapshot: gemini-3.5-flash-lite, Harness: Arena text, style controlGemini 3.1 Pro Preview: Stilbereinigte Arena-Bewertung aus 119.196 anonymen Paarvergleichen.Gemini 3.5 Flash-Lite: Stilbereinigte Arena-Bewertung aus 33.501 anonymen Paarvergleichen. | 95-%-Konfidenzintervall: ±3,034Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall und Modellkonfiguration gehören zum Ergebnis. | 1.456,026 95-%-Konfidenzintervall: ±4,576Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall und Modellkonfiguration gehören zum Ergebnis. | LMArenaQuellendetailsDatenstand: 25.09.2026 |
MedCodeOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 43,489 % | Vals AIQuellendetailsDatenstand: 26.09.2026 |
MedScribeOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 70,886 % | Vals AIQuellendetailsDatenstand: 26.09.2026 |
MMLU-ProOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 85,836 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
MMMU-ProOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 83,584 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
MortgageTaxOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 68,68 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
ProgramBenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Public Benefits Bench v1.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besser | | 51,827 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
SAGEOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 47,303 % | Vals AIQuellendetailsDatenstand: 26.09.2026 |
SWE-bench VerifiedOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 75 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
Tax Agent BenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 37,451 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
TaxEval v2OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besser | | 72,608 % | Vals AIQuellendetailsDatenstand: 01.09.2026 |
Terminal-Bench 2.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besser | | 50,187 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Vals IndexOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: weighted index scoreBewertung: Mehr ist besser | | 36,711 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Vibe Code Bench v1.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Harness: OpenHands | 32,034 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Code MigrationCLITestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 5,875 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
CorpFin v2Exact PagesTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 57,459 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
CyberBench v1.1PoCTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 3,39 % | | Vals AIQuellendetailsDatenstand: 03.08.2026 |
EMBCompsTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 44,505 % | | Vals AIQuellendetailsDatenstand: 06.08.2026 |
Finance Agent (v2)AdjustmentsTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 38,361 % | | Vals AIQuellendetailsDatenstand: 06.08.2026 |
GPQA DiamondFew-Shot CoTTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGemini 3.1 Pro Preview: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.535 tokens Gemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 81,818 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
Legal Research BenchAdministrative / Regulatory · All-passTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 19,697 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
LegalBenchConclusion TasksTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 88,404 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
LiveCodeBench v6EasyTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 98,758 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
LMArena Text, Style ControlBusiness, management and financeTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGemini 3.1 Pro Preview: Snapshot: gemini-3.1-pro-preview, Harness: Arena text, style control Gemini 3.5 Flash-Lite: Snapshot: gemini-3.5-flash-lite, Harness: Arena text, style controlGemini 3.1 Pro Preview: Stilbereinigte Arena-Bewertung aus 23.398 anonymen Paarvergleichen.Gemini 3.5 Flash-Lite: Stilbereinigte Arena-Bewertung aus 6.238 anonymen Paarvergleichen. | 95-%-Konfidenzintervall: ±5,145Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall und Modellkonfiguration gehören zum Ergebnis. | 1.453,642 95-%-Konfidenzintervall: ±8,177Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall und Modellkonfiguration gehören zum Ergebnis. | LMArenaQuellendetailsDatenstand: 25.09.2026 |
MMLU-ProBiologyTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGemini 3.1 Pro Preview: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.535 tokens Gemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 91,911 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
MortgageTaxNumerical ExtractionTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 75,835 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
ProgramBenchAlmost ResolvedTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 0 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
SAGEAutomataTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 30.000 tokens | | 28,968 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
SWE-bench Verified<15 min fixTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 85,567 % | Vals AIQuellendetailsDatenstand: 08.08.2026 |
TaxEval v2CorrectnessTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGemini 3.1 Pro Preview: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.535 tokens Gemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 60,749 % | | Vals AIQuellendetailsDatenstand: 09.08.2026 |
Terminal-Bench 2.1EasyTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 66,667 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
Vals IndexCorpFin v2TestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.2Messgröße: benchmark scoreBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 62,238 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
Code MigrationCOBOLTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 6,964 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
CorpFin v2Max Fitting ContextTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 62,354 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
EMBDataroomTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 57,687 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
Finance Agent (v2)All-PassTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 30,879 % | | Vals AIQuellendetailsDatenstand: 06.08.2026 |
GPQA DiamondZero-Shot CoTTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGemini 3.1 Pro Preview: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.535 tokens Gemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 85,859 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
Legal Research BenchAdministrative / Regulatory · Weighted partial creditTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: weighted partial-credit scoreBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 71,96 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
LegalBenchInterpretation TasksTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 80,332 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
LiveCodeBench v6HardTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 53,429 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
LMArena Text, Style ControlChineseTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: style-control-v1Messgröße: style-controlled Bradley-Terry ratingBewertung: Mehr ist besserGemini 3.1 Pro Preview: Snapshot: gemini-3.1-pro-preview, Harness: Arena text, style control Gemini 3.5 Flash-Lite: Snapshot: gemini-3.5-flash-lite, Harness: Arena text, style controlGemini 3.1 Pro Preview: Stilbereinigte Arena-Bewertung aus 8.183 anonymen Paarvergleichen.Gemini 3.5 Flash-Lite: Stilbereinigte Arena-Bewertung aus 2.584 anonymen Paarvergleichen. | 95-%-Konfidenzintervall: ±7,531Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall und Modellkonfiguration gehören zum Ergebnis. | 1.483,555 95-%-Konfidenzintervall: ±12,381Der Arena-Score misst menschliche Präferenzen und ist kein fester Fähigkeitstest. Konfidenzintervall und Modellkonfiguration gehören zum Ergebnis. | LMArenaQuellendetailsDatenstand: 25.09.2026 |
MMLU-ProBusinessTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 1Messgröße: accuracyBewertung: Mehr ist besserGemini 3.1 Pro Preview: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.535 tokens Gemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 90,621 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
MortgageTaxSemantic ExtractionTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 61,526 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
ProgramBenchFully ResolvedTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | | Vals AIQuellendetailsDatenstand: 09.08.2026 |
SAGECalculusTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 30.000 tokens | | 60,494 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
SWE-bench Verified>4 hoursTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | | Vals AIQuellendetailsDatenstand: 08.08.2026 |
TaxEval v2Stepwise ReasoningTestdetailsTestaufbau nicht identisch dokumentiertKein direkter SiegerVersion: 2Messgröße: accuracyBewertung: Mehr ist besserGemini 3.1 Pro Preview: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.535 tokens Gemini 3.5 Flash-Lite: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 83,483 % | Vals AIQuellendetailsDatenstand: 09.08.2026 |
Terminal-Bench 2.1HardTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 31,111 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
Vals IndexFinance Agent v2TestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.2Messgröße: benchmark scoreBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 42,968 % | | Vals AIQuellendetailsDatenstand: 09.08.2026 |
Code MigrationCode QualityTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: mean reviewer code-quality ratingBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 2,538 / 5 | | Vals AIQuellendetailsDatenstand: 09.08.2026 |
CorpFin v2Shared Max ContextTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 62,238 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
EMBDCFTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | | 33,614 % | Vals AIQuellendetailsDatenstand: 06.08.2026 |
Finance Agent (v2)ComparablesTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Reasoning: high, Temperatur: 1, Ausgabegrenze: 65.536 tokens | 36,66 % | | Vals AIQuellendetailsDatenstand: 06.08.2026 |