Code MigrationOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 44,222 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
CyberBench v1.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besser | | 72,084 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
EMBOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | | 56,344 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Finance Agent (v2)OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besser | 53,481 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Harvey's Legal Agent BenchmarkOverall · Task fully resolvedTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: task resolution rateBewertung: Mehr ist besser | 6,667 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
IOIOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: accuracyBewertung: Mehr ist besser | 40,278 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Legal Research BenchOverall · All-passTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: all-pass rateBewertung: Mehr ist besser | 41,346 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
LegalBenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | 83,277 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
MedCodeOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | 41,173 % | | Vals AIQuellendetailsDatenstand: 26.09.2026 |
MedScribeOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | 85,5 % | | Vals AIQuellendetailsDatenstand: 26.09.2026 |
MysteryMechanismOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | 21,171 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
ProofBenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besser | | 49 % | Vals AIQuellendetailsDatenstand: 28.09.2026 |
Public Benefits Bench v1.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besser | 64,276 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
SkillsBenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Harness: OpenHands | | 47,509 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Tax Agent BenchOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1Messgröße: accuracyBewertung: Mehr ist besser | 62,458 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Terminal-Bench 2.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2.1Messgröße: accuracyBewertung: Mehr ist besser | | 71,536 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Terminal-Bench 4.0OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 4.0Messgröße: accuracyBewertung: Mehr ist besser | 11,616 % | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Terminal-Bench ScienceOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 0.1Messgröße: accuracyBewertung: Mehr ist besser | | | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Vals IndexOverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 2Messgröße: weighted index scoreBewertung: Mehr ist besser | | 56,97 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |
Vibe Code Bench 1-100OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.0Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Harness: OpenHands | 16,378 % | | Vals AIQuellendetailsDatenstand: 22.09.2026 |
Vibe Code Bench v1.1OverallTestdetailsKein dokumentierter Unterschied im TestaufbauVersion: 1.1Messgröße: accuracyBewertung: Mehr ist besserEinstellungen: Harness: OpenHands | | 78,125 % | Vals AIQuellendetailsDatenstand: 27.09.2026 |