Jared PalmerEntscheidungs-Duell
Kev 0.8Bvs.Kev 9B
Welches Modell entscheidet besser?
Kev 9B schneidet in unabhängigen Tests besser ab, Kev 0.8B ist dafür beliebter.
Nimm Kev 0.8B für
Nimm Kev 9B für
Gemeinsame Tests
Nur unabhängige Auswerter und Bestenlisten, je Auswerter der neueste gemeinsame Stand. Mit 95-%-Bereichen zählt ein Vorsprung, wenn sie sich nicht überlappen; bei Trefferquoten, wenn er im 95-%-Test hält. Ohne Unsicherheitsangabe höchstens „leicht vorn“.
Jev Decision Index
Kev 9B vornKev 9B ist in 21 von 37 Teiltests klar vorn und in 13 leicht, Kev 0.8B in 1. 2 sind gleichauf.
Home appliances · Decision Index 0.4.1
88 Aufgaben, Stand 28. Oktober 2026
POP909 · Decision Index 0.4.1
2.000 Aufgaben, Stand 28. Oktober 2026
SATA-Bench · Decision Index 0.4.1
1.650 Aufgaben, Stand 28. Oktober 2026
Alle 37 Teiltests zeigen
| Teiltest | Kev 0.8B | Kev 9B | Urteil |
|---|---|---|---|
| Home appliances · Decision Index 0.4.1 | 0,0 | 11,4 | Kev 9B vorn |
| POP909 · Decision Index 0.4.1 | 1,5 | 10,2 | Kev 9B vorn |
| SATA-Bench · Decision Index 0.4.1 | 9,0 | 30,7 | Kev 9B vorn |
| GSM8K · Decision Index 0.4.1 | 19,0 | 54,4 | Kev 9B vorn |
| MMLU-Pro · Decision Index 0.4.1 | 22,3 | 56,5 | Kev 9B vorn |
| New Yorker · Decision Index 0.4.1 | 27,8 | 56,6 | Kev 9B vorn |
| HellaSwag · Decision Index 0.4.1 | 42,9 | 82,7 | Kev 9B vorn |
| BBH · Decision Index 0.4.1 | 41,4 | 66,3 | Kev 9B vorn |
| ChessBench · Decision Index 0.4.1 | 7,9 | 12,0 | Kev 9B vorn |
| API-Bank · Decision Index 0.4.1 | 43,7 | 65,4 | Kev 9B vorn |
| CRUXEval · Decision Index 0.4.1 | 37,7 | 55,4 | Kev 9B vorn |
| WinoGrande · Decision Index 0.4.1 | 52,8 | 75,1 | Kev 9B vorn |
| When2Call · Decision Index 0.4.1 | 43,2 | 60,7 | Kev 9B vorn |
| BFCL · Decision Index 0.4.1 | 70,5 | 95,2 | Kev 9B vorn |
| CLadder · Decision Index 0.4.1 | 50,5 | 63,5 | Kev 9B vorn |
| BPoMP · Decision Index 0.4.1 | 47,7 | 58,9 | Kev 9B vorn |
| Habermas · Decision Index 0.4.1 | 33,4 | 40,0 | Kev 9B vorn |
| PhishNChips · Decision Index 0.4.1 | 51,7 | 61,6 | Kev 9B vorn |
| HoVer · Decision Index 0.4.1 | 51,0 | 60,7 | Kev 9B vorn |
| MuSR · Decision Index 0.4.1 | 48,9 | 56,5 | Kev 9B vorn |
| Humicroedit · Decision Index 0.4.1 | 50,9 | 57,3 | Kev 9B vorn |
| cfcolor · Decision Index 0.4.1 | 55,4 | 53,0 | Kev 0.8B vorn |
| CLINC150 · Decision Index 0.4.1 | 15,0 | 77,1 | Kev 9B leicht vorn |
| iSarcasmEval · Decision Index 0.4.1 | 19,9 | 43,2 | Kev 9B leicht vorn |
| Amazon ESCI · Decision Index 0.4.1 | 22,9 | 49,1 | Kev 9B leicht vorn |
| ANLI · Decision Index 0.4.1 | 33,6 | 58,1 | Kev 9B leicht vorn |
| ACOS · Decision Index 0.4.1 | 9,9 | 17,0 | Kev 9B leicht vorn |
| ContractNLI · Decision Index 0.4.1 | 40,9 | 65,3 | Kev 9B leicht vorn |
| RAGTruth · Decision Index 0.4.1 | 46,2 | 70,6 | Kev 9B leicht vorn |
| VAST · Decision Index 0.4.1 | 40,6 | 56,7 | Kev 9B leicht vorn |
| NLI4CT · Decision Index 0.4.1 | 55,9 | 75,2 | Kev 9B leicht vorn |
| FinEntity · Decision Index 0.4.1 | 71,4 | 89,7 | Kev 9B leicht vorn |
| ToolRet · Decision Index 0.4.1 | 51,7 | 63,8 | Kev 9B leicht vorn |
| BRIGHT · Decision Index 0.4.1 | 31,8 | 38,2 | Kev 9B leicht vorn |
| BANKING77 · Decision Index 0.4.1 | 77,6 | 83,3 | Kev 9B leicht vorn |
| HLE · Decision Index 0.4.1 | 13,8 | 11,0 | gleichauf |
| GPQA Diamond · Decision Index 0.4.1 | 33,2 | 37,8 | gleichauf |
Quelle · zuletzt 28. Oktober 2026
Kevala decision benchmark report
Kev 9B vornKev 9B ist in 2 von 3 Teiltests klar vorn und in 1 leicht, Kev 0.8B in keinem.
Kevala semif-perturbations108 decision accuracy
95-%-Bereiche 57,4 bis 84,0 und 90,7 bis 100,0, 972 Aufgaben, Stand 23. Oktober 2026
Kevala semif-authored144 decision accuracy
95-%-Bereiche 64,6 bis 77,3 und 88,2 bis 95,6, 1.296 Aufgaben, Stand 23. Oktober 2026
Kevala kevala-authored36 decision accuracy
95-%-Bereiche 79,6 bis 97,2 und 89,8 bis 100,0, 324 Aufgaben, Stand 23. Oktober 2026
Quelle · zuletzt 23. Oktober 2026
Duan et al., General Decision Models: Benchmarking and Insights Beyond Jev
Kev 9B vornJEVal aida-testc accuracy
200 Aufgaben, Stand 22. Oktober 2026
Quelle · zuletzt 22. Oktober 2026
Herstellerangaben
Werte aus Berichten der Hersteller, in denen beide Modelle vorkommen. Sie zählen nicht zum Urteil.
1 Herstellerwerte zeigen
| Wert | Quelle | Kev 0.8B | Kev 9B |
|---|---|---|---|
| 14-public-dataset calibration error, per-dataset average (niedriger ist besser) | Jared Palmer, Introducing Kev | 0,10 | 0,10 |