Jared PalmerEntscheidungs-Duell
Kev 0.8Bvs.Kev 4B
Welches Modell entscheidet besser?
Kev 4B schneidet in unabhängigen Tests besser ab, Kev 0.8B ist dafür beliebter.
Nimm Kev 0.8B für
Nimm Kev 4B für
Gemeinsame Tests
Nur unabhängige Auswerter und Bestenlisten, je Auswerter der neueste gemeinsame Stand. Mit 95-%-Bereichen zählt ein Vorsprung, wenn sie sich nicht überlappen; bei Trefferquoten, wenn er im 95-%-Test hält. Ohne Unsicherheitsangabe höchstens „leicht vorn“.
Jev Decision Index
Kev 4B vornKev 4B ist in 20 von 37 Teiltests klar vorn und in 12 leicht, Kev 0.8B in keinem. 5 sind gleichauf.
Home appliances · Decision Index 0.4.1
88 Aufgaben, Stand 28. Oktober 2026
SATA-Bench · Decision Index 0.4.1
1.650 Aufgaben, Stand 28. Oktober 2026
GSM8K · Decision Index 0.4.1
2.638 Aufgaben, Stand 28. Oktober 2026
Alle 37 Teiltests zeigen
| Teiltest | Kev 0.8B | Kev 4B | Urteil |
|---|---|---|---|
| Home appliances · Decision Index 0.4.1 | 0,0 | 14,8 | Kev 4B vorn |
| SATA-Bench · Decision Index 0.4.1 | 9,0 | 28,8 | Kev 4B vorn |
| GSM8K · Decision Index 0.4.1 | 19,0 | 46,5 | Kev 4B vorn |
| MMLU-Pro · Decision Index 0.4.1 | 22,3 | 50,7 | Kev 4B vorn |
| New Yorker · Decision Index 0.4.1 | 27,8 | 52,3 | Kev 4B vorn |
| HellaSwag · Decision Index 0.4.1 | 42,9 | 78,9 | Kev 4B vorn |
| When2Call · Decision Index 0.4.1 | 43,2 | 66,7 | Kev 4B vorn |
| BBH · Decision Index 0.4.1 | 41,4 | 62,5 | Kev 4B vorn |
| BPoMP · Decision Index 0.4.1 | 47,7 | 65,1 | Kev 4B vorn |
| WinoGrande · Decision Index 0.4.1 | 52,8 | 70,2 | Kev 4B vorn |
| BFCL · Decision Index 0.4.1 | 70,5 | 93,1 | Kev 4B vorn |
| CRUXEval · Decision Index 0.4.1 | 37,7 | 48,1 | Kev 4B vorn |
| Habermas · Decision Index 0.4.1 | 33,4 | 42,0 | Kev 4B vorn |
| CLadder · Decision Index 0.4.1 | 50,5 | 63,1 | Kev 4B vorn |
| API-Bank · Decision Index 0.4.1 | 43,7 | 53,3 | Kev 4B vorn |
| HoVer · Decision Index 0.4.1 | 51,0 | 59,7 | Kev 4B vorn |
| MuSR · Decision Index 0.4.1 | 48,9 | 56,3 | Kev 4B vorn |
| PhishNChips · Decision Index 0.4.1 | 51,7 | 55,3 | Kev 4B vorn |
| Humicroedit · Decision Index 0.4.1 | 50,9 | 54,4 | Kev 4B vorn |
| cfcolor · Decision Index 0.4.1 | 55,4 | 57,9 | Kev 4B vorn |
| CLINC150 · Decision Index 0.4.1 | 15,0 | 75,0 | Kev 4B leicht vorn |
| iSarcasmEval · Decision Index 0.4.1 | 19,9 | 46,8 | Kev 4B leicht vorn |
| Amazon ESCI · Decision Index 0.4.1 | 22,9 | 39,7 | Kev 4B leicht vorn |
| ContractNLI · Decision Index 0.4.1 | 40,9 | 64,4 | Kev 4B leicht vorn |
| RAGTruth · Decision Index 0.4.1 | 46,2 | 67,5 | Kev 4B leicht vorn |
| ANLI · Decision Index 0.4.1 | 33,6 | 48,1 | Kev 4B leicht vorn |
| NLI4CT · Decision Index 0.4.1 | 55,9 | 74,6 | Kev 4B leicht vorn |
| VAST · Decision Index 0.4.1 | 40,6 | 52,4 | Kev 4B leicht vorn |
| BRIGHT · Decision Index 0.4.1 | 31,8 | 39,0 | Kev 4B leicht vorn |
| FinEntity · Decision Index 0.4.1 | 71,4 | 87,1 | Kev 4B leicht vorn |
| ToolRet · Decision Index 0.4.1 | 51,7 | 61,0 | Kev 4B leicht vorn |
| BANKING77 · Decision Index 0.4.1 | 77,6 | 82,9 | Kev 4B leicht vorn |
| HLE · Decision Index 0.4.1 | 13,8 | 10,2 | gleichauf |
| POP909 · Decision Index 0.4.1 | 1,5 | 1,2 | gleichauf |
| GPQA Diamond · Decision Index 0.4.1 | 33,2 | 37,8 | gleichauf |
| ChessBench · Decision Index 0.4.1 | 7,9 | 8,9 | gleichauf |
| ACOS · Decision Index 0.4.1 | 9,9 | 9,8 | gleichauf |
Quelle · zuletzt 28. Oktober 2026
Kevala decision benchmark report
Kev 4B vornKev 4B ist in 1 von 3 Teiltests klar vorn und in 1 leicht, Kev 0.8B in keinem. 1 ist gleichauf.
Kevala semif-authored144 decision accuracy
95-%-Bereiche 64,6 bis 77,3 und 85,9 bis 93,1, 1.296 Aufgaben, Stand 23. Oktober 2026
Kevala semif-perturbations108 decision accuracy
95-%-Bereiche 57,4 bis 84,0 und 81,2 bis 98,8, 972 Aufgaben, Stand 23. Oktober 2026
Kevala kevala-authored36 decision accuracy
95-%-Bereiche 79,6 bis 97,2 und 82,4 bis 98,2, 324 Aufgaben, Stand 23. Oktober 2026
Quelle · zuletzt 23. Oktober 2026
Duan et al., General Decision Models: Benchmarking and Insights Beyond Jev
Kev 4B vornJEVal aida-testc accuracy
200 Aufgaben, Stand 22. Oktober 2026
Quelle · zuletzt 22. Oktober 2026
JevAny external decision-suite evaluation score table
Kev 4B vornMMLU-Pro, ekzhang external test panel (1,000 questions)
1.000 Aufgaben, Stand 17. Oktober 2026
Quelle · zuletzt 17. Oktober 2026
Herstellerangaben
Werte aus Berichten der Hersteller, in denen beide Modelle vorkommen. Sie zählen nicht zum Urteil.
2 Herstellerwerte zeigen
| Wert | Quelle | Kev 0.8B | Kev 4B |
|---|---|---|---|
| 14-public-dataset calibration error, per-dataset average (niedriger ist besser) | Jared Palmer, Introducing Kev | 0,10 | 0,10 |
| 14-public-dataset chance-corrected generalization index | Jared Palmer, Introducing Kev | 23,30 | 38,00 |