Jared PalmerInternLMEntscheidungs-Duell
Kev 0.8Bvs.Intern-Decision-0.8B
Welches Modell entscheidet besser?
Kev 0.8B schneidet in unabhängigen Tests besser ab.
Nimm Kev 0.8B für
Nimm Intern-Decision-0.8B für
Gemeinsame Tests
Nur unabhängige Auswerter und Bestenlisten, je Auswerter der neueste gemeinsame Stand. Mit 95-%-Bereichen zählt ein Vorsprung, wenn sie sich nicht überlappen; bei Trefferquoten, wenn er im 95-%-Test hält. Ohne Unsicherheitsangabe höchstens „leicht vorn“.
Jev Decision Index
je nach TeiltestKev 0.8B ist in 4 von 37 Teiltests klar vorn und in 8 leicht, Intern-Decision-0.8B in 5 klar und in 3 leicht. 17 sind gleichauf.
SATA-Bench · Decision Index 0.4.1
1.650 Aufgaben, Stand 28. Oktober 2026
API-Bank · Decision Index 0.4.1
508 Aufgaben, Stand 28. Oktober 2026
Habermas · Decision Index 0.4.1
1.676 Aufgaben, Stand 28. Oktober 2026
Alle 37 Teiltests zeigen
| Teiltest | Kev 0.8B | Intern-Decision-0.8B | Urteil |
|---|---|---|---|
| SATA-Bench · Decision Index 0.4.1 | 9,0 | 3,4 | Kev 0.8B vorn |
| API-Bank · Decision Index 0.4.1 | 43,7 | 21,1 | Kev 0.8B vorn |
| Habermas · Decision Index 0.4.1 | 33,4 | 44,6 | Intern-Decision-0.8B vorn |
| MMLU-Pro · Decision Index 0.4.1 | 22,3 | 26,5 | Intern-Decision-0.8B vorn |
| PhishNChips · Decision Index 0.4.1 | 51,7 | 45,9 | Kev 0.8B vorn |
| BFCL · Decision Index 0.4.1 | 70,5 | 64,5 | Kev 0.8B vorn |
| When2Call · Decision Index 0.4.1 | 43,2 | 46,1 | Intern-Decision-0.8B vorn |
| BPoMP · Decision Index 0.4.1 | 47,7 | 50,4 | Intern-Decision-0.8B vorn |
| Humicroedit · Decision Index 0.4.1 | 50,9 | 53,7 | Intern-Decision-0.8B vorn |
| BANKING77 · Decision Index 0.4.1 | 77,6 | 11,9 | Kev 0.8B leicht vorn |
| CLINC150 · Decision Index 0.4.1 | 15,0 | 4,9 | Kev 0.8B leicht vorn |
| ACOS · Decision Index 0.4.1 | 9,9 | 4,6 | Kev 0.8B leicht vorn |
| VAST · Decision Index 0.4.1 | 40,6 | 28,0 | Kev 0.8B leicht vorn |
| BRIGHT · Decision Index 0.4.1 | 31,8 | 22,4 | Kev 0.8B leicht vorn |
| iSarcasmEval · Decision Index 0.4.1 | 19,9 | 26,3 | Intern-Decision-0.8B leicht vorn |
| FinEntity · Decision Index 0.4.1 | 71,4 | 57,1 | Kev 0.8B leicht vorn |
| RAGTruth · Decision Index 0.4.1 | 46,2 | 53,3 | Intern-Decision-0.8B leicht vorn |
| ContractNLI · Decision Index 0.4.1 | 40,9 | 35,4 | Kev 0.8B leicht vorn |
| ToolRet · Decision Index 0.4.1 | 51,7 | 47,4 | Kev 0.8B leicht vorn |
| Amazon ESCI · Decision Index 0.4.1 | 22,9 | 24,4 | Intern-Decision-0.8B leicht vorn |
| GPQA Diamond · Decision Index 0.4.1 | 33,2 | 28,1 | gleichauf |
| CRUXEval · Decision Index 0.4.1 | 37,7 | 32,8 | gleichauf |
| ChessBench · Decision Index 0.4.1 | 7,9 | 8,8 | gleichauf |
| POP909 · Decision Index 0.4.1 | 1,5 | 1,6 | gleichauf |
| MuSR · Decision Index 0.4.1 | 48,9 | 51,3 | gleichauf |
| NLI4CT · Decision Index 0.4.1 | 55,9 | 57,7 | gleichauf |
| BBH · Decision Index 0.4.1 | 41,4 | 42,7 | gleichauf |
| New Yorker · Decision Index 0.4.1 | 27,8 | 27,1 | gleichauf |
| HoVer · Decision Index 0.4.1 | 51,0 | 52,3 | gleichauf |
| cfcolor · Decision Index 0.4.1 | 55,4 | 56,7 | gleichauf |
| GSM8K · Decision Index 0.4.1 | 19,0 | 18,6 | gleichauf |
| HellaSwag · Decision Index 0.4.1 | 42,9 | 43,6 | gleichauf |
| ANLI · Decision Index 0.4.1 | 33,6 | 34,1 | gleichauf |
| HLE · Decision Index 0.4.1 | 13,8 | 13,6 | gleichauf |
| WinoGrande · Decision Index 0.4.1 | 52,8 | 53,1 | gleichauf |
| CLadder · Decision Index 0.4.1 | 50,5 | 50,5 | gleichauf |
| Home appliances · Decision Index 0.4.1 | 0,0 | 0,0 | gleichauf |
Quelle · zuletzt 28. Oktober 2026
Zero-shot IE benchmark
gleichaufKev 0.8B ist in 0 von 4 Teiltests klar vorn, Intern-Decision-0.8B in keinem. 4 sind gleichauf.
Zero-shot IE multilingual: rare-language tier accuracy
18 Aufgaben, Stand 17. Oktober 2026
Zero-shot IE spectrum: mixed-pool classification accuracy
48 Aufgaben, Stand 17. Oktober 2026
Zero-shot IE multilingual: medium-resource-language tier accuracy
18 Aufgaben, Stand 17. Oktober 2026
Alle 4 Teiltests zeigen
| Teiltest | Kev 0.8B | Intern-Decision-0.8B | Urteil |
|---|---|---|---|
| Zero-shot IE multilingual: rare-language tier accuracy | 50,0 % | 78,0 % | gleichauf |
| Zero-shot IE spectrum: mixed-pool classification accuracy | 72,9 | 77,1 | gleichauf |
| Zero-shot IE multilingual: medium-resource-language tier accuracy | 89,0 % | 94,0 % | gleichauf |
| Zero-shot IE multilingual: popular-language tier accuracy | 94,0 % | 94,0 % | gleichauf |
Quelle · zuletzt 17. Oktober 2026
Duan et al., General Decision Models: Benchmarking and Insights Beyond Jev
Kev 0.8B vornJEVal aida-testc accuracy
200 Aufgaben, Stand 22. Oktober 2026
Quelle · zuletzt 22. Oktober 2026
Alle Daten im Vergleich
| Kev 0.8B | Intern-Decision-0.8B | |
|---|---|---|
| Art | Adapter | Eigenständig |
| Entwickler | Jared Palmer | InternLM |
| Status | Open Source | Open Source |
| Veröffentlicht | 20. September 2026 | k. A. |
| Gewichte | offen | offen |
| Läuft lokal | ja | ja |
| Parameter | k. A. | 0,8 Mrd. |
| Lizenz | Apache-2.0 für Adapter und Kopf | Apache-2.0 mit erhaltenen Qwen-Hinweisen |
| Beliebtheit (von 100) | 45 | 38 |