EntscheidungsmodellOffene Gewichte
AutoTrust JEV-27B
AutoTrust AI
- Veröffentlicht
- 27. September 2026
- Datenstand
- 7. Oktober 2026
Das Besondere an AutoTrust JEV-27B sind seine zwei getrennten Ausgabemodi. Der System-One-Adapter liefert Noul-, Choice- oder Score-Wahrscheinlichkeiten, während der unveränderte Qwen3.8-27B-Pfad weiterhin Texte erzeugt und Schritt für Schritt schlussfolgert.
AutoTrust trainierte den Entscheidungsadapter als unabhängigen Schüler auf veröffentlichten Ausgabeverteilungen von TypeSafe Jev 1.13. Die Gewichte teilen weder Code noch Parameter mit Jev und stehen unter Apache-2.0. Das native Kontextfenster beträgt 262.144 Token, muss beim Start von vLLM aber ausdrücklich aktiviert werden.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Modellklasse | Ein Gewichts-Checkpoint für System-One-Entscheidungen und System-Two-TextgenerierungQuelle |
| Parameter | 26.895.998.464 laut Safetensors-MetadatenQuelle |
| Eingabemodalitäten | Text und JSON-ZuständeQuelle |
| Ausgabemodalitäten | Kalibrierte Noul-, Choice- und Score-Wahrscheinlichkeiten oder regulär generierter Text im System-Two-ModusQuelle |
| Aufbau | Unverändertes Qwen/Qwen3.8-27B als Sprachmodell plus separater LoRA-Adapter und EntscheidungskopfQuelle |
| Kontextfenster | 262.144 Token nativ; vLLM muss für das volle Fenster ausdrücklich mit max-model-len 262144 gestartet werdenQuelle |
| Lizenz | Apache-2.0Quelle |
Seite 1 von 9
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
JevBench public · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 88.7
- Bewertung
- 88.7
- Messgröße
- family-macro score, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Stichprobe
- 231
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Öffentlicher JevBench mit 231 Aufgaben. Die Modellkarte weist darauf hin, dass der Familien-Mittelwert nicht der JevBench-v1.4.2-Ranglistenmetrik entspricht.
Kev · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 83.75
- Bewertung
- 83.75
- Messgröße
- equal-weight mean accuracy, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Gleich gewichteter Mittelwert der Genauigkeit aus sechs Ergebnissen in Entwicklungs- und Testaufteilungen von decision-v7, transfer-v4 und transfer-v9.
OpenJev text · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 73.89
- Bewertung
- 73.89
- Messgröße
- mean accuracy across 19 static tasks, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Mittelwert über 19 statische Textaufgaben aus NLI, Multiple-Choice-Rangfolge und GSM8K mit fester Kandidatenliste.
Nimble · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 92.91
- Bewertung
- 92.91
- Messgröße
- accuracy, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Stichprobe
- 282
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Feste Nimble-Teilmenge mit 282 Aufgaben.
VitaminC · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 77.46
- Bewertung
- 77.46
- Messgröße
- accuracy, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Stichprobe
- 599
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Feste VitaminC-dev-Teilmenge mit 599 Beispielen.
MASSIVE-en · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 87.71
- Bewertung
- 87.71
- Messgröße
- accuracy, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Stichprobe
- 350
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Feste englische MASSIVE-Teilmenge mit 350 Beispielen.
Six-group public decision benchmark mean · AutoTrust evaluation (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 84.07
- Bewertung
- 84.07
- Messgröße
- equal-weight mean of six reported group scores, percent
- Einheit
- %
- Benchmark-Version
- AutoTrust results updated 2026-09-27
- Kategorie
- public-decision-benchmarks
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AutoTrust führte am 26.09.2026 den exakten Checkpoint autotrust/JEV-27B System 1 aus. Gleich gewichteter Mittelwert aus den sechs veröffentlichten öffentlichen Benchmark-Gruppen.
decision-models-under-pressure · option-order flip rate (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 7.4
- Bewertung
- 7.4
- Messgröße
- share of answers changed by shuffling options
- Einheit
- %
- Benchmark-Version
- published 2026-09-25 benchmark
- Kategorie
- human-gold-choice-benchmark
- Richtung
- Weniger ist besser
- Stichprobe
- 800
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Exakter JEV-27B, 16 Optionen und fünf Anordnungen; der Benchmark mit menschlichen Goldlabels umfasst 800 Aufgaben aus vier Bereichen.
Choice top-1 agreement · clear top option (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 95.8
- Bewertung
- 95.8
- Messgröße
- agreement when Jev target top-two probabilities differ by at least 0.1
- Einheit
- %
- Benchmark-Version
- held-out test_set_30k / jev-distill-corpus-v3
- Kategorie
- system-1-calibration-and-fidelity
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Exakter autotrust/JEV-27B System 1. Auswahlentscheidungen von System 1 auf zurückgehaltenen Zeilen, deren zwei höchstbewertete Lehrer-Optionen sich um mindestens 0,1 unterscheiden.
- Einordnung
- Die Zahl der Fälle in dieser Teilmenge mit deutlichem Abstand zwischen den beiden besten Optionen wurde nicht veröffentlicht.
Choice top-1 agreement · Jev-labelled (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 90.5
- Bewertung
- 90.5
- Messgröße
- top-1 agreement with Jev
- Einheit
- %
- Benchmark-Version
- held-out test_set_30k / jev-distill-corpus-v3
- Kategorie
- system-1-calibration-and-fidelity
- Richtung
- Mehr ist besser
- Stichprobe
- 8312
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Exakter autotrust/JEV-27B System 1. System 1 auf der Teilmenge yuri_v3 · choice aus test_set_30k mit 8.312 Zeilen.
- Einordnung
- Die Modellkarte berichtet 90,5 % für Zeilen mit Jev-Labels.
Choice top-1 flip rate under option shuffle (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 2.9
- Bewertung
- 2.9
- Messgröße
- share of top-1 choices changed by option permutation
- Einheit
- %
- Benchmark-Version
- held-out test_set_30k / jev-distill-corpus-v3
- Kategorie
- system-1-calibration-and-fidelity
- Richtung
- Weniger ist besser
- Stichprobe
- 1000
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Exakter autotrust/JEV-27B System 1. Auswahlaufgaben von System 1, 1.000 Zeilen mit jeweils vier zufälligen Umordnungen der Optionen.
- Einordnung
- Die Modellkarte berichtet einen Gesamtwert über vier zufällige Permutationen.
HumanEval · JEV-27B System 2 (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 78
- Bewertung
- 78
- Messgröße
- greedy completion pass@1 (128/164)
- Einheit
- %
- Benchmark-Version
- HumanEval
- Kategorie
- system-2-code-generation
- Richtung
- Mehr ist besser
- Stichprobe
- 164
- Quellentyp
- vendor-reported
- Auswertung
- AutoTrust JEV-27B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. System 2 verwendet den Qwen3.8-27B-Backbone mit deaktiviertem Entscheidungsadapter; Greedy-Vervollständigungsprompt mit höchstens 384 neuen Tokens. Alle 164 Vervollständigungen waren byte-identisch mit dem Basismodell.
- Einordnung
- Dies ist der Generierungspfad von System 2 und kein Score des Entscheidungs-Kopfs von System 1.
Seite 1 von 9
Quellen und Datenstand
| Art | Nachweis und Datenstand |
|---|---|
| Recherchestand | Recherchestand 7. Oktober 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell. |
| Weitere Quelle | AutoTrust JEV-27B announcement (abgerufen 7. Oktober 2026) · AutoTrust JEV-27B announcement · Redaktionelle Beschreibung geprüft am 7. Oktober 2026 |
| Weitere Quelle | AutoTrust JEV-27B model card (abgerufen 7. Oktober 2026) · AutoTrust JEV-27B model card · Redaktionelle Beschreibung geprüft am 7. Oktober 2026 |
| Weitere Quelle | AutoTrust JEV-27B weight metadata (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Jev Decision Index 0.3 public-results data (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Jev Decision Index 0.3 score decomposition data (abgerufen 7. Oktober 2026) |
| Weitere Quelle | AutoTrust JEV-27B model card (abgerufen 7. Oktober 2026) |