TypeSafe AIEntscheidungsmodellEarly Access

Jev

BeliebtheitPlatz 221 von 875

43von 100wie im Vormonat

Zusammenfassung

Jev ist TypeSafe AIs erster öffentlich verfügbarer System-One-Checkpoint und auf Entscheidungen in Software zugeschnitten. Beim Aufruf übergibst du einen unstrukturierten Zustand und typisierte Fragen. Choice und Score liefern Wahrscheinlichkeiten und Konfidenz; Noul liefert die Wahrscheinlichkeit dafür, dass eine Aussage wahr ist. Dadurch kann eine Anwendung direkt routen, bewerten oder einen Workflow verzweigen, ohne generierte Sätze zu parsen.

Jev läuft über die API-Kennung jev-latest und befindet sich im frühen Zugang. Weil der Checkpoint keine Antwort-Token erzeugt, ist Textformulierung nicht sein Einsatzzweck.

GraduallyBench Decision

Automatisch ausgewertet anhand festgelegter Regeln.

Der Pilot umfasst 60 Testfälle aus 30 Szenarien auf Deutsch und Englisch. Fünf gleich gewichtete Aufgabenfamilien bilden den Wert von 0 bis 100. Fehlgeschlagene Anfragen und ungültige Antworten zählen als nicht erfolgreiche Entscheidungen. Die 30 Robustheitsvarianten und 40 Entwicklungsfälle werden getrennt ausgewertet.

Die Referenzantworten folgen gespeicherten Regeln und Berechnungen. Die automatische Regelprüfung erfolgte nach den Modellläufen. Aufgabenformulierungen und Übersetzungen wurden nicht menschlich gegengeprüft. Die Ergebnisse gelten für die genaue getestete Modellkennung und Route.

Protokoll decision-choice-automated-v1. Keine bestätigte Anbieterrechnung.

Jev 1.13.0

TypeSafe · jev-1.13.0 · https://api.typesafe.ai/v1/systemone · Getestet 05.11.2026

Sollentscheidungsquote im Testplan: 93,3 % (56 / 60)
Gültige Testantworten: 60 / 60
Korrekte Robustheitsvarianten: 30 / 30
Korrekte Entwicklungsfälle, außerhalb des Testwerts: 37 / 40
Unnötige Eskalationen: 0 / 52
Unterlassene notwendige Eskalationen: 2 / 8
API-Anfrage, Median / p95: 334 / 1.030 ms (n = 130)
API-Kosten: Nicht verfügbar

Netzweg enthalten, einschließlich Client-Verarbeitung. Jev kann intern einmal wiederholen; die genaue Zahl seiner HTTP-Versuche ist unbekannt.

Ergebnisse je Aufgabenfamilie
Aufgabe	Korrekt / geplant	Zeitlimit erreicht	Transportfehler	Ungültige Antworten
Dringlichkeit	11 / 12	0	0	0
Zuständigkeit	12 / 12	0	0	0
Auswahl mit Bedingungen	12 / 12	0	0	0
Zahlen und Tabellen	10 / 12	0	0	0
Ausreichende Evidenz	11 / 12	0	0	0

Alle Benchmark-Werte

Jeder veröffentlichte Messwert mit Quelle, Testbedingungen und Vergleichsmodellen.

Alle 189 veröffentlichten Benchmark-Werte anzeigen

Messungen ohne passende Vergleichswerte

Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.

MMLU-Pro (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 82.7
Bewertung: 82.7
Messgröße: all-requested accuracy
Einheit: %
Kategorie: decision
Richtung: Mehr ist besser
Quellentyp: independent-evaluator
Auswertung: JevResearch independent evaluation
Status: active
Abrufdatum: 2026-10-15
Methodik: Unabhängige Evaluation. Von Jev gemeldeter Stand jev-1.13.0; Eingefrorene unabhängige Testsuite; Bewertung aller angeforderten Aufgaben; Bericht, Revision 3, 2026-10-03.

Quelle JevResearch independent evaluation

GPQA Diamond (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 76.5
Bewertung: 76.5
Messgröße: all-requested accuracy
Einheit: %
Kategorie: decision
Richtung: Mehr ist besser
Quellentyp: independent-evaluator
Auswertung: JevResearch independent evaluation
Status: active
Abrufdatum: 2026-10-15
Methodik: Unabhängige Evaluation. Von Jev gemeldeter Stand jev-1.13.0; Eingefrorene unabhängige Testsuite; Bewertung aller angeforderten Aufgaben; Bericht, Revision 3, 2026-10-03.

Quelle JevResearch independent evaluation

Belebele across 122 languages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 86.7
Bewertung: 86.7
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; full evaluation split; zero-shot
Richtung: Mehr ist besser
Stichprobe: 109800
Untere Konfidenzgrenze: 86.5
Obere Konfidenzgrenze: 86.9
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Der Beitrag prüft die Jev-Serverversion jev-1.13.0; vollständiger Belebele-Evaluierungssplit, Zero-Shot, eine eingefrorene Vorlage, 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples. Der aktuelle API-Serverstand wird durch diese Arbeit nicht bestätigt.
Einordnung: Der historische Wert ist an jev-1.13.0 gebunden und misst weder das aktuelle API-Alias noch dessen Bereitstellung.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

SIB-200 (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 81.5
Bewertung: 81.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; full evaluation split; zero-shot
Richtung: Mehr ist besser
Stichprobe: 41820
Untere Konfidenzgrenze: 81.2
Obere Konfidenzgrenze: 81.9
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Der Beitrag prüft die Jev-Serverversion jev-1.13.0; vollständiger SIB-200-Evaluierungssplit, Zero-Shot, eine eingefrorene Vorlage, 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples. Der aktuelle API-Serverstand wird durch diese Arbeit nicht bestätigt.
Einordnung: Der historische Wert ist an jev-1.13.0 gebunden und misst weder das aktuelle API-Alias noch dessen Bereitstellung.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

AfriXNLI (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 64
Bewertung: 64
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; full evaluation split; zero-shot
Richtung: Mehr ist besser
Stichprobe: 10800
Untere Konfidenzgrenze: 63.1
Obere Konfidenzgrenze: 65
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Der Beitrag prüft die Jev-Serverversion jev-1.13.0; vollständiger AfriXNLI-Evaluierungssplit, Zero-Shot, eine eingefrorene Vorlage, 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples. Der aktuelle API-Serverstand wird durch diese Arbeit nicht bestätigt.
Einordnung: Der historische Wert ist an jev-1.13.0 gebunden und misst weder das aktuelle API-Alias noch dessen Bereitstellung.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

Belebele low-resource language minimum: Nigerian Fulfulde (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 37.4
Bewertung: 37.4
Messgröße: accuracy; minimum among the reported language varieties
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; full evaluation split; zero-shot
Richtung: Mehr ist besser
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Einzelergebnis je Sprache laut Fließtext des Beitrags. Stichprobengröße und Konfidenzintervall für diese Sprache sind nicht veröffentlicht.
Einordnung: Unsicherheit und Stichprobengröße dieser Sprache lassen sich nicht aus der Gesamt-Tabelle ableiten.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

SIB-200 low-resource language minimum: Santali (Ol Chiki) (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 19.6
Bewertung: 19.6
Messgröße: accuracy; minimum among the reported language varieties
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; full evaluation split; zero-shot
Richtung: Mehr ist besser
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Santali in Ol-Chiki-Schrift, Klassifikation mit sieben Klassen. Stichprobengröße und Konfidenzintervall für diese Sprache sind nicht veröffentlicht.
Einordnung: Unsicherheit und Stichprobengröße dieser Sprache lassen sich nicht aus der Gesamt-Tabelle ableiten.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

AG News accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 88.5
Bewertung: 88.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; Jev server version jev-1.13.0; zero-shot; full evaluation split
Kategorie: decision
Richtung: Mehr ist besser
Stichprobe: 7600
Untere Konfidenzgrenze: 87.8
Obere Konfidenzgrenze: 89.1
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Zero-Shot mit einer eingefrorenen datensatzspezifischen Vorlage; vollständiger veröffentlichter Evaluierungssplit, N=7600. Die Tabelle nennt ein 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples.
Einordnung: Historische Ergebnisse für Jev-Serverversion 1.13.0 und die genannten eingefrorenen Protokolle. Sie bestätigen nicht das aktuelle Jev-API-Alias.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

IMDB accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 96.5
Bewertung: 96.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; Jev server version jev-1.13.0; zero-shot; full evaluation split
Kategorie: decision
Richtung: Mehr ist besser
Stichprobe: 25000
Untere Konfidenzgrenze: 96.3
Obere Konfidenzgrenze: 96.7
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Zero-Shot mit einer eingefrorenen datensatzspezifischen Vorlage; vollständiger veröffentlichter Evaluierungssplit, N=25000. Die Tabelle nennt ein 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples.
Einordnung: Historische Ergebnisse für Jev-Serverversion 1.13.0 und die genannten eingefrorenen Protokolle. Sie bestätigen nicht das aktuelle Jev-API-Alias.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

Rotten Tomatoes accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 93.30000000000001
Bewertung: 93.30000000000001
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; Jev server version jev-1.13.0; zero-shot; full evaluation split
Kategorie: decision
Richtung: Mehr ist besser
Stichprobe: 1066
Untere Konfidenzgrenze: 91.7
Obere Konfidenzgrenze: 94.69999999999999
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Zero-Shot mit einer eingefrorenen datensatzspezifischen Vorlage; vollständiger veröffentlichter Evaluierungssplit, N=1066. Die Tabelle nennt ein 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples.
Einordnung: Historische Ergebnisse für Jev-Serverversion 1.13.0 und die genannten eingefrorenen Protokolle. Sie bestätigen nicht das aktuelle Jev-API-Alias.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

SST-2 accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 96.39999999999999
Bewertung: 96.39999999999999
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; Jev server version jev-1.13.0; zero-shot; full evaluation split
Kategorie: decision
Richtung: Mehr ist besser
Stichprobe: 872
Untere Konfidenzgrenze: 95.1
Obere Konfidenzgrenze: 97.5
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Zero-Shot mit einer eingefrorenen datensatzspezifischen Vorlage; vollständiger veröffentlichter Evaluierungssplit, N=872. Die Tabelle nennt ein 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples.
Einordnung: Historische Ergebnisse für Jev-Serverversion 1.13.0 und die genannten eingefrorenen Protokolle. Sie bestätigen nicht das aktuelle Jev-API-Alias.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

Emotion accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 58.5
Bewertung: 58.5
Messgröße: accuracy
Einheit: %
Benchmark-Version: arXiv:2609.37647v1; Jev server version jev-1.13.0; zero-shot; full evaluation split
Kategorie: decision
Richtung: Mehr ist besser
Stichprobe: 2000
Untere Konfidenzgrenze: 56.3
Obere Konfidenzgrenze: 60.5
Quellentyp: independent-evaluator
Auswertung: University of Bonn and Fraunhofer IAIS, Jev evaluation paper
Status: active
Abrufdatum: 2026-10-16
Methodik: Unabhängige Evaluation. Jev-Serverversion jev-1.13.0; Zero-Shot mit einer eingefrorenen datensatzspezifischen Vorlage; vollständiger veröffentlichter Evaluierungssplit, N=2000. Die Tabelle nennt ein 95-%-Perzentil-Bootstrap-Konfidenzintervall aus 500 Resamples.
Einordnung: Historische Ergebnisse für Jev-Serverversion 1.13.0 und die genannten eingefrorenen Protokolle. Sie bestätigen nicht das aktuelle Jev-API-Alias.

Quelle University of Bonn and Fraunhofer IAIS, Jev evaluation paper

Seite 1 von 16

Beliebtheit im Vergleich

Wie oft das Modell gesucht, genutzt und erwähnt wird, im Vergleich mit allen Modellen dieser Kategorie.

Beliebtheitsindex

0 bis 100, höher ist beliebter

20 von 37 Modellen

AutoTrust JEV-27B-VL70

Clef51

GLiNER2.5-multi-Decide45

Decider 4B43

Jev43

pplx-decider-v1.1-27b42

Intern-Decision-4B40

Laya Typed Decisions40

Kev 9B40

pplx-decider-v1-27b39

Decider 0.8B39

Julia 139

Intern-Decision-0.8B38

GLiNER2.5-multi-Decide

Decider 4B

Jev

pplx-decider-v1.1-27b

Stand November 2026 · Quelle: gradually.ai Beliebtheitsindex

Zeitlicher Verlauf

Wochenwerte vom 18. Oktober 2026 bis 5. November 2026

JevDecider 4Bpplx-decider-v1.1-27bGLiNER2.5-multi-DecideIntern-Decision-4B

Alle technischen Daten

Architektur

Modellklasse: System-One-Modell; Quelle: Modellklasse

Wasserzeichen und Herkunft

KI-Wasserzeichen meint unsichtbare Signale in der Ausgabe. Sichtbare Zeichen und Herkunftsmetadaten sind getrennt aufgeführt. Unbekannt bedeutet, dass für die jeweilige Angabe kein ausreichender Beleg vorliegt.

KI-Wasserzeichen: Unbekannt; ohne Quelle
Watermarking-Technik: Nicht bekannt; ohne Quelle

Lizenz und Zugang

Zugang: API; Quelle: Zugang

API

API-Modellkennung: jev-latest; Quelle: API-Modellkennung

Weitere Angaben

Ergebnis: Choice und Score mit Wahrscheinlichkeiten und Confidence, Noul als Wert von 0 bis 1; Quelle: Ergebnis
Hinweise: System-One-Modell für typisierte Entscheidungen. Jev erzeugt keinen freien Text.; Quelle: Hinweise

Preise

API-Eingabe: 0,042 $ pro 1 Mio. TokenQuelle
Ausgabegebühr: Keine separate AusgabegebührQuelle

Quellen und Datenstand

Alle 34 Quellen anzeigen

Benchmarkquellen im Überblick

Welche unabhängigen Auswerter dieses Modell getestet haben. Das ist Abdeckung, keine Qualitätsrangliste.

Für dieses Modell ist derzeit kein aktives Ergebnis der geprüften externen Auswerter zugeordnet. Weitere Quellenbelege stehen darunter.

Ohne Herstellerangaben sowie historische oder strittige Ergebnisse; diese stehen gekennzeichnet bei den Einzelwerten.

Art	Nachweis und Datenstand
Recherchestand	Recherchestand 15. Oktober 2026. 26 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
Ungeklärt	benchmark-population-details Hinweis Der unabhängige Bericht nennt insgesamt 16.379 Anfragen über drei Testsuiten; die genauen Stichprobenzahlen je Testsuite wurden nicht in diese Datensätze übernommen.
Ungeklärt	current-api-serving-revision Hinweis Der Beitrag bindet die Messung an Jev 1.13.0, bestätigt aber nicht, welchen Build das aktuelle allgemeine Jev-API-Alias ausliefert.
Nicht veröffentlicht	low-resource-language-sample-sizes-and-confidence-intervals Hinweis Der Beitrag nennt die Minima für Nigerianisches Fulfulde und Santali im Fließtext, veröffentlicht dafür aber weder Stichprobengrößen noch Konfidenzintervalle.
Ungeklärt	valid Jev responses for ECE and Brier_raw Hinweis Die Bildunterschrift zu Tabelle 1 sagt, dass ECE und Brier_raw gültige Antworten verwenden, nennt aber nicht die Zahl gültiger Jev-Antworten.
In den geprüften Quellen nicht gefunden	Exakter Modellwert im öffentlichen Decision-Index-0.4.1-Panel Hinweis Diese Indexausgabe enthält keine exakt zuordenbare Profil-Repository-/Checkpoint-Zeile. Daraus folgt nicht, dass es keine Werte aus anderen Benchmarks gibt.
Weitere Quelle	TypeSafe documentation (abgerufen 21. September 2026) · TypeSafe documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	TypeSafe API documentation (abgerufen 21. September 2026) · TypeSafe API documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	TypeSafe pricing (abgerufen 21. September 2026) · Introducing System One Models and Jev · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	Benchmark Heaven JevBench (abgerufen 15. Oktober 2026)
Weitere Quelle	JevResearch independent evaluation (abgerufen 15. Oktober 2026)
Weitere Quelle	University of Bonn and Fraunhofer IAIS, Jev evaluation paper (abgerufen 16. Oktober 2026)
Weitere Quelle	Decision_Model_Benchmark 0.2.0, raw confirmation metrics (abgerufen 16. Oktober 2026)
Weitere Quelle	Decision_Model_Benchmark 0.2.0, raw CLINC150 confirmation metrics (abgerufen 16. Oktober 2026)
Weitere Quelle	System One Arena (abgerufen 17. Oktober 2026)
Weitere Quelle	Jev in Medicine: A Benchmark Evaluation, arXiv:2609.34024v1 (abgerufen 17. Oktober 2026)
Weitere Quelle	System1-Arena: Which Decisions Can Be Left to System 1?, arXiv:2610.21244v1 (abgerufen 17. Oktober 2026)
Weitere Quelle	PriorBench Jev evaluation report (abgerufen 17. Oktober 2026)
Weitere Quelle	Jianyi Hu, Hangtao Zhang, Yi Liu, Yeqi Zeng, Li Zeng, Xianlong Wang, Rui Wang, and Leo Yu Zhang, JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models, Table 2 (abgerufen 17. Oktober 2026)
Weitere Quelle	AltSlate Labs LLP, pre-registered Jev option-set evaluation (abgerufen 18. Oktober 2026)
Weitere Quelle	DecideBench (abgerufen 18. Oktober 2026)
Weitere Quelle	JEVal, General Decision Models: Benchmarking and Insights Beyond Jev (abgerufen 19. Oktober 2026)
Weitere Quelle	Von model card (abgerufen 22. Oktober 2026)
Weitere Quelle	JevResearch (Jev operator) (abgerufen 23. Oktober 2026)
Weitere Quelle	JEVal, General Decision Models: Benchmarking and Insights Beyond Jev (abgerufen 24. Oktober 2026)
Weitere Quelle	Modellmetadaten (abgerufen 16. Oktober 2026)
Weitere Quelle	Modellmetadaten (abgerufen 17. Oktober 2026)1 2 3 4 5 6 7
Weitere Quelle	Modellmetadaten (abgerufen 18. Oktober 2026)
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0