Gestalt LabsEntscheidungsmodellOpen Source
Jeff 1
BeliebtheitPlatz 358 von 876
36von 100-2 zum Vormonat
Zusammenfassung
Jeff 1 besteht aus einem LoRA-Adapter auf einem Qwen3-4B-Instruct-2507-Basismodell und wertet die Token-Wahrscheinlichkeiten der Kandidaten aus. Der Adapter setzt separat geladene Basisgewichte voraus. Lokal verarbeitet Jeff Text oder strukturierte Daten und gibt für Choice-, Noul- und Score-Fragen Labels und Wahrscheinlichkeiten zurück.
Die Jev-kompatible Schnittstelle bezeichnet die technische Kompatibilität, keine Verbindung zu TypeSafe AI und keine identischen Ergebnisse mit Jev. Jeff ist ein unabhängiges Projekt mit Apache-2.0-Lizenz für Adapter und Quellcode. Seine Labelmengen gibst du beim Aufruf vor.
Alle Benchmark-Werte
Jeder veröffentlichte Messwert mit Quelle, Testbedingungen und Vergleichsmodellen.
Alle 17 veröffentlichten Benchmark-Werte anzeigen
Seite 1 von 2
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
Jeff 1 paired fact-check audit, supported predictions on gold-refuted rows (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 12.3
- Bewertung
- 12.3
- Messgröße
- rate of 'supported' predictions among gold-refuted rows
- Einheit
- %
- Kategorie
- unsupported-positive-rate
- Richtung
- Keine Richtung veröffentlicht
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-20
- Methodik
- Vom Anbieter veröffentlichter Wert. Gepaarter Fact-Check-Test von Jeff 1. Die gepinnte Kartenrevision ist 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; SHA-256 des veröffentlichten Adapters: 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a.
- Einordnung
- Die Karte sagt, dass der 9.730-Zeilen-Evaluationssatz in die Entwicklung einfloss und kein unberührter Holdout ist. Der Bericht nennt im geöffneten Dokument keinen Nenner für diese Teilgruppe.
Jeff 1 paired fact-check audit, supported predictions on gold-not-enough-info rows (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 24.4
- Bewertung
- 24.4
- Messgröße
- rate of 'supported' predictions among gold-not_enough_info rows
- Einheit
- %
- Kategorie
- unsupported-positive-rate
- Richtung
- Keine Richtung veröffentlicht
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-20
- Methodik
- Vom Anbieter veröffentlichter Wert. Gepaarter Fact-Check-Test von Jeff 1. Die gepinnte Kartenrevision ist 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; SHA-256 des veröffentlichten Adapters: 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a.
- Einordnung
- Die Karte sagt, dass der 9.730-Zeilen-Evaluationssatz in die Entwicklung einfloss und kein unberührter Holdout ist. Der Bericht nennt im geöffneten Dokument keinen Nenner für diese Teilgruppe.
Paired fact-check accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.8183
- Bewertung
- 0.8183
- Messgröße
- accuracy
- Einheit
- ratio
- Kategorie
- fact-checking
- Richtung
- Mehr ist besser
- Stichprobe
- 9730
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Vom Anbieter veröffentlichter Wert. Kanonisches gepaartes Audit derselben 9.730 von Menschen beschrifteten Zeilen aus VitaminC, FEVER, SciFact und Climate-FEVER.
- Einordnung
- Der Evaluierungssplit floss in Entwicklung und Fehleranalyse ein; er ist kein unbeeinflusster Holdout.
Paired fact-check macro-F1 (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.7789
- Bewertung
- 0.7789
- Messgröße
- macro-F1
- Einheit
- ratio
- Kategorie
- fact-checking
- Richtung
- Mehr ist besser
- Stichprobe
- 9730
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Vom Anbieter veröffentlichter Wert. Kanonisches gepaartes Audit derselben 9.730 von Menschen beschrifteten Zeilen aus VitaminC, FEVER, SciFact und Climate-FEVER.
- Einordnung
- Der Evaluierungssplit floss in Entwicklung und Fehleranalyse ein; er ist kein unbeeinflusster Holdout.
Paired fact-check Brier score (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.2839
- Bewertung
- 0.2839
- Messgröße
- Brier score
- Einheit
- ratio
- Benchmark-Version
- Gestalt-Lab Jeff-1 card revision 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; released adapter 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a
- Richtung
- Weniger ist besser
- Stichprobe
- 9730
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab, Jeff-1 model card
- Status
- active
- Abrufdatum
- 2026-10-16
- Methodik
- Vom Anbieter veröffentlichter Wert. GestaltLabs/Jeff-1-Adapter artifacts/jev_clf/lora_4b_multi, SHA-256 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a; Basis Qwen3-4B-Instruct-2507; gepaarter Fact-Check-Test.
- Einordnung
- Dies ist das Ergebnis des veröffentlichten Jeff-Adapters, nicht die Leistung des Qwen-Basismodells.
Paired fact-check expected calibration error (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.0807
- Bewertung
- 0.0807
- Messgröße
- expected calibration error (ECE; max probability, 10 equal-width bins)
- Einheit
- ratio
- Benchmark-Version
- Gestalt-Lab Jeff-1 card revision 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; released adapter 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a
- Richtung
- Weniger ist besser
- Stichprobe
- 9730
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab, Jeff-1 model card
- Status
- active
- Abrufdatum
- 2026-10-16
- Methodik
- Vom Anbieter veröffentlichter Wert. GestaltLabs/Jeff-1-Adapter artifacts/jev_clf/lora_4b_multi, SHA-256 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a; ECE der maximalen Wahrscheinlichkeit mit 10 gleich breiten Bins.
- Einordnung
- Dies ist das Ergebnis des veröffentlichten Jeff-Adapters, nicht die Leistung des Qwen-Basismodells.
Paired fact-check sealed sanity split accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.794
- Bewertung
- 0.794
- Messgröße
- accuracy
- Einheit
- ratio
- Benchmark-Version
- Gestalt-Lab Jeff-1 card revision 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; adapter SHA-256 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a
- Richtung
- Mehr ist besser
- Stichprobe
- 199
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab, Jeff-1 model card
- Status
- active
- Abrufdatum
- 2026-10-16
- Methodik
- Vom Anbieter veröffentlichter Wert. GestaltLabs/Jeff-1-Adapter artifacts/jev_clf/lora_4b_multi, SHA-256 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a; separater versiegelter Plausibilitätssplit mit 199 Zeilen, nicht für Ranglistenvergleiche.
- Einordnung
- Die Karte bezeichnet den kleinen Split nur als Plausibilitätsprüfung; nicht als vergleichbares Ranglistenergebnis verwenden.
Paired fact-check sealed sanity split expected calibration error (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.0634
- Bewertung
- 0.0634
- Messgröße
- expected calibration error (ECE)
- Einheit
- ratio
- Benchmark-Version
- Gestalt-Lab Jeff-1 card revision 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; adapter SHA-256 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a
- Richtung
- Weniger ist besser
- Stichprobe
- 199
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab, Jeff-1 model card
- Status
- active
- Abrufdatum
- 2026-10-16
- Methodik
- Vom Anbieter veröffentlichter Wert. GestaltLabs/Jeff-1-Adapter artifacts/jev_clf/lora_4b_multi, SHA-256 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a; separater versiegelter Plausibilitätssplit mit 199 Zeilen, nicht für Ranglistenvergleiche.
- Einordnung
- Die Karte bezeichnet den kleinen Split nur als Plausibilitätsprüfung; nicht als vergleichbares Ranglistenergebnis.
Jeff 1 paired fact-check audit, not-enough-info recall overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.578
- Bewertung
- 0.578
- Messgröße
- recall on gold not_enough_info rows
- Einheit
- ratio
- Kategorie
- not-enough-info-recall
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-20
- Methodik
- Vom Anbieter veröffentlichter Wert. Gepaarter Fact-Check-Test von Jeff 1. Die gepinnte Kartenrevision ist 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; SHA-256 des veröffentlichten Adapters: 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a.
- Einordnung
- Die Karte sagt, dass der 9.730-Zeilen-Evaluationssatz in die Entwicklung einfloss und kein unberührter Holdout ist. Der Jev-Vergleich wird nicht als Jeff-1-Wert eingetragen.
Jeff 1 paired fact-check audit, not-enough-info recall on single-passage rows (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.523
- Bewertung
- 0.523
- Messgröße
- recall on gold not_enough_info rows with a single passage
- Einheit
- ratio
- Kategorie
- not-enough-info-recall-single-passage
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-20
- Methodik
- Vom Anbieter veröffentlichter Wert. Gepaarter Fact-Check-Test von Jeff 1. Die gepinnte Kartenrevision ist 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; SHA-256 des veröffentlichten Adapters: 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a.
- Einordnung
- Die Karte sagt, dass der 9.730-Zeilen-Evaluationssatz in die Entwicklung einfloss und kein unberührter Holdout ist. Der Jev-Vergleich wird nicht als Jeff-1-Wert eingetragen.
Jeff 1 paired fact-check audit, accuracy on Climate-FEVER multi-passage rows (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.669
- Bewertung
- 0.669
- Messgröße
- accuracy on Climate-FEVER multi-passage rows
- Einheit
- ratio
- Kategorie
- climate-fever-multipassage-accuracy
- Richtung
- Mehr ist besser
- Stichprobe
- 859
- Quellentyp
- vendor-reported
- Auswertung
- Gestalt-Lab Jeff 1 model card
- Status
- active
- Abrufdatum
- 2026-10-20
- Methodik
- Vom Anbieter veröffentlichter Wert. Gepaarter Fact-Check-Test von Jeff 1. Die gepinnte Kartenrevision ist 14ee67e2814a19ebd0a67f508ac1b0f424ba1ebc; SHA-256 des veröffentlichten Adapters: 13cc3805495f7e901ca3121c7a3647fc6abcfe1fdc098ddc9ab1acd74f436a6a.
- Einordnung
- Die Karte sagt, dass der 9.730-Zeilen-Evaluationssatz in die Entwicklung einfloss und kein unberührter Holdout ist. Der Jev-Vergleich wird nicht als Jeff-1-Wert eingetragen.
System One Mosaic Benchmark Noul composite (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 38.37
- Bewertung
- 38.37
- Messgröße
- baseline-adjusted score averaged with equal benchmark weights on a 0-100 scale; Noul uses adjusted balanced accuracy
- Einheit
- points
- Benchmark-Version
- S1MB result commit 29b48e35759743baf63715f62d7ee3f49ba15235; dataset revision b8dc678ecefb471c6d37311d8c93f65249622842; evaluator 0.1.0 revision 02bdeeb4536835e40012a6985df9c8f05045dd5f
- Kategorie
- noul-composite
- Richtung
- Mehr ist besser
- Quellentyp
- official-leaderboard
- Auswertung
- System One Mosaic Benchmark (S1MB) result submission
- Status
- active
- Abrufdatum
- 2026-10-20
- Methodik
- Offizielle Benchmark-Rangliste. Jeff-1-Einreichung. Modell-ID GestaltLabs/Jeff-1, Revision 6071dda782e1e45873f9f1ac001d7d7d47582ed3, Basismodell Qwen/Qwen3-4B-Instruct-2507, Revision cdbee75f17c01a7cc42f958dc650907174af0554. Der zusammengesetzte Wert mittelt 59 Noul-Benchmarks; die separate General-Noul-Teilmenge umfasst 2 Benchmarks. Eine feste Einreichung/ein Lauf: jeff-full-20260930-01; die sechs Spalten sind keine sechs unabhängigen Läufe. Die Quelle berichtet nicht committete Änderungen an Evaluator und Laufzeit.
- Einordnung
- Dies sind Spalten einer einzigen festen Einreichung/eines Laufs, keine unabhängigen Läufe. General-Teilwerte sind bereits in den vollständigen Kategorie-Scores enthalten und belegen keine Generalisierung auf ungesehene Aufgaben. Die Quelle berichtet nicht committete Änderungen an Evaluator und Laufzeit.
Seite 1 von 2
Beliebtheit im Vergleich
Wie oft das Modell gesucht, genutzt und erwähnt wird, im Vergleich mit allen Modellen dieser Kategorie.
Beliebtheitsindex
0 bis 100, höher ist beliebter
20 von 37 Modellen
Stand November 2026 · Quelle: gradually.ai Beliebtheitsindex
Zeitlicher Verlauf
Wochenwerte vom 18. Oktober 2026 bis 6. November 2026
Jeff 1Intern-Decision-2B 37CLM-v0.1-8B 37Decider 2B Vision 36GLiNER2.5-Decide-1B 34
Methodenwechsel im Verlauf, ein Sprung an dieser Stelle ist kein Marktereignis:
- 11. November 2026: Wert nur mit Such- oder Nutzungsdaten, 30-Tage-Aufmerksamkeit
Was gerade an Beliebtheit gewinnt, steht für Modelle, Anbieter, Harnesses und KI-Abos gesammelt in Alle KI-Trends.
Ähnliche Modelle
Weitere Modelle derselben Art wie Jeff 1, ausgewählt nach Modellreihe, Anbieter, Größe, Preis und Erscheinungsdatum.
- AutoTrust JEV-27B-VLAutoTrust AI · beliebt in dieser Kategorie
- AutoTrust JEV-27BAutoTrust AI · beliebt in dieser Kategorie
- GLiNER2.5-DecideFastino Labs · beliebt in dieser Kategorie
- Decider 2BMapika · beliebt in dieser Kategorie
- ClefCloudflare · beliebt in dieser Kategorie
- Clef-FlashCloudflare · beliebt in dieser Kategorie
- Laya MultilingualConvai Innovations · beliebt in dieser Kategorie
- Kev 0.8BJared Palmer · beliebt in dieser Kategorie
Alle technischen Daten
Architektur
Ein- und Ausgabe
Wasserzeichen und Herkunft
KI-Wasserzeichen meint unsichtbare Signale in der Ausgabe. Sichtbare Zeichen und Herkunftsmetadaten sind getrennt aufgeführt. Unbekannt bedeutet, dass für die jeweilige Angabe kein ausreichender Beleg vorliegt.
- KI-Wasserzeichen
- Unbekannt
- ohne Quelle
- Wasserzeichen-Technik
- Nicht bekannt
- ohne Quelle
Lizenz und Zugang
API
Weitere Angaben
- Hinweise
- Der Adapter enthält nicht die Gewichte des Basismodells und ist nicht mit TypeSafe AI verbunden.
- Quelle: Hinweise
Quellen und Datenstand
Alle 11 Quellen anzeigen
Benchmarkquellen im Überblick
Welche unabhängigen Auswerter dieses Modell getestet haben. Das ist Abdeckung, keine Qualitätsrangliste.
Für dieses Modell ist derzeit kein aktives Ergebnis der geprüften externen Auswerter zugeordnet. Weitere Quellenbelege stehen darunter.
Ohne Herstellerangaben sowie historische oder strittige Ergebnisse; diese stehen gekennzeichnet bei den Einzelwerten.