Zum Hauptinhalt springen
SprachmodellOffene Gewichte

K2 Horizon 3.7B

Institute of Foundation Models

Veröffentlicht
3. September 2026
Datenstand
7. Oktober 2026
Eingabe
Text
Ausgabe
Text

K2 Horizon 3.7B bringt die dichte Modellarchitektur auf eine kompaktere Stufe und behält den nativen Kontext von 524.288 Token. Seine veröffentlichte Trainingsfolge umfasst eigene Math-, Code- und STEM-Code-RL-Experten, deren Gewichte zusammengeführt und anschließend mit FTPO nachtrainiert werden.

Technische Daten und Zugang

AngabeWert und Quelle
Parameter
3,7 Mrd. GesamtparameterQuelle
Aktive Parameter
3,7 Mrd. Parameter je TokenQuelle
Kontextfenster
524.288 TokenQuelle
Eingabemodalitäten
TextQuelle
Ausgabemodalitäten
TextQuelle
Dokumentierte Trainingsstufen
Vortraining, vier Midtraining-Stufen, Math-, Code- und STEM-Code-RL-Experten mit Merge, zwei SFT-Phasen und ein abschließender Anti-Doom-Loop-Schritt mit FTPO.Quelle
Lizenz
Apache 2.0Quelle