Zum Hauptinhalt springen
SprachmodellOffene Gewichte

K2 Horizon 375B-A23B

Institute of Foundation Models

Veröffentlicht
3. September 2026
Datenstand
7. Oktober 2026
Eingabe
Text
Ausgabe
Text

K2 Horizon 375B-A23B ist das größte Modell der offenen IFM-Flotte. Seine MoE-Architektur vereint 375 Milliarden Gesamtparameter und aktiviert 23 Milliarden pro Token. IFM veröffentlicht dazu Zwischenstände aus Vortraining, Midtraining, Reinforcement Learning und SFT, sodass sich mehrere Entwicklungsschritte untersuchen lassen.

Technische Daten und Zugang

AngabeWert und Quelle
Parameter
375 Mrd. GesamtparameterQuelle
Aktive Parameter
23 Mrd. Parameter je TokenQuelle
Kontextfenster
524.288 TokenQuelle
Eingabemodalitäten
TextQuelle
Ausgabemodalitäten
TextQuelle
Dokumentierte Trainingsstufen
Vortraining in zwei Phasen, Midtraining in vier Stufen, fünf RL-Experten mit anschließendem Merge sowie SFT in drei Phasen.Quelle
Lizenz
Apache 2.0Quelle