Zum Hauptinhalt springen
SprachmodellOffene Gewichte

K2 Horizon MoVA 36B-A4B

Institute of Foundation Models

Veröffentlicht
3. September 2026
Datenstand
7. Oktober 2026
Eingabe
Text
Ausgabe
Text

K2 Horizon MoVA 36B-A4B ergänzt die dichte 32B-Variante um eine sparsame Architektur. Mixture-of-Value-Attention verteilt die Aufmerksamkeit über Experten, während pro Token ungefähr 4 Milliarden der 36 Milliarden Parameter aktiv sind.

Technische Daten und Zugang

AngabeWert und Quelle
Parameter
36 Mrd. GesamtparameterQuelle
Aktive Parameter
4 Mrd. Parameter je TokenQuelle
Kontextfenster
524.288 TokenQuelle
Eingabemodalitäten
TextQuelle
Ausgabemodalitäten
TextQuelle
Dokumentierte Trainingsstufen
Vortraining, Midtraining in vier Stufen und SFT in zwei Phasen.Quelle
Lizenz
Apache 2.0Quelle