Mixtral 8x22B

Mixtral 8x22B ist ein offenes Mixture-of-Experts-Modell aus der früheren großen Mixtral-Generation. Mistral nennt 141 Milliarden Gesamtparameter, 39 Milliarden aktive Parameter und 64.000 Token Kontext. Die Architektur aktiviert pro Token nur einen Teil der acht Experten. Das Modell unterstützt Text, Funktionsaufrufe und eingeschränkte Ausgaben und wurde für mehrsprachige Anwendungen sowie Coding veröffentlicht.

Die Apache-2.0-Lizenz und die offenen Gewichte machen Mixtral 8x22B vor allem für eigene Inferenz und historische Modellvergleiche interessant. Im Verzeichnis steht mit Mixtral 8x7B eine kleinere Geschwistergeneration. Die ähnliche Mixture-of-Experts-Idee sagt dabei nichts über identische Fähigkeiten, Limits oder direkte Gewichtsabstammung aus.