Zum Hauptinhalt springen
Sprachmodell

Mixtral 8x7B

Mistral AI

Veröffentlicht
Dezember 2023

Das Besondere an Mixtral 8x7B ist die sparsame MoE-Berechnung. Ein Router wählt pro Token zwei von acht Experten; zusammen nennt Mistral 46,7 Milliarden Gesamtparameter und rund 12,9 Milliarden aktive Parameter bei 32.000 Token Kontext. Fünf Sprachen, Coding und Apache 2.0 gehören zum Release.

Die größere Variante Mixtral 8x22B übernimmt die Router-und-Experten-Idee von Mixtral 8x7B.

Technische Daten und Zugang

AngabeWert und Quelle
Gewichte
Open WeightsQuelle
Zugang
Parameter
46,7 Mrd.Quelle
Aktive Parameter
12,9 Mrd.Quelle
Kontextfenster
32.768 TokenQuelle
Lizenz
Apache 2.0Quelle
Eingaben
TextQuelle
Ausgaben
TextQuelle