WizardLM-2 8x22B

WizardLM-2 8x22B ist ein großes, sparsames Mixture-of-Experts-Instruct-Modell von Microsoft. Der Checkpoint umfasst 141 Milliarden Parameter, aktiviert pro Token aber etwa 39 Milliarden. Microsoft ordnet ihn als größte WizardLM-2-Variante für komplexe Gespräche, Mehrsprachigkeit, Schlussfolgern und agentische Aufgaben ein. Das Kontextfenster umfasst 65.536 Token.

Die Modellkarte dokumentiert Bereitstellung über Transformers, vLLM und SGLang. In der Modellliste stehen außerdem quantisierte Fassungen für llama.cpp, Ollama und LM Studio. Die Apache-2.0-Lizenz gilt für den veröffentlichten Checkpoint.