Nemotron 3 Super 120B A12B

Nemotron 3 Super 120B A12B ist NVIDIAs Modell mit LatentMoE und hybrider Mamba-2-, MoE- und Attention-Architektur. Er umfasst 120 Milliarden Gesamtparameter und aktiviert 12 Milliarden pro Token.

NVIDIA bewirbt bis zu 1M Token Kontext. Das Standardbeispiel für vLLM setzt die maximale Modelllänge auf 262.144 Token. Für das längere Fenster beschreibt die Modellkarte eine zusätzliche Long-Context-Konfiguration.