Decider 35B A3B NVFP4

Decider 35B A3B NVFP4 ist die quantisierte Form von Decider 35B A3B. Das Readout bleibt gleich. Aufmerksamkeitsprojektionen und Expertenkomponenten werden zu NVFP4 quantisiert; Delta-Net-Faltungen und Eingangsprojektionen, Router, Gates, Embeddings und LM-Head bleiben in bf16. Der veröffentlichte Speicherbedarf sinkt dadurch von 65 GB beim bf16-Checkpoint auf 19,6 GB. Der Checkpoint zielt auf vLLM, TensorRT-LLM und SGLang auf Blackwell-GPUs.

Über die veröffentlichten Testaufbauten liegt NVFP4 1 bis 1,5 Punkte unter bf16.