DBRX

Das markanteste Merkmal von DBRX ist die fein aufgelöste MoE-Architektur mit 132 Milliarden Gesamtparametern und 36 Milliarden aktiven Parametern. Pro Token werden vier von 16 Experten gewählt; trainiert wurde auf ungefähr 12 Billionen Token. Die Instruct-Variante verbindet 32K Kontext mit Coding-, RAG- und SQL-Einsatz für kontrollierte Unternehmensbereitstellung.

Databricks veröffentlichte Base- und Instruct-Gewichte und beschrieb API-Nutzung für Databricks-Kunden sowie private Bereitstellung. Hier geht es um die Instruct-Variante, nicht um DBRX Base.