SOLAR 10.7B v1.0

SOLAR 10.7B v1.0 ist Upstages kompakter offener Modell-Checkpoint und vor allem wegen seiner Trainingsmethode interessant. Depth Upscaling verändert die Architektur eines 7B-Ausgangsmodells, erweitert die Schichten und setzt das Vortraining mit zusätzlichen Daten fort. So wollte Upstage mehr Kapazität unterhalb der damals üblichen 30B-Klasse erreichen, ohne einen entsprechend großen dichten Checkpoint zu veröffentlichen.

SOLAR 10.7B v1.0 ist ein Basismodell mit 10,7 Milliarden Parametern und 4.096 Token Kontext. Es hat kein Instruktions-Nachtraining für Chatdialoge.