Falcon 3 10B

Falcon 3 10B ist die größere offene Modellvariante des Falcon-3-Zyklus von TII. TII beschreibt sie als Ergebnis von Depth Upscaling, bei dem redundante Schichten aus der Trainingslinie von Falcon 3 7B dupliziert und anschließend mit weiteren 2 Billionen hochwertigen Token weitertrainiert wurden.

Der Basis-Checkpoint hat 32.768 Token Kontext und steht unter der Falcon-Lizenz. Für Dialoge gibt es eine separate Instruct-Ableitung.