Falcon 3 7B

Falcon 3 7B ist der kompakte offene Basiskern der Falcon-3-Familie von TII. Laut Veröffentlichungsbericht wurde er in einem großen Vortraining auf 14 Billionen Token aus Web-, Code-, STEM- und mehrsprachigen Daten trainiert. Die Veröffentlichung führt ihn als Basismodell, während Gespräche und Agenten eine separate Instruct-Ableitung benötigen.

Falcon 3 7B hat 32.768 Token Kontext. Falcon 3 10B baut laut TII über Depth Upscaling auf derselben Trainingslinie auf, bleibt aber ein eigener 10B-Checkpoint. Beide Varianten sind Basismodelle ohne Instruktions-Nachtraining.