Zum Hauptinhalt springen
Sprachmodell

OLMo 2 13B

Allen Institute

Veröffentlicht
November 2024

OLMo 2 13B ist Allen AIs vollständig offener Forschungs-Checkpoint, nicht nur ein herunterladbarer Gewichtsblock. Allen AI veröffentlicht neben den Modellen auch Trainingscode, Checkpoints, Protokolle und Details zur Datenaufbereitung. Der 13B-Checkpoint wurde laut Modellkarte auf 5 Billionen Token trainiert und bleibt mit 4.096 Token Kontext bewusst kompakt.

Die OLMo-2-Veröffentlichung enthält Basis-, SFT-, DPO- und RLVR-Varianten. OLMo 2 13B gehört zur 1124-Veröffentlichung und ist ein eigener Trainingsstand, während OLMo 2 32B zur späteren 0325-Veröffentlichung gehört. Beide Checkpoints bleiben auf 4.096 Token Kontext begrenzt.

Technische Daten und Zugang

AngabeWert und Quelle
Gewichte
Open WeightsQuelle
Parameter
13 Mrd.Quelle
Kontextfenster
4.096 TokenQuelle
Lizenz
Apache 2.0Quelle
Eingaben
TextQuelle
Ausgaben
TextQuelle