Zum Hauptinhalt springen
SprachmodellAktiv

Llama 3.2 1B

Meta

Veröffentlicht
25. September 2024
Datenstand
8. September 2026
Preis
Eingabe · Ausgabe / 1 Mio. Token
Eingabe
Text
Ausgabe
Text

Llama 3.2 1B entstand durch Pruning und Wissensdistillation. Meta nutzte die Token-Wahrscheinlichkeiten von Llama 3.1 8B und 70B als Trainingsziele, um die Leistung nach dem Verkleinern wiederherzustellen. Es ist der kleinste Text-Checkpoint der Llama-3.2-Reihe.

Llama 3.2 3B entstand mit demselben Verfahren als größere Variante. Beide unterstützen 128K Token Kontext; die Gewichte stehen unter der Llama-3.2-Community-Lizenz. Der Wissensstand endet im Dezember 2023.

Technische Daten und Zugang

AngabeWert und Quelle
Gewichte
Open WeightsQuelle
Zugang
API, LokalQuelle
Parameter
1,2 Mrd.Quelle
Kontextfenster
131.072 TokenQuelle
Knowledge Cutoff
Dezember 2023Quelle
Lizenz
Llama 3.2 Community LicenseQuelle
Veröffentlichung
2024-10-24Quelle
Parameter
1,23 Mrd.Quelle
Architektur
dense transformerQuelle
Eingabe
TextQuelle
Ausgabe
Text, codeQuelle
Sprachen
Trainings-Token
up to 9TQuelle
Wissensstand
2023-12Quelle