Apertus 70B

Apertus 70B ist die große Instruct-Variante der vollständig offenen Sprachmodellfamilie von Swiss AI. Die offizielle Karte beschreibt 15 Billionen Vortrainingstoken, 1.811 nativ unterstützte Sprachen und eine transparente Veröffentlichung von Gewichten, Skripten zur Rekonstruktion der Trainingsdaten und Trainingsdetails. Decoder-only-Architektur, SFT und QRPO verbinden die offene Forschungsbasis mit einem einsatzbereiten Instruktionsmodell. Der Kontext beträgt 65.536 Token.

Swiss AI trainierte Apertus 70B von Grund auf mit dem AdEMAMix-Optimierer und xIELU-Aktivierungen. Apertus 8B ist der kleinere Familienpartner mit derselben Sprachabdeckung, aber eigenem Gewichtsstand.