Phi-4

Phi-4 verbindet 14 Milliarden dichte Parameter mit einem Kontext von 16.384 Token. Microsoft trainierte den Checkpoint auf 9,8 Billionen Token, darunter einen großen Anteil synthetischer und kuratierter Daten. Die Gewichte stehen unter der MIT-Lizenz.

Microsoft beschreibt Phi-4 als Weiterentwicklung der Phi-3-Reihe mit nur kleinen Architekturänderungen. Die Fortschritte sollen vor allem aus Datenmischung, Curriculum und Post-Training stammen. Die Modellkarte weist Englisch als primäre Sprache aus.