Phi-4-mini

Neu an Phi-4-mini sind ein auf rund 200.000 Token vergrößertes Vokabular, Grouped-Query Attention und gemeinsam genutzte Ein- und Ausgabe-Embeddings. Microsoft nennt 23 unterstützte Sprachen. Der offene 3,8B-Instruct-Checkpoint hat 128K Token Kontext und wurde mit synthetischen sowie gefilterten öffentlichen Daten, SFT und DPO trainiert.

Microsoft weist auf begrenztes Faktenwissen des 3,8B-Modells hin.