StarCoder2 15B

StarCoder2 15B ist BigCodes Code-Completion-Modell, kein allgemeiner Chat-Assistent. Es wurde auf mehr als 600 Programmiersprachen aus The Stack v2 und insgesamt mehr als 4 Billionen Token trainiert. Mit 16.384 Token Kontext, 4.096 Token Sliding Attention und Fill-in-the-Middle eignet es sich für Codevervollständigung, das Ergänzen von Lücken und die Arbeit mit Dateien im Editor.

Die Modellkarte sagt ausdrücklich, dass direkte Anweisungen wegen des fehlenden Instruction-Tunings nicht gut funktionieren. StarCoder2 15B ist damit auf Completion und Fill-in-the-Middle zugeschnitten, nicht auf Chat. BigCode weist außerdem auf mögliche wörtliche Ausgaben aus Trainingsdaten hin; die Open-RAIL-M-Lizenz gehört zur veröffentlichten Modellidentität.