Die 49 besten Open-Source-LLMs (und wie du sie nutzt)

1. Vergleich mit GPT-3.5 und GPT-4

Damit du eine Vorstellung davon hast, wie gut die einzelnen Open-Source-LLMs sind, habe ich sie der Performance von GPT-4 und GPT-3.5 Turbo gegenübergestellt.

Dabei habe ich mich zum einen nach den Elo-Scores des Chatbot Arena Leaderboards orientiert und zum anderen an meiner eigenen Erfahrung (ich habe 20 der 49 LLMs selbst getestet).

Bitte beachte, dass es sich eher um eine Klassifikation handelt, als um einen direkten Vergleich.

Meta Llama 3 70b Instruct ist im direkten Vergleich z. B. besser als einige ältere GPT-4 Modelle, aber schlechter als das neueste GPT-4-Turbo-2024-04-09.

Das heißt auch:

Wenn ein LLM „ungefähr so gut ist wie GPT-4“, kann es sein, dass es bei manchen Aufgaben besser und bei manchen Aufgaben schlechter abschneidet.

2. LLM-Lizenzen erklärt

Hier findest du einen Überblick über die am häufigsten verwendeten Lizenzen bei Open-Source-LLMs.

Llama 2 Community / Llama 3 Community

Unter den Lizenzen hat Meta Llama 2 und Llama 3 veröffentlicht. Sie erlauben die kostenlose Nutzung der LLMs für Forschung und kommerzielle Anwendungen mit bis zu 700 Millionen monatlich aktiven Nutzern. Der Quellcode und die Modellgewichte sind frei verfügbar.

Apache 2.0

Eine sehr freizügige Open-Source-Lizenz, die nur minimale Beschränkungen vorsieht. Sie erlaubt die Nutzung, Modifikation und Weitergabe des LLMs, auch in proprietären Programmen, solange der Urheberrechtshinweis erhalten bleibt. Sie enthält keine Copyleft-Klausel.

CC BY-NC-4.0

Eine Creative-Commons-Lizenz, die es erlaubt, das LLM in jeglicher Form zu bearbeiten und zu teilen, jedoch nicht für kommerzielle Zwecke. Der Name des Urhebers muss genannt werden.

CC BY-NC-SA-4.0

Ähnlich wie CC BY-NC-4.0, jedoch mit der zusätzlichen Share-Alike-Bedingung. Das bedeutet, Forks oder bearbeitete Versionen eines LLMs müssen unter den gleichen Bedingungen weitergegeben werden.

MIT

Eine sehr freizügige Open-Source-Lizenz, ähnlich wie Apache 2.0. Sie erlaubt die uneingeschränkte Nutzung, Modifikation und Weitergabe des LLMs, auch in proprietären Programmen, solange der Urheberrechtshinweis erhalten bleibt.

nicht-kommerziell

Hier ist die Nutzung des LLMS für kommerzielle Zwecke untersagt. Was genau als „kommerziell“ gilt, ist aber nicht immer eindeutig definiert oder eingegrenzt.

Meistens sind „nicht-kommerzielle“ Modelle nur für Forschungszwecke oder zur privaten Nutzung freigegeben.

3. Open-Source-LLMs lokal auf dem eigenen Rechner nutzen

Open-Source-LLMs lokal auf dem eigenen Rechner zu nutzen, geht einfacher, als du vielleicht denkt:

1. Lade LM Studio herunter

Lade LM Studio von der Website herunter. Es ist kostenlos und für Mac, Windows und Linux verfügbar:

2. Installiere und öffne LM Studio

Im nächsten Schritt installierst du LM Studio auf deinem Rechner und öffnest es.

3. Lade gewünschte Open-Source-LLMs herunter

Jetzt musst du die Open-Source-LLMs in LM Studio herunterladen, die du nutzen möchtest.

Viele beliebte LLMs findest du bereits auf dem Startbildschirm. Um ein LLM herunterzuladen, klickst du einfach auf den blauen Download-Button:

Um bestimmte Open-Source-LLMs zu finden, kannst du auch die Suchfunktion nutzen:

4. Wichtig: Vor dem Download Systemvoraussetzungen beachten

Bevor du ein LLMs herunterlädst, solltest du dir die Systemvoraussetzungen anschauen.

Lllama 3 benötigt zum Beispiel mehr als 8 GB RAM und 4,92 GB freien Speicherplatz:

5. Mit dem Open-Source-LLM chatten

Nachdem du ein Open-Source-LLM heruntergeladen hast, kannst du es direkt in LM Studio nutzen.

Dazu klickst du einfach links in der Seitenleiste auf das Sprechblasen-Icon (?).

Die Benutzeroberfläche und die Einstellungsmöglichkeiten erinnern dabei an den OpenAI Playground: