Open-Source-LLMs sind einer der wichtigsten KI-Trends für 2025.
Und das nicht zu Unrecht:
In den letzten zwei Jahren sind viele Open-Source-LLMs herausgekommen, die in einer Liga mit GPT-3.5 spielen und sogar besser sind.
Mit DeepSeek V3, Llama 3.3 und Qwen 2.5 sind in den letzten Monaten Modelle erschienen, die sich mit den besten proprietären LLMs wie GPT-4, Claude 3.5 oder Gemini 1.5 messen können.
In diesem Artikel findest du einen Überblick über die aktuell 50 besten Open-Source-LLMs und ihre Lizenzen.
Zudem zeige ich dir, wie du freie LLMs einfach und kostenlos auf deinem Rechner nutzen kannst (ohne programmieren oder das Terminal nutzen zu müssen).
Open-Source-LLMs im Vergleich
Platz | Open-Source-LLM | Performance | <Link href="/ki-lexikon/knowledge-cutoff-date/" className="text-primary hover:underline">Knowledge Cutoff</Link> | Entwickler | Lizenz |
|---|---|---|---|---|---|
| 1 | DeepSeek-V3 (671B MoE) | > GPT-4 | 2024/11 | DeepSeek | MIT |
| 2 | Meta Llama 3.3 70B Instruct | ≈ GPT-4 | 2024/12 | Meta | Llama 3.3 Community |
| 3 | Qwen2.5-72B-Instruct | ≈ GPT-4 | 2024/9 | Alibaba | Qwen License |
| 4 | Meta Llama 3.1 405B Instruct | ≈ GPT-4 | 2024/7 | Meta | Llama 3 Community |
| 5 | Falcon 180B | ≈ GPT-4 | 2023/9 | TII | Falcon License |
| 6 | Yi-34B | ≈ GPT-4 | 2024/6 | 01.AI | Apache 2.0 |
| 7 | Mistral Large 2 (123B) | ≈ GPT-4 | 2024/4 | Mistral AI | Mistral Research License |
| 8 | Mixtral-8x22B (141B MoE) | ≈ GPT-4 | 2024/4 | Mistral AI | Apache 2.0 |
| 9 | Meta Llama 3.1 70B Instruct | ≈ GPT-4 | 2024/7 | Meta | Llama 3.1 Community |
| 10 | Qwen2-72B-Instruct | ≈ GPT-4 | 2024/6 | Alibaba | Apache 2.0 |
| 11 | Mixtral-8x7B (46.7B MoE) | ≈ GPT-4 | 2023/12 | Mistral AI | Apache 2.0 |
| 12 | DeepSeek Coder V2 (236B MoE) | ≈ GPT-4 | 2024/6 | DeepSeek | MIT |
| 13 | Nemotron 4 340B | ≈ GPT-4 | 2024/6 | NVIDIA | NVIDIA Open Model License |
| 14 | Yi-1.5 34B | ≈ GPT-4 | 2024/5 | 01.AI | Apache 2.0 |
| 15 | Qwen2.5-32B-Instruct | > GPT 3.5 Turbo | 2024/9 | Alibaba | Apache 2.0 |
| 16 | WizardLM-2 8x22B | ≈ GPT-4 | 2024/4 | Microsoft | Apache 2.0 |
| 17 | Meta Llama 3.1 8B Instruct | > GPT 3.5 Turbo | 2024/7 | Meta | Llama 3.1 Community |
| 18 | Code Llama 70B Instruct | ≈ GPT-4 | 2024/1 | Meta | Llama 2 Community |
| 19 | Gemma 2 27B | > GPT 3.5 Turbo | 2024/6 | Gemma Terms of Use | |
| 20 | SOLAR 10.7B v1.0 | > GPT 3.5 Turbo | 2023/12 | Upstage | Apache 2.0 |
| 21 | Mistral 7B v0.3 | > GPT 3.5 Turbo | 2024/5 | Mistral AI | Apache 2.0 |
| 22 | Vicuna 1.5 13B | > GPT 3.5 Turbo | 2023/7 | LMSYS | Llama 2 Community |
| 23 | Zephyr 7B Beta | > GPT 3.5 Turbo | 2023/10 | HuggingFace | MIT |
| 24 | Phi-3 Medium (14B) | > GPT 3.5 Turbo | 2023/10 | Microsoft | MIT |
| 25 | StarCoder2 15B | > GPT 3.5 Turbo | 2024/2 | BigCode | BigCode Open RAIL-M v1 |
| 26 | DeepSeek LLM 67B | > GPT 3.5 Turbo | 2023/11 | DeepSeek | DeepSeek License |
| 27 | InternLM2-Chat-20B | > GPT 3.5 Turbo | 2024/1 | Shanghai AI Lab | Apache 2.0 |
| 28 | Baichuan 2 13B | > GPT 3.5 Turbo | 2023/9 | Baichuan Inc. | Baichuan 2 License |
| 29 | OpenHermes 2.5 Mistral 7B | > GPT 3.5 Turbo | 2023/11 | Teknium | Apache 2.0 |
| 30 | Nous Hermes 2 Yi 34B | > GPT 3.5 Turbo | 2023/11 | Nous Research | Yi License |
| 31 | StableLM 2 12B | > GPT 3.5 Turbo | 2024/1 | Stability AI | Stability AI Community License |
| 32 | BLOOM 176B | > GPT 3.5 Turbo | 2022/11 | BigScience | RAIL License |
| 33 | Qwen-VL-Chat | > GPT 3.5 Turbo | 2023/8 | Alibaba | Tongyi Qianwen License |
| 34 | Falcon 40B | > GPT 3.5 Turbo | 2023/5 | TII | Apache 2.0 |
| 35 | Orca 2 13B | > GPT 3.5 Turbo | 2023/11 | Microsoft | Microsoft Research License |
| 36 | Dolphin 2.5 Mixtral 8x7B | > GPT 3.5 Turbo | 2024/2 | Eric Hartford | Apache 2.0 |
| 37 | MPT-30B | > GPT 3.5 Turbo | 2023/6 | MosaicML | Apache 2.0 |
| 38 | OpenAssistant 30B SFT | > GPT 3.5 Turbo | 2023/4 | LAION | Apache 2.0 |
| 39 | Grok-1 (314B MoE) | > GPT 3.5 Turbo | 2023/11 | xAI | Apache 2.0 |
| 40 | OLMo 7B | ≈ GPT 3.5 Turbo | 2024/2 | Allen Institute | Apache 2.0 |
| 41 | Pythia 12B | ≈ GPT 3.5 Turbo | 2023/2 | EleutherAI | Apache 2.0 |
| 42 | StableLM 2 1.6B | ≈ GPT 3.5 Turbo | 2024/1 | Stability AI | Stability AI Community License |
| 43 | RedPajama-INCITE 7B | ≈ GPT 3.5 Turbo | 2023/5 | Together Computer | Apache 2.0 |
| 44 | Dolly 2.0 12B | ≈ GPT 3.5 Turbo | 2023/4 | Databricks | MIT |
| 45 | GPT-NeoX 20B | ≈ GPT 3.5 Turbo | 2022/2 | EleutherAI | Apache 2.0 |
| 46 | Alpaca 13B | ≈ GPT 3.5 Turbo | 2023/3 | Stanford | nicht-kommerziell |
| 47 | Cerebras-GPT 13B | ≈ GPT 3.5 Turbo | 2023/3 | Cerebras | Apache 2.0 |
| 48 | Phi-2 (2.7B) | ≈ GPT 3.5 Turbo | 2023/12 | Microsoft | MIT |
| 49 | Koala 13B | ≈ GPT 3.5 Turbo | 2023/4 | BAIR | nicht-kommerziell |
| 50 | GPT-J 6B | ≈ GPT-3.5 Turbo | 2021/6 | EleutherAI | Apache 2.0 |
1. Vergleich mit GPT-3.5 und GPT-4
Damit du eine Vorstellung davon hast, wie gut die einzelnen Open-Source-LLMs sind, habe ich sie der Performance von GPT-4 und GPT-3.5 Turbo gegenübergestellt.
Dabei habe ich mich zum einen nach den Elo-Scores des Chatbot Arena Leaderboards orientiert und zum anderen an meiner eigenen Erfahrung (ich habe über 20 der 50 LLMs selbst getestet).
Bitte beachte, dass es sich eher um eine Klassifikation handelt, als um einen direkten Vergleich.
DeepSeek-V3 mit seinen 671 Milliarden Parametern (37B aktiv) übertrifft in vielen Benchmarks sogar GPT-4 und wurde mit nur $5.6 Millionen trainiert. Meta Llama 3.3 70B erreicht fast die gleiche Leistung wie das viel größere Llama 3.1 405B Modell bei deutlich geringeren Anforderungen.
Das heißt auch:
Wenn ein LLM „ungefähr so gut ist wie GPT-4", kann es sein, dass es bei manchen Aufgaben besser und bei manchen Aufgaben schlechter abschneidet.
2. LLM-Lizenzen erklärt
Hier findest du einen Überblick über die am häufigsten verwendeten Lizenzen bei Open-Source-LLMs.
MIT License
Eine sehr freizügige Open-Source-Lizenz, ähnlich wie Apache 2.0. Sie erlaubt die uneingeschränkte Nutzung, Modifikation und Weitergabe des LLMs, auch in proprietären Programmen, solange der Urheberrechtshinweis erhalten bleibt. DeepSeek V3 verwendet MIT mit einigen Einschränkungen für militärische Nutzung.
Llama 2 Community / Llama 3 Community
Unter den Lizenzen hat Meta Llama 2 und Llama 3 veröffentlicht. Sie erlauben die kostenlose Nutzung der LLMs für Forschung und kommerzielle Anwendungen mit bis zu 700 Millionen monatlich aktiven Nutzern. Der Quellcode und die Modellgewichte sind frei verfügbar.
Qwen License / Qianwen LICENSE
Die Qwen-Modelle werden unter verschiedenen Lizenzen veröffentlicht. Während kleinere Modelle oft unter Apache 2.0 lizenziert sind, haben größere Modelle wie Qwen2.5-72B spezielle Lizenzbedingungen, die kommerzielle Nutzung mit bestimmten Einschränkungen erlauben.
Apache 2.0
Eine sehr freizügige Open-Source-Lizenz, die nur minimale Beschränkungen vorsieht. Sie erlaubt die Nutzung, Modifikation und Weitergabe des LLMs, auch in proprietären Programmen, solange der Urheberrechtshinweis erhalten bleibt. Sie enthält keine Copyleft-Klausel.
CC BY-NC-4.0
Eine Creative-Commons-Lizenz, die es erlaubt, das LLM in jeglicher Form zu bearbeiten und zu teilen, jedoch nicht für kommerzielle Zwecke. Der Name des Urhebers muss genannt werden.
CC BY-NC-SA-4.0
Ähnlich wie CC BY-NC-4.0, jedoch mit der zusätzlichen Share-Alike-Bedingung. Das bedeutet, Forks oder bearbeitete Versionen eines LLMs müssen unter den gleichen Bedingungen weitergegeben werden.
nicht-kommerziell
Hier ist die Nutzung des LLMS für kommerzielle Zwecke untersagt. Was genau als „kommerziell" gilt, ist aber nicht immer eindeutig definiert oder eingegrenzt.
Meistens sind „nicht-kommerzielle" Modelle nur für Forschungszwecke oder zur privaten Nutzung freigegeben.
3. Open-Source-LLMs lokal auf dem eigenen Rechner nutzen
Open-Source-LLMs lokal auf dem eigenen Rechner zu nutzen, geht einfacher, als du vielleicht denkt:
1. Lade LM Studio herunter
Lade LM Studio von der Website herunter. Es ist kostenlos und für Mac, Windows und Linux verfügbar:
2. Installiere und öffne LM Studio
Im nächsten Schritt installierst du LM Studio auf deinem Rechner und öffnest es.
3. Lade gewünschte Open-Source-LLMs herunter
Jetzt musst du die Open-Source-LLMs in LM Studio herunterladen, die du nutzen möchtest.
Viele beliebte LLMs findest du bereits auf dem Startbildschirm. Um ein LLM herunterzuladen, klickst du einfach auf den blauen Download-Button:
Um bestimmte Open-Source-LLMs zu finden, kannst du auch die Suchfunktion nutzen:
4. Wichtig: Vor dem Download Systemvoraussetzungen beachten
Bevor du ein LLMs herunterlädst, solltest du dir die Systemvoraussetzungen anschauen.
Lllama 3 benötigt zum Beispiel mehr als 8 GB RAM und 4,92 GB freien Speicherplatz:
5. Mit dem Open-Source-LLM chatten
Nachdem du ein Open-Source-LLM heruntergeladen hast, kannst du es direkt in LM Studio nutzen.
Dazu klickst du einfach links in der Seitenleiste auf das Sprechblasen-Icon (?).
Die Benutzeroberfläche und die Einstellungsmöglichkeiten erinnern dabei an den OpenAI Playground:
