Zum Hauptinhalt springen
gradually.ai logogradually.ai
  • Blog
  • Über uns
KI-Newsletter
KI-Newsletter
  1. Startseite
  2. KI-Blog

Die 50 besten Open-Source-LLMs (und wie du sie nutzt)

Hier findest du einen Überblick über die aktuell besten Open-Source-LLMs, ihre Lizenzen und wie du selbst freie LLMs lokal auf deinem PC nutzen kannst.

FHFinn Hillebrandt
27. April 2026
Read in English
KI-Technik
Die 50 besten Open-Source-LLMs (und wie du sie nutzt)
𝕏XAuf X teilenFacebookAuf Facebook teilenLinkedInAuf LinkedIn teilenPinterestAuf Pinterest teilenThreadsAuf Threads teilenFlipboardAuf Flipboard teilen
Mit * gekennzeichnete Links sind Affiliate-Links. Kommt über solche Links ein Kauf zustande, bekommen wir eine Provision.

Open-Source-LLMs sind einer der wichtigsten KI-Trends 2026.

Und das nicht zu Unrecht:

Open-Source-Modelle waren lange Zeit deutlich schwächer als proprietäre Modelle. Bis zum Frühjahr 2026 haben sie aber aufgeholt, vor allem dank chinesischer Labs:

DeepSeek V4 Pro (Release am 24. April 2026), GLM-5.1 von Z.ai, Kimi K2.6 von Moonshot AI und Qwen3.5 von Alibaba können sich mit den besten proprietären LLMs wie Claude Opus 4.7, GPT-5.5 oder Gemini 3.1 Pro messen und schlagen sie in manchen Benchmarks wie SWE-Bench Pro und HumanEval sogar.

In diesem Artikel findest du einen Überblick über die 50 besten Open-Source-LLMs (Stand April 2026) mit ihren wichtigsten Benchmark-Scores und Lizenzen.

Zudem zeige ich dir, wie du freie LLMs einfach und kostenlos auf deinem Rechner nutzen kannst (ohne programmieren oder das Terminal nutzen zu müssen).

TL;DRDas Wichtigste in Kürze
  • DeepSeek V4 Pro (1,6T MoE, MIT, April 2026), Kimi K2.6 (1T MoE) und GLM-5.1 von Z.ai führen die April-2026-Rankings an, GLM-5.1 toppt SWE-Bench Pro mit 58,4 %
  • 50 Open-Source-LLMs mit verschiedenen Lizenzen verfügbar, von MIT und Apache 2.0 bis zu eingeschränkten Research-Lizenzen
  • Chinesische Labs (DeepSeek, Moonshot AI, Z.ai, Alibaba) belegen die meisten Spitzenplätze. Die Leader von 2025 (GPT-OSS-120B, DeepSeek R1, Qwen3-235B, Llama 4) sind weiterhin solide, aber nicht mehr ganz vorn
  • Lokale Nutzung mit Tools wie Ollama, LM Studio oder GPT4All möglich, die neuen Top-Modelle brauchen aber ernsthafte Hardware (Multi-GPU oder quantisierte Varianten für Consumer-Rigs)

Open-Source-LLMs im Vergleich

#
Modell
MMLU
Math
Code
Hersteller
Lizenz
1DeepSeek V4 Pro (1,6T MoE)87,5 %90,1 %93,5 %DeepSeekMIT
2Kimi K2.6 (1T MoE)84,6 %90,5 %92,0 %Moonshot AIModified MIT
3GLM-5.1 (754B MoE)91,7 %85,7 %58,4 %Z.aiMIT
4GLM-5 Reasoning (744B MoE)96,0 %94,0 %94,2 %Z.aiMIT
5Kimi K2.5 (1T MoE)92,0 %87,6 %99,0 %Moonshot AIModified MIT
6DeepSeek V4 Flash (284B MoE)83,0 %85,0 %88,0 %DeepSeekMIT
7DeepSeek V3.2 (671B MoE)85,0 %79,9 %89,3 %DeepSeekMIT
8GPT-OSS-120B (117B MoE)90,0 %80,1 %96,6 %OpenAIApache 2.0
9DeepSeek-R1 (671B MoE)90,8 %97,3 %71,5 %DeepSeekMIT
10Qwen3-235B-A22B-Thinking87,0 %92,3 %74,1 %AlibabaApache 2.0
11Llama 4 Maverick (400B MoE)80,5 %69,8 %43,4 %MetaLlama 4 Community
12Kimi K2 (1T MoE)97,4 %71,6 %53,7 %Moonshot AIMIT
13DeepSeek-V3 (671B MoE)88,5 %90,2 %85,0 %DeepSeekMIT
14GPT-OSS-20B (20B MoE)85,3 %96,0 %69,0 %OpenAIApache 2.0
15Llama 3.3 70B Instruct86,0 %77,3 %83,0 %MetaLlama 3.3 Community
16Qwen2.5-72B-Instruct85,3 %82,3 %82,0 %AlibabaQwen License
17Llama 3.1 405B Instruct88,6 %81,1 %73,8 %MetaLlama 3.1 Community
18Gemma 3 27B67,5 %42,4 %69,0 %GoogleGemma Terms of Use
19Command R+ (104B)88,2 %85,0 %92,0 %CohereCC BY-NC-4.0
20Llama-3.1-Nemotron-70B85,0 %57,6 %8,98NVIDIALlama 3.1 Community
21Mixtral-8x22B (141B MoE)77,8 %68,0 %75,0 %Mistral AIApache 2.0
22Mistral Large 2 (123B)84,0 %76,9 %82,0 %Mistral AIMistral Research License
23Phi-4 (14B)56,1 %82,6 %80,4 %MicrosoftMIT
24Qwen3-32B-Instruct83,5 %77,0 %78,0 %AlibabaApache 2.0
25OLMo 2 32B74,0 %78,6 %84,0 %Allen InstituteApache 2.0
26DBRX (132B MoE)73,7 %70,1 %66,9 %DatabricksDatabricks Open Model
27DeepSeek Coder V2 (236B MoE)78,5 %90,2 %76,2 %DeepSeekMIT
28Llama 3.1 70B Instruct79,3 %68,0 %80,5 %MetaLlama 3.1 Community
29Yi-34B76,3 %67,6 %85,0 %01.AIApache 2.0
30Falcon 3 10B73,1 %42,5 %58,0 %TIIFalcon License
31Qwen2.5-32B-Instruct83,1 %75,5 %78,9 %AlibabaApache 2.0
32Mistral NeMo 12B68,0 %83,5 %76,8 %Mistral AI / NVIDIAApache 2.0
33InternLM3 8B-Instruct72,3 %75,0 %75,6 %Shanghai AI LabApache 2.0
34Granite Code 34B75,4 %68,3 %67,5 %IBMApache 2.0
35Falcon 180B70,4 %85,3 %77,6 %TIIFalcon License
36WizardLM-2 8x22B77,2 %83,0 %73,2 %MicrosoftApache 2.0
37Qwen2-72B-Instruct84,2 %89,5 %64,6 %AlibabaApache 2.0
38Mixtral-8x7B (46.7B MoE)70,6 %74,4 %40,2 %Mistral AIApache 2.0
39Llama 3.1 8B Instruct68,4 %84,5 %72,6 %MetaLlama 3.1 Community
40Gemma 3 8B70,9 %77,9 %56,0 %GoogleGemma Terms of Use
41Code Llama 70B Instruct62,0 %67,8 %62,0 %MetaLlama 2 Community
42Falcon 3 7B67,4 %39,2 %70,8 %TIIFalcon License
43SOLAR 10.7B v1.066,0 %69,9 %71,0 %UpstageApache 2.0
44Mistral 7B v0.362,5 %52,2 %83,0 %Mistral AIApache 2.0
45Yi-1.5 34B76,8 %80,1 %75,0 %01.AIApache 2.0
46OLMo 2 13B68,2 %71,4 %82,1 %Allen InstituteApache 2.0
47StarCoder2 15B46,0 %36,6 %49,6 %BigCodeBigCode Open RAIL-M v1
48Phi-3 Medium (14B)78,0 %91,0 %62,2 %MicrosoftMIT
49InternLM2-Chat-20B67,0 %79,6 %67,1 %Shanghai AI LabApache 2.0
50DeepSeek LLM 67B71,3 %63,4 %40,0 %DeepSeekDeepSeek License

Farbcodierung der Benchmark-Scores:

ExzellentTop-Bereich
GutÜberdurchschnittlich
DurchschnittSolide
SchwachUnterdurchschnittlich

1. Die wichtigsten Benchmarks erklärt

Um die Open-Source-LLMs objektiv zu vergleichen, nutze ich drei zentrale Benchmark-Kategorien:

MMLU / MMLU-Pro: Der Massive Multitask Language Understanding Benchmark testet allgemeines Wissen über 57 Fächer hinweg (STEM, Sozialwissenschaften, Geisteswissenschaften). MMLU-Pro ist die anspruchsvollere Variante mit weniger Kontamination. Top-Modelle erreichen hier 85 bis 90 %.

MATH / GPQA: Diese Benchmarks testen mathematisches und wissenschaftliches Reasoning. MATH-500 enthält anspruchsvolle Mathematikaufgaben, während GPQA (Graduate-Level Physics Questions Answers) Expertenwissen in Biologie, Physik und Chemie testet. Top-Modelle erreichen hier 70 bis 97 %.

HumanEval / LiveCodeBench: Diese Benchmarks testen Code-Generierung. HumanEval enthält Python-Programmieraufgaben, LiveCodeBench testet Code-Performance mit aktuellen, nicht kontaminierten Aufgaben. Top-Modelle erreichen hier 60 bis 90 %.

Die Tabelle zeigt für jedes Modell drei Benchmark-Scores, die je nach Stärke des Modells variieren (z. B. Code-fokussierte Modelle haben höhere HumanEval-Scores).

2. Die Top-Modelle im April 2026

DeepSeek V4 Pro (Release am 24. April 2026) ist der neue Spitzenreiter. Das 1,6 Billionen Parameter MoE aktiviert nur 49B pro Token, erreicht 87,5 % auf MMLU-Pro, 90,1 % auf GPQA Diamond und 93,5 % auf LiveCodeBench. Gleiche MIT-Lizenz wie der Rest der DeepSeek-Familie und natives 1M-Token-Kontextfenster mit etwa 27 % der Inferenz-FLOPs von V3.2.

Kimi K2.6 von Moonshot AI ist das zweitstärkste Open-Weight-Modell insgesamt: 92 % auf HumanEval, 90,5 % auf GPQA Diamond, 96,4 % auf AIME 2026, mit 256K Kontextfenster und nativem Video-Input. Modified MIT, 1T Parameter MoE.

GLM-5.1 von Z.ai (vormals Zhipu) toppt SWE-Bench Pro mit 58,4 % und schlägt damit GPT-5.4 (57,7 %) und Claude Opus 4.6 (57,3 %). Das 754B-Parameter-MoE wurde komplett auf Huawei-Ascend-Chips trainiert und läuft unter MIT-Lizenz. Die Reasoning-Variante GLM-5 erreicht 96 % auf MMLU und 94 % auf GPQA, die höchsten Knowledge-Scores im Open-Source-Bereich.

Kimi K2.5 hält weiterhin den HumanEval-Rekord aller Leaderboards (99,0) und führt MATH-500 (98,0). Das beste Open-Weight-Modell für reine Code-Generierung, wenn Latenz weniger wichtig ist als Spitzenqualität.

DeepSeek V4 Flash (284B / 13B aktiv) ist die kosteneffiziente Variante von V4 Pro und die praktischste Wahl, wenn du Frontier-Klasse-Qualität auf einer einzelnen High-End-GPU willst.

Die vorherige Generation ist weiterhin sehr nutzbar: GPT-OSS-120B (OpenAIs erstes Open-Weight-Modell seit GPT-2), DeepSeek R1, Qwen3-235B-A22B-Thinking und Llama 4 Maverick bleiben stark, aber nicht mehr State-of-the-Art.

3. LLM-Lizenzen erklärt

Hier findest du einen Überblick über die am häufigsten verwendeten Lizenzen bei Open-Source-LLMs.

Warnung
Achtung: Bitte schaue dir immer die aktuellen Lizenzbestimmungen der LLMs noch einmal selbst an, bevor du sie nutzt. Lizenzbedingungen können sich jederzeit ändern.

MIT License

Eine sehr freizügige Open-Source-Lizenz, ähnlich wie Apache 2.0. Sie erlaubt die uneingeschränkte Nutzung, Modifikation und Weitergabe des LLMs, auch in proprietären Programmen, solange der Urheberrechtshinweis erhalten bleibt. DeepSeek V3 verwendet MIT mit einigen Einschränkungen für militärische Nutzung.

Llama 2 Community / Llama 3 Community

Unter den Lizenzen hat Meta Llama 2 und Llama 3 veröffentlicht. Sie erlauben die kostenlose Nutzung der LLMs für Forschung und kommerzielle Anwendungen mit bis zu 700 Millionen monatlich aktiven Nutzern. Der Quellcode und die Modellgewichte sind frei verfügbar.

Qwen License / Qianwen LICENSE

Die Qwen-Modelle werden unter verschiedenen Lizenzen veröffentlicht. Während kleinere Modelle oft unter Apache 2.0 lizenziert sind, haben größere Modelle wie Qwen2.5-72B spezielle Lizenzbedingungen, die kommerzielle Nutzung mit bestimmten Einschränkungen erlauben.

Apache 2.0

Eine sehr freizügige Open-Source-Lizenz, die nur minimale Beschränkungen vorsieht. Sie erlaubt die Nutzung, Modifikation und Weitergabe des LLMs, auch in proprietären Programmen, solange der Urheberrechtshinweis erhalten bleibt. Sie enthält keine Copyleft-Klausel.

CC BY-NC-4.0

Eine Creative-Commons-Lizenz, die es erlaubt, das LLM in jeglicher Form zu bearbeiten und zu teilen, jedoch nicht für kommerzielle Zwecke. Der Name des Urhebers muss genannt werden.

CC BY-NC-SA-4.0

Ähnlich wie CC BY-NC-4.0, jedoch mit der zusätzlichen Share-Alike-Bedingung. Das bedeutet, Forks oder bearbeitete Versionen eines LLMs müssen unter den gleichen Bedingungen weitergegeben werden.

nicht-kommerziell

Hier ist die Nutzung des LLMS für kommerzielle Zwecke untersagt. Was genau als „kommerziell“ gilt, ist aber nicht immer eindeutig definiert oder eingegrenzt.

Meistens sind „nicht-kommerzielle“ Modelle nur für Forschungszwecke oder zur privaten Nutzung freigegeben.

4. Open-Source-LLMs lokal auf dem eigenen Rechner nutzen

Open-Source-LLMs lokal auf dem eigenen Rechner zu nutzen, geht einfacher, als du vielleicht denkt:

1. Lade LM Studio herunter

Lade LM Studio von der Website herunter. Es ist kostenlos und für Mac, Windows und Linux verfügbar:

LM Studio

2. Installiere und öffne LM Studio

Im nächsten Schritt installierst du LM Studio auf deinem Rechner und öffnest es.

3. Lade gewünschte Open-Source-LLMs herunter

Jetzt musst du die Open-Source-LLMs in LM Studio herunterladen, die du nutzen möchtest.

Viele beliebte LLMs findest du bereits auf dem Startbildschirm. Um ein LLM herunterzuladen, klickst du einfach auf den blauen Download-Button:

Open-Source-LLMs herunterladen

Um bestimmte Open-Source-LLMs zu finden, kannst du auch die Suchfunktion nutzen:

Open-Source-LLMs suchen

4. Wichtig: Vor dem Download Systemvoraussetzungen beachten

Bevor du ein LLMs herunterlädst, solltest du dir die Systemvoraussetzungen anschauen.

Lllama 3 benötigt zum Beispiel mehr als 8 GB RAM und 4,92 GB freien Speicherplatz:

Open-Source-LLM Systemvoraussetzungen

5. Mit dem Open-Source-LLM chatten

Nachdem du ein Open-Source-LLM heruntergeladen hast, kannst du es direkt in LM Studio nutzen.

Dazu klickst du einfach links in der Seitenleiste auf das Sprechblasen-Icon (?).

Die Benutzeroberfläche und die Einstellungsmöglichkeiten erinnern dabei an den OpenAI Playground:

Mit Open-Source-LLM chatten

Häufig gestellte Fragen zu Open-Source-LLMs

𝕏XAuf X teilenFacebookAuf Facebook teilenLinkedInAuf LinkedIn teilenPinterestAuf Pinterest teilenThreadsAuf Threads teilenFlipboardAuf Flipboard teilen
FH

Finn Hillebrandt

KI-Experte & Blogger

Finn Hillebrandt ist der Gründer von Gradually AI, SEO- und KI-Experte. Er hilft Online-Unternehmern, ihre Prozesse und ihr Marketing mit KI zu vereinfachen und zu automatisieren. Finn teilt sein Wissen hier auf dem Blog in 50+ Fachartikeln sowie über seinen ChatGPT-Kurs und den KI Business Club.

Erfahre mehr über Finn und das Team, folge Finn bei LinkedIn, tritt seiner Facebook-Gruppe zu ChatGPT, OpenAI & KI-Tools bei oder mache es wie 17.500+ andere und abonniere seinen KI-Newsletter mit Tipps, News und Angeboten rund um KI-Tools und Online-Business. Besuche auch seinen anderen Blog, Blogmojo, auf dem es um WordPress, Bloggen und SEO geht.

Ähnliche Artikel

ChatGPT-Statistiken 2026: Spannende Zahlen, Daten & Fakten
KI-Technik

ChatGPT-Statistiken 2026: Spannende Zahlen, Daten & Fakten

27. April 2026
FHFinn Hillebrandt
Deep Research: Grok 3 vs. ChatGPT vs. Perplexity vs. Gemini
KI-Technik

Deep Research: Grok 3 vs. ChatGPT vs. Perplexity vs. Gemini

27. April 2026
FHFinn Hillebrandt
DeepSeek-Statistiken 2026: Zahlen, Daten & Fakten
KI-Technik

DeepSeek-Statistiken 2026: Zahlen, Daten & Fakten

27. April 2026
FHFinn Hillebrandt
Google Gemini Statistiken 2026: Zahlen, Daten & Fakten
KI-Technik

Google Gemini Statistiken 2026: Zahlen, Daten & Fakten

27. April 2026
FHFinn Hillebrandt
Grok Statistiken 2026: Zahlen, Daten & Fakten zu xAI
KI-Technik

Grok Statistiken 2026: Zahlen, Daten & Fakten zu xAI

27. April 2026
FHFinn Hillebrandt
Perplexity Statistiken 2026: Zahlen, Daten & Fakten
KI-Technik

Perplexity Statistiken 2026: Zahlen, Daten & Fakten

27. April 2026
FHFinn Hillebrandt

Bleib auf dem Laufenden mit dem KI-Newsletter

Erhalte wöchentlich die neuesten KI-Tools, Tutorials und exklusive Tipps direkt in Deinen Posteingang

Abmeldung jederzeit möglich. Etwa 4 bis 8 E-Mails im Monat. Die Einwilligung umfasst die Hinweise zu Widerruf, Versanddienstleister und Statistik gemäß unserer Datenschutzerklärung.

gradually.ai logogradually.ai

Deutschlands führende Plattform für KI-Tools und Wissen für Online-Unternehmer.

KI-Tools

  • KI-Chat
  • ChatGPT auf Deutsch
  • Text-Generator
  • Prompt-Verbesserer
  • Prompt-Link-Generator
  • FLUX KI-Bildgenerator
  • KI-Kunstgenerator
  • Midjourney Prompt-Generator
  • Veo 3 Prompt-Generator
  • AI Humanizer
  • KI-Text-Detektor
  • Gemini Wasserzeichen-Entferner
  • Alle Tools →

Kreativ-Tools

  • Blognamen-Generator
  • Buchtitel-Generator
  • Songtext-Generator
  • Künstlernamen-Generator
  • Teamnamen-Generator
  • Mindmap-Generator
  • Überschriften-Generator
  • Firmennamen-Generator
  • Slogan-Generator
  • Markennamen-Generator
  • Newsletter-Namengenerator
  • YouTube-Kanal-Namengenerator

Business-Tools

  • API-Kostenrechner
  • Token-Zähler
  • Werbeanzeigen-Generator
  • Werbetext-Generator
  • Essay-Generator
  • Story-Generator
  • Text-Umschreiber
  • Blogartikel-Generator
  • SERP-Snippet-Generator
  • E-Mail-Generator
  • E-Mail-Betreffzeilen-Generator
  • Instagram-Bio-Generator
  • KI-Hashtag-Generator

Ressourcen

  • Claude Code MCP-Server
  • Claude Code Skills
  • n8n-Hosting Vergleich
  • OpenClaw-Hosting Vergleich
  • Claude Code Plugins
  • Claude Code Use Cases
  • Claude Cowork Use Cases
  • OpenClaw Use Cases
  • Changelogs

© 2025 Gradually AI. Alle Rechte vorbehalten.

  • Blog
  • Angebote
  • Über uns
  • Impressum
  • Datenschutz