Deep Learning ist ein Verfahren des maschinellen Lernens, bei dem ein neuronales Netz mit vielen Schichten aus Beispielen lernt, statt dass Menschen Regeln von Hand schreiben. Das Netz stellt dabei Millionen bis Billionen von Zahlenwerten (die Gewichte) so ein, dass seine Vorhersagen zu den Beispielen passen.
Stell dir einen Praktikanten vor, dem niemand erklärt, woran man eine Katze erkennt. Er bekommt stattdessen Tausende Fotos mit der richtigen Antwort und korrigiert sich nach jedem Fehler ein wenig. Irgendwann erkennt er auch Katzen, die er nie gesehen hat. Genau so funktioniert ein Bilderkennungs-Netz.
1. Wo Deep Learning in der KI steht
Die Begriffe stecken ineinander wie russische Puppen. Künstliche Intelligenz ist der große Rahmen. Darin liegt das maschinelle Lernen, also alle Verfahren, bei denen ein System aus Daten lernt. Darin wiederum liegt Deep Learning, nämlich Lernen mit tiefen neuronalen Netzen.
- KI ohne maschinelles Lernen: ein handgeschriebenes Regelwerk, etwa ein Schachprogramm mit festen Bewertungsregeln.
- Maschinelles Lernen ohne Deep Learning: ein Entscheidungsbaum, der aus Daten lernt, ob eine Mail Spam ist.
- Deep Learning: ein Netz mit Dutzenden Schichten, das Sprache versteht oder Bilder erzeugt.
Dass heute die meisten bekannten KI-Anwendungen auf Deep Learning beruhen, ist eine Entwicklung der letzten gut zehn Jahre. Die Methode selbst ist viel älter.
2. Neuronale Netze: Neuron, Schicht, Tiefe
Ein neuronales Netz ist aus sehr einfachen Bausteinen gebaut, den künstlichen Neuronen. Ein Neuron macht zwei Dinge:
- Gewichtete Summe: Es nimmt mehrere Zahlen entgegen, multipliziert jede mit einem eigenen Gewicht und addiert alles. Dazu kommt ein fester Zusatzwert, der Bias.
- Aktivierungsfunktion: Auf das Ergebnis wendet es eine einfache Regel an, zum Beispiel „Negative Werte werden zu null, positive bleiben“ (ReLU). Erst diese Regel verhindert, dass das ganze Netz zu einer einzigen einfachen Rechnung zusammenschrumpft.
Viele Neuronen nebeneinander bilden eine Schicht. Die Ausgaben einer Schicht sind die Eingaben der nächsten. Vorne kommen die Rohdaten an, etwa die Helligkeitswerte der Pixel eines Fotos. Hinten steht das Ergebnis, etwa „Katze: 94 %“. Dazwischen liegen die versteckten Schichten.
Das „Deep“ in Deep Learning heißt schlicht: viele versteckte Schichten. Jede Schicht baut auf der vorigen auf. Bei Bildern erkennen frühe Schichten oft Kanten, mittlere Formen wie Ohren oder Augen, späte Schichten ganze Gesichter. Das Netz findet diese Zwischenstufen selbst, du gibst sie nicht vor. LeCun, Bengio und Hinton beschreiben genau das als Kern von Deep Learning: Daten werden auf mehreren Abstraktionsstufen dargestellt.
3. Wie ein Netz lernt: ein Neuron von Hand gerechnet
Beim Training ändern sich nur die Gewichte und die Bias-Werte, zusammen die Parameter. Der Ablauf wiederholt sich millionenfach:
- Vorhersage: Das Netz rechnet ein Beispiel durch und gibt eine Antwort aus.
- Fehler (Loss): Eine Formel misst, wie weit die Antwort von der richtigen entfernt ist.
- Backpropagation: Das Verfahren berechnet rückwärts durch alle Schichten, wie stark jedes Gewicht zum Fehler beigetragen hat. Beschrieben haben es Rumelhart, Hinton und Williams 1986 in Nature.
- Gradientenabstieg: Jedes Gewicht wird ein kleines Stück in die Richtung verschoben, die den Fehler senkt. Die Schrittweite heißt Lernrate.
Das Prinzip lässt sich an einem einzigen Neuron nachrechnen. Ein ausgedachtes Beispiel mit ReLU als Aktivierung und dem Fehlermaß „Abweichung zum Quadrat“:
Eingaben: x1 = 2, x2 = 3
Gewichte: w1 = 0,5, w2 = -0,2 Bias: b = 0,1
Gewünschte Ausgabe: 1,0
1. Vorhersage
Summe = 2 * 0,5 + 3 * (-0,2) + 0,1 = 0,5
ReLU(0,5) = 0,5 -> Ausgabe 0,5
2. Fehler (Loss)
(0,5 - 1,0)^2 = 0,25
3. Backpropagation (Ableitungen)
Fehler nach Ausgabe: 2 * (0,5 - 1,0) = -1
ReLU-Steigung bei 0,5: 1
Fehler nach w1: -1 * x1 = -2
Fehler nach w2: -1 * x2 = -3
Fehler nach b: -1
4. Gradientenabstieg mit Lernrate 0,02
w1 = 0,5 - 0,02 * (-2) = 0,54
w2 = -0,2 - 0,02 * (-3) = -0,14
b = 0,1 - 0,02 * (-1) = 0,12
Neuer Durchlauf
Summe = 2 * 0,54 + 3 * (-0,14) + 0,12 = 0,78
Ausgabe 0,78, Fehler (0,78 - 1,0)^2 = 0,0484Der Fehler ist von 0,25 auf rund 0,05 gefallen, nach einem einzigen Schritt. Bei der Lernrate ist Vorsicht nötig. Mit 0,1 statt 0,02 würde die Ausgabe auf 1,9 springen und über das Ziel hinausschießen. Ein echtes Netz macht dasselbe mit Milliarden Gewichten gleichzeitig. Backpropagation ist nur das Verfahren, das diese vielen Ableitungen effizient liefert.
4. Meilensteine
- 1986: Rumelhart, Hinton und Williams zeigen in Nature, wie man die Gewichte eines mehrschichtigen Netzes mit Backpropagation anpasst, sodass sich verborgene Schichten nützliche Merkmale selbst aneignen.
- 2012: Krizhevsky, Sutskever und Hinton trainieren auf Grafikkarten ein Netz mit fünf Faltungsschichten und 60 Millionen Parametern. Es ordnet 1,3 Millionen Bilder in 1.000 Klassen ein und liegt deutlich vor den bisherigen Verfahren. Das Netz wird AlexNet genannt.
- 2017: Vaswani und sein Team stellen den Transformer vor, eine Architektur ganz ohne rekurrente Schichten, die sich gut parallel trainieren lässt. Auf ihr bauen heutige Sprachmodelle auf.
- 2018: Yoshua Bengio, Geoffrey Hinton und Yann LeCun erhalten den Turing Award für Durchbrüche, die tiefe neuronale Netze zu einem zentralen Baustein des Computings gemacht haben.
- 2024: John J. Hopfield und Geoffrey Hinton bekommen den Nobelpreis für Physik für Entdeckungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen.
5. Wie groß werden die Netze?
Die Größe eines Netzes wird in Parametern gezählt, also in der Zahl seiner Gewichte und Bias-Werte. AlexNet hatte 60 Millionen. Die Tabelle zeigt die größten Modelle, deren Hersteller die Zahl veröffentlicht haben:
- Entwickler
- Moonshot AI
- Jahr
- 2026
- Parameter gesamt
- 2,8 Billionen
- Aktiv je Token
- 104 Mrd.
- Entwickler
- Alibaba
- Jahr
- 2026
- Parameter gesamt
- 2,4 Billionen
- Aktiv je Token
- 95 Mrd.
- Entwickler
- Alibaba
- Jahr
- 2026
- Parameter gesamt
- 2,4 Billionen
- Aktiv je Token
- k. A.
- Entwickler
- Meta
- Jahr
- 2025
- Parameter gesamt
- 2 Billionen
- Aktiv je Token
- 288 Mrd.
- Entwickler
- DeepSeek
- Jahr
- 2026
- Parameter gesamt
- 1,6 Billionen
- Aktiv je Token
- 49 Mrd.
gradually.aiIn unserem Verzeichnis haben 177 Modelle eine bestätigte Parameterzahl. Das größte davon, Kimi K3, hat 2,8 Billionen Parameter und ist damit rund 16-mal so groß wie GPT-3 mit 175 Mrd.. Viele Hersteller nennen die Größe ihrer aktuellen Modelle gar nicht. Die Tabelle zeigt deshalb das größte Netz mit veröffentlichter Zahl, nicht zwingend das größte, das existiert.
Die Spalte „Aktiv je Token“ erklärt sich so. Bei einem gewöhnlichen („dichten“) Modell rechnen alle Parameter mit. Bei einem Mixture-of-Experts-Modell ist das Netz in Expertenblöcke aufgeteilt, und pro Token arbeitet nur ein Teil davon. Gesamtgröße und tatsächlicher Rechenaufwand liegen dort weit auseinander. Mehr dazu im Eintrag zum LLM.
6. Wofür Deep Learning eingesetzt wird
- Bilder: Gesichtserkennung, Auswertung von Röntgenbildern, Qualitätskontrolle in der Fertigung.
- Sprache hören und sprechen: Diktierfunktionen, Untertitel, Sprachassistenten, vorgelesene Texte.
- Übersetzung: maschinelle Übersetzer, die ganze Sätze statt einzelner Wörter verarbeiten.
- Text: Sprachmodelle, die schreiben, zusammenfassen und programmieren. Wie Wörter dabei in Zahlen verwandelt werden, erklären die Einträge zu Token und Embeddings.
- Erzeugen: Bild-, Video- und Musikgeneratoren, siehe generative KI.
- Empfehlen und Prüfen: Vorschläge in Streamingdiensten, Betrugserkennung bei Zahlungen.
Ein vortrainiertes Netz lässt sich für eine eigene Aufgabe nachtrainieren. Wann das sinnvoll ist, steht im Eintrag zum Fine-Tuning.
7. Grenzen und Missverständnisse
- Datenhunger. Ein Netz lernt aus Beispielen. Gibt es zu einer Aufgabe wenige oder schlechte Daten, taugt das Ergebnis wenig. Steckt in den Daten eine Verzerrung, lernt das Netz sie mit.
- Rechenaufwand. Training braucht viele Grafikkarten und viel Strom. Das ist der Grund, warum nur wenige Firmen die größten Modelle selbst trainieren.
- Black Box. Bei Millionen von Gewichten kann niemand ablesen, warum das Netz genau diese Antwort gibt. Der Eintrag zur erklärbaren KI zeigt, wie man dem beikommt.
- Plausibel statt wahr. Ein Sprachmodell optimiert, was wahrscheinlich klingt, nicht was stimmt. Daraus entstehen Halluzinationen.
- Missverständnis: „Das Netz denkt wie das Gehirn.“ Der Name stammt von einer losen Analogie. Ein künstliches Neuron ist eine Rechenformel, kein Nachbau einer Nervenzelle.
- Missverständnis: „Mehr Schichten sind immer besser.“ Tiefe hilft bei komplexen Aufgaben, kostet aber Daten und Rechenzeit.
8. Was heißt das für dich?
- Du musst nicht rechnen können, um es zu nutzen. Wichtig ist das Bild. Ein Netz hat aus Beispielen Muster gelernt und wendet sie an. Es schlägt von sich aus nichts nach und rechnet keine Logik durch.
- Gutes Ergebnis heißt gute Daten. Wenn du ein Netz selbst nutzen oder anpassen willst, entscheidet die Qualität deiner Beispiele mehr als die Wahl der Architektur.
- Trau der Ausgabe nicht blind. Ein Netz liefert immer eine Antwort, auch wenn es sie nicht kennt. Prüfe Zahlen und Quellen, besonders bei wichtigen Entscheidungen.
- Größe ist kein Qualitätsmerkmal. Welches Modell zu deiner Aufgabe passt, zeigen Benchmarks und Preise im Modellverzeichnis.