Ein Context Window ist das „Sichtfenster“ eines LLMs, also die Menge oder den Bereich an Text, den es auf einmal verarbeiten kann.
Es wird in Token gemessen, also kleine Textstücke wie Wörter oder Wortteile. Ein Token entspricht dabei ungefähr 4 Zeichen.
Das Context Window bei modernen LLMs liegt bei 4.000 Token bis 128.000 Token.
Spitzenreiter ist aktuell Google Gemini 1.5 Pro mit 1 Million Token. Laut eigenen Angaben hat Google es bereits intern erfolgreich mit 10 Millionen Token getestet.
Auch andere Unternehmen und Organisationen forschen aktiv an größeren Context Windows. Microsoft Research hat im Februar 2024 z. B. LongRoPe vorgestellt, das Context Windows von mehr als 2 Millionen ermöglichen soll.
1. Context Window & Antwortqualität
Die Größe des Context Windows beeinflusst direkt, wie viele Informationen einem LLM (großem Sprachmodell) für kohärente und kontextbezogene Antworten zur Verfügung stehen.
Ein größeres Fenster ermöglicht nuanciertere Ausgaben, da mehr Kontext berücksichtigt werden kann.
Claude 3 Opus, das ein Context Window von 200K Token hat, kann z. B. 30 bis 40 Blogartikel oder ein Harry-Potter-Band in seiner Antworten einbeziehen.
2. Auswirkungen auf Rechenleistung & Speicher
Sprachmodelle mit großen Context Windows wie Claude 3 Opus oder Gemini 1.5 Pro erfordern mehr Rechenleistung und Speicher als LLMs mit kleineren Context Windows wie GPT-3.5 oder Llama 3.
Aus diesem Grund setzen viele Betreiber und Entwickler von KI-Chatbots stattdessen auf Techniken wie Retrieval Augmented Generation (RAG), das Anfragen sehr viel günstiger macht, aber auch ungenauer ist.
3. Vor- und Nachteile großer Context Windows
Große Context Windows haben Vorteile, aber auch einige Nachteile. Zu den Vorteilen zählen:
- Das LLM kann längere und komplexere Texte besser verstehen
- Es erkennt Zusammenhänge über größere Textspannen hinweg
- Es erzeugt kohärentere, passendere Antworten
Nachteile sind:
- Das LLM benötigt deutlich mehr Rechenleistung und Speicher
- Abfragen erzeugen höhere Kosten
- Das LLM braucht länger, um zu antworten
- Je umfangreicher der Prompt, desto schlechter sind oft die Ergebnisse
4. Anwendungsbereiche großer Context Windows
Große Context Windows eignen sich besonders gut für anspruchsvolle Aufgaben wie:
- Zusammenfassung langer Dokumente
- Beantwortung komplexer Fragen
- Verarbeitung von Prompts mit vielen Schritten
- Generierung langer, zusammenhängender Texte
- Programmierung und Analyse von Code
- Unterhaltungen mit Chatbots über viele Nachrichten hinweg
Für einfache Aufgaben wie Small Talk oder Frage-Antwort-Spiele reichen dagegen auch LLMs mit kleinerem Context Window.
5. Beispiele
Hier findest du die Context Windows für 15 bekannte LLMs von Anthropic, Google, OpenAI und Meta:
| LLM | Context Window (in Token) | Entwickler |
|---|---|---|
| Claude Instant 1.2 | 100K | Anthropic |
| Claude 2 | 100K | Anthropic |
| Claude 2.1 | 200K | Anthropic |
| Claude 3 Haiku | 200K | Anthropic |
| Claude 3 Sonnet | 200K | Anthropic |
| Claude 3 Opus | 200K | Anthropic |
| Gemini 1.0 Pro | 32K | Google Research |
| Gemini 1.5 Pro | 1 Million | Google Research |
| Gemini 1.0 Ultra | 32K | Google Research |
| GPT-3.5 Turbo | 4K bis 16K | OpenAI |
| GPT-4 | 8K bis 32K | OpenAI |
| GPT-4 Turbo | 128K | OpenAI |
| Lllama 1 | 2K | Meta AI |
| Lllama 2 | 4K | Meta AI |
| Lllama 3 | 8K | Meta AI |
