ChatGPT vs. Claude: Der ultimative Vergleich

1. Bedienbarkeit: ChatGPT gewinnt

Bei der Bedienbarkeit ist ChatGPT Claude mehrere Schritte voraus.

So ist es bei ChatGPT zum Beispiel möglich, Prompts im Nachhinein zu ändern (durch Klicken auf den kleinen Stift unter dem Prompt):

Schade finde ich auch, dass man bei Claude Chatverläufe nicht mit anderen teilen kann, was bei ChatGPT einfach und unkompliziert durch die Share-Funktion möglich ist:

2. Funktionen: ChatGPT gewinnt

Was für die Bedienung gilt, gilt auch für den Funktionsumfang:

Auch hier hat ChatGPT klar die Nase vorn. Folgende Funktionen gibt es bei Claude nicht:

• einen Web-Browser (auch wenn man hier sagen muss, dass der Web-Browser von ChatGPT nicht sonderlich gut ist)
• einen Code Interpreter
• Bildgenerierung
• Die Möglichkeit, Custom Instructions anzulegen
• GPTs

Es bietet zudem bessere Einstellungsmöglichkeiten. Man kann z. B. die Sprache der Benutzeroberfläche einstellen, 2-Faktor-Authentifizierung, Chats archivieren oder alle Chats auf einmal löschen:

Für Unternehmen hat ChatGPT zusätzlich einen Team- und einen Enterprise-Tarif, die höhere Limits, Team-Funktionen und mehr Sicherheit und besseren Datenschutz bieten.

Bei Claude gibt es lediglich einen kostenlosen Tarif und den Pro-Tarif.

3. Bilderkennung: ChatGPT gewinnt knapp

Erkennung von Schrift und Elementen in Bildern funktioniert bei ChatGPT etwas (aber auch nicht sehr viel) besser als bei Claude 3 Opus.

Hier ein Beispiel von extrahierten Handnotizen bei ChatGPT:

Mit Claude war das Ergebnis okay, aber nicht ganz so gut. Vor allem die ersten zwei Punkte hat Claude nicht gut hinbekommen. Zudem korrigiert Claude keine offensichtlichen Rechtschreibfehler wie „Lehrrinnen“ oder„Schulttag“:

4. Modellqualität: Claude gewinnt

Nach vielem Testen kann ich sagen:

Claude 3 Opus schlägt GPT-4 Turbo in den allermeisten Fällen. Aber schauen wir uns das etwas genauer an:

4.1 Context Window & Verständnis

Mit Claude 3 Opus ist es möglich, sage und schreibe 200.000 Token als Prompt einzufügen und dem KI-Modell als Kontext mitzugeben. Das entspricht etwa 800.000 Zeichen oder ca. 114.000 deutschen Wörtern.

Bei GPT-4 Turbo sind lediglich magere 32.000 Token (ca. 128.000 Zeichen oder 18.000 deutsche Wörter) möglich. Das ist etwa ein Siebtel von Claude.

Und das eröffnet viele neue Anwendungsfälle. So kannst du Claude z. B. Fragen zu sehr langen Dokumenten stellen, die er deutlich besser beantworten kann als ChatGPT, das bei Dokumenten mit RAG (Retrieval Augmented Generation arbeitet):

Im Gegensatz zu ChatGPT neigt Claude auch nicht dazu, die Antworten am Anfang eines Chats zu vergessen, je länger der Chat wird.

Aber nicht nur das:

Claude ist auch besser darin, die Informationen, die er im Prompt mitbekommt, zu verarbeiten. Das heißt, diese als Ganzes zu „verstehen“ oder einzelne Informationen in einer riesigen Textmenge zu finden (selbst, wenn man ChatGPT innerhalb seines Context Windows von 32K Token fragt, also ohne Nutzung von RAG).

4.2 „Laziness“

GPT-4 Turbo hat ein großes Problem, das OpenAI seit dem Erscheinen im November nicht in den Griff bekommt:

Es ist manchmal faul, stur oder beides zusammen. Und das äußert sich wie folgt:

• Es hat Probleme damit, sehr komplexe Anweisungen zu befolgen
• Es neigt dazu, deutlich kürzere Texte zu schreiben als die Vorgängermodelle (also GPT-4 ohne Turbo)
• Beim Coden nutzt es oft Platzhalter, anstatt dir den kompletten Code zu zeigen (auch nach mehreren Aufforderungen dazu nicht)
• Es verweigert öfter mal komplett die Arbeit, vor allem, wenn man in einem Chat schon viel Text generiert hat

Hier ein Beispiel-Chat, in dem ich einen längeren Blogartikel Abschnitt für Abschnitt schreiben wollte. Bereits beim 4. Kapitel hat ChatGPT die Arbeit verweigert:

Das macht es für bestimmte Aufgaben extrem nervig, damit zu arbeiten. Vor allem, wenn man damit programmieren, komplexere GPTs erstellen oder es nutzen möchte, um Blogartikel zu schreiben (wie ich).

All diese Probleme hat Claude nicht.

4.3 Wiederholungen und Schreibstil

Alle KI-Modelle von OpenAI, darunter nicht nur GPT-3.5, sondern auch GPT-4 und GPT-4 Turbo, neigen zu Wiederholungen.

Hier ein Beispieltext einer Kundin von mir, bei dem jeder einzelne Satz (ja, jeder!) mit „Du kannst“ beginnt:

Gänseblümchen-Salat: Du kannst einen leckeren Salat aus Gänseblümchen-Blättern und -Blüten machen. Du kannst auch andere Wildkräuter, wie zum Beispiel Löwenzahn, Brennnessel, Vogelmiere oder Sauerampfer hinzufügen. Du kannst den Salat mit einem Dressing aus Olivenöl, Zitronensaft, Salz, Pfeffer und Honig anmachen. Du kannst den Salat als Vorspeise oder als Beilage essen.

Gänseblümchen-Smoothie: Du kannst einen erfrischenden Smoothie aus Gänseblümchen-Blüten und -Blättern machen. Du kannst auch andere Früchte, wie zum Beispiel Bananen, Äpfel, Birnen oder Beeren hinzufügen. Du kannst den Smoothie mit Wasser, Milch, Joghurt oder Saft verdünnen. Du kannst den Smoothie als Frühstück oder als Snack trinken.

Gänseblümchen-Suppe: Du kannst eine wärmende Suppe aus Gänseblümchen-Blättern und -Blüten machen. Du kannst auch andere Gemüse, wie zum Beispiel Kartoffeln, Karotten, Zwiebeln oder Sellerie hinzufügen.

Bei Claude 3 Opus passieren Wiederholungen auch. Es erstellt (wie die meisten anderen LLMs auch) teilweise unnötige Zusammenfassungen am Ende von Texten oder Textabschnitten.

Es wiederholt es sich jedoch deutlich weniger als GPT-4 Turbo oder GPT-4.

4.4 Platzierung im Chatbot Arena Leaderboard

Claude 3 Opus war das erste Modell, das GPT-4 im Chatbot Arena Leaderboard (zumindest bis zum Erscheinen von gpt-4-turbo-2024-04-09  am 09.04.2024) schlagen konnte:

Auch Claude 3 Sonnet, der kleinere Bruder, konnte zwei ältere GPT-4-Modelle und GPT-3.5 hinter sich lassen.

5. Coden: Claude gewinnt

Ich habe mittlerweile ein halbes Dutzend Python-Scripte, zwei WordPress-Plugins und jede Menge JavaScript mit Claude geschrieben und bin begeistert.

Claude hat bislang nur wenig Fehler beim Coden gemacht. Während ich bei GPT-4 oft viele Debugging-Schleifen durchlaufen musste, bis ein Script oder Programm einwandfrei läuft, schaffe ich es bei Claude mit weniger Anläufen.

Es lässt auch selten Code-Teile aus oder verweigert komplett seine Arbeit, was insbesondere GPT-4 Turbo gerne mal macht.

Beim Coden ist es zudem ein enormer Vorteil, dass Claude ein super langes Context Window hat und du ihm komplette Dokumentationen im Prompt mitgeben kannst (die er dann sehr gut einbeziehen kann).

6. Zugänglichkeit & kostenlose Version: ChatGPT gewinnt

Claude und ChatGPT bieten beide kostenlose Tarife an, was super ist. Bei Claude steht dir dabei „Claude 3 Sonnet“ und bei ChatGPT„ GPT-3.5“ als KI-Modell zur Verfügung.

Da Claude 3 Sonnet etwas besser als GPT-3.5 ist, gewinnt Claude bei der kostenlosen Version.

Ein großes Manko von Claude ist leider:

Die Pro-Version ist offiziell nicht in Deutschland verfügbar. Man kann sie zwar trotzdem buchen, wenn man sich über ein VPN einwählt und eine US-amerikanische Adresse eingibt, dennoch lässt es hier gegenüber ChatGPT Federn:

ChatGPT ist in allen Versionen (Free, Plus, Team und Enterprise) auch hierzulande verfügbar. Auch die Benutzeroberfläche lässt sich auf Deutsch einstellen.

Seit 1. April 2024 lässt sich ChatGPT zudem ohne Login nutzen.

Mein Fazit

ChatGPT ist das bessere Tool als Claude. Aber Claude 3 Opus ist in meinen Augen besser als GPT-4 (und Claude 3 Sonnet ist besser als GPT-3.5).

Und nein:

Das heißt nicht, dass ich aufgehört habe oder aufhören werde, ChatGPT zu nutzen. Ich nutze es nach wie vor täglich.

Ich nutze lediglich für bestimmte Aufgaben Claude lieber. Dazu gehören z. B. das Schreiben längerer Texte (vor allem Blogartikel), komplexere Aufgaben mit langen Prompts oder das Coden.

Und ich denke, dass sich der Trend in Zukunft fortsetzen wird, dass es keinen Chatbot gibt, der alles am besten kann, sondern man die besten Resultate durch Kombination verschiedener Chatbots wird erreichen können.