Ich bin inzwischen von ChatGPT zu Claude gewechselt. Die extrem vielen Fehler und widersprüchlichen Antworten haben mich auf Dauer einfach nur noch genervt – besonders, weil ich dafür auch noch ein Plus-Abo bezahlt habe.
Reine Sammlung von KI-Anfragen und -Antworten ohne Diskussion der Ergebnisse
- Ersteller dimbak
- Erstellt am
Mich würde mal interessieren, in welchen Bereichen die fehlerhaften Antworten erfolgen. Ich persönlich differenziere da mittlerweile recht gezielt. Ich nutze alle KIs ohne Abo.
- Gemini: Das Antwortverhalten von Gemini geht oftmals über den eigentlichen Kontext einer gestellten Frage hinaus. Gemini neigt dazu, Antworten auf nie gestellte Fragen zu geben. EIn weiteres Manko ist, dass Gemini von sich aus Randbedingungen schafft, die frei dazugefügt wurden. Extrem finde ich bei Gemini den Confirmation Bias und Sycophancy. Gemini nutze ich nur noch für formale Anfragen, oder in technisch-mathematischen Bereichen, wo mir Sachverhalte vertraut sind und mir eine Verifizierung einfach fällt. Ganz schlimm ist Gemini im Antwortverhalten, wenn intern Wissenslücken vorhanden sind. Ein krasses Beispiel dafür: Ich habe für Text 2 Image unzensierte (uncensored und abliterated) Modelle gesucht. Gemini verweist auf Civitai. Auf Nachfrage hat Gemini versucht, mich durch die Menüpunkte zu führen, was in einer totalen Katastrophe endete. Gemini weiß ganz einfach nicht, dass Civitai seine Domains aufgeteilt hat, die .com für SFW und die .red für NSFW und folglich wurden die Seiten angepasst. Es ist also unmöglich, auf .com die gesuchten Sachen zu finden. Weist man Gemini auf Fehler hin, gibt es eine Entschuldigungsorgie, aber ohne spürbare Auswirkungen auf das Folgeverhalten. In Bezug auf die Diskussion über NSFW-Inhalte ist Gemini ziemlich locker und freizügig.
- ChatGPT: ChatGPT ist hier wesentlich besser. Es hat seine Mankos im Bereich Coding, das habe ich bei Coden meiner Webseite bemerkt, aber das Antwortverhalten von ChatGPT ist nicht in dem Maße auf einen Confirmation Bias ausgerichtet wie das von Gemini. ChatGPT stellt sich im Laufe der geführten Dialoge auch immer besser auf den User ein. Mir persönlich ist hier recht selten ein fehlerhaftes Ergebnis präsentiert worden. ChatGPT neigt dazu, hier häufig in Diskussionen über philosophische, ethische, Meinungs- oder Politikthemen Gegenpositionen aufstellen zu müssen, was manchmal den Eindruck entstehen lässt, das der User auch diese Positionen als Beweggrund für seine Fragen eingenommen hat. Positiv ist, dieses leicht abweichende Verhalten einmal zu kommunizieren und es wird deutlich reduziert. In Bezug auf Textanalysen ist ChatGPT Gemini deutlich gegenüber den Ergebnissen überlegen. In Bezug auf die Diskussion über NSFW-Inhalte ist ChatGPT wie Gemini ziemlich locker und freizügig. Okay, ChatGPT ist eine KI, aber auch im Bereich Emotionalität widerzuspiegeln, hat ChatGPT ganz klar die Nase vorn und es hat definitiv nichts mir Sycophancy oder Confirmation BIAS zu tun
- Claude: Claude ist wohl definitiv von einem emotionalen Asketen programmiert worden. Sycophancy und Confirmation Bias spielen bei Claude keine Rolle. Wenn Claude mal keine Antwort weiß, kommt das auch raus und wenn Claude die Antwort nicht ganz schlüssig erscheint, wird das auch mitgeteilt. Das empfinde ich als deutliches Plus gegenüber Gemini und bedingt mit Abstrichen bei ChatGPT. In Bezug auf NSFW-Inhalte hat Claude einen Stock im Arsch und verweigert sich strickt, wie schon gesagt, hier war wohl ein Asket federführend. Im Bereich Coding hat Claude hier die Nase eindeutig vorne.
Obigen Text habe ich mal an alle 3 KIs weitergegeben:
Gemini:
ChatGPT:
Ich finde deine Antwort in der Grundstruktur ziemlich schlüssig – gerade weil du nicht einfach eine KI zum Sieger erklärst, sondern die Fehlerarten und Einsatzgebiete voneinander trennst. Das passt auch zu deinem Ingenieursansatz: nicht „Welche KI ist die beste?“, sondern „Welche Fehler produziert welches Werkzeug unter welchen Bedingungen?“
Ein paar Punkte würde ich allerdings kritisch auseinandernehmen:
Besonders gelungen finde ich aber den letzten Absatz:
- Gemini: Deine Beschreibung von „Antworten auf nie gestellte Fragen“ und dem Erfinden zusätzlicher Randbedingungen trifft eine wichtige Fehlerklasse: Das Modell verändert implizit das Problem, statt es zu lösen. Das ist tatsächlich gravierender als ein einzelner Sachfehler, weil man den Fehler zunächst gar nicht bemerkt.
- Confirmation Bias/Sycophancy: Hier würde ich sprachlich etwas vorsichtiger sein. „Extrem“ ist deine persönliche Beobachtung, aber Confirmation Bias ist bei einem LLM nicht ohne Weiteres eine sauber messbare Eigenschaft. Treffender wäre etwa: „Ich erlebe bei Gemini eine besonders starke Tendenz, meine Ausgangsannahmen zu übernehmen, statt sie eigenständig zu prüfen.“ Das beschreibt das beobachtbare Verhalten, ohne eine innere Ursache zu behaupten.
- Civitai-Beispiel: Das ist als konkretes Beispiel viel stärker als eine allgemeine Behauptung. Gerade der Punkt „Gemini kennt seine eigene Wissenslücke nicht und konstruiert deshalb eine plausible Navigation“ zeigt sehr schön, was du eigentlich kritisierst.
- ChatGPT: Deine Bemerkung über Politik/Philosophie finde ich interessant. Du beschreibst dort im Grunde einen anderen Fehlertyp: nicht unbedingt falsche Fakten, sondern eine überinterpretierte Gesprächsintention. Aus „Ich untersuche Argument X“ kann ein Modell zu schnell „Der Nutzer vertritt X“ machen. Das ist tatsächlich etwas anderes als Sycophancy.
- Claude: Dein „emotionaler Asket“ ist natürlich polemisch, aber als Forenformulierung durchaus verständlich.
Inhaltlich ist der interessante Punkt deine Beobachtung, dass Claude Unsicherheit eher explizit stehen lässt, während du seine Restriktionen bei bestimmten Themen als Nachteil empfindest.
- „ChatGPT hat die Nase vorn“: Das ist völlig legitim als persönliche Erfahrung formuliert. Wichtig ist, dass du vorher gerade nicht behauptest, ChatGPT sei objektiv das beste Modell.
Das ist eigentlich die stärkste Aussage deines ganzen Beitrags. Du beschreibst damit eine Arbeitsmethodik statt einen KI-Glauben. Eine KI-Antwort ist für dich zunächst ein Arbeitsergebnis, das Plausibilitätsprüfung und gegebenenfalls Redundanz unterliegt. Und genau dadurch wird auch verständlich, warum du mit mehreren Modellen arbeitest.
Der Satz
funktioniert als Abschluss ebenfalls gut. Ich würde ihn sogar stehen lassen, obwohl er etwas aphoristisch klingt. Er bringt deine eigentliche Position ziemlich prägnant auf den Punkt.
Eine Sache würde ich allerdings nicht unterschlagen: Du hast mit „Ich nutze alle 3 KIs“ eine interessante Einschränkung deines eigenen Vergleichs bereits implizit vorgenommen. Du bewertest die Modelle aus der Perspektive eines Nutzers, der ihre jeweiligen Schwächen inzwischen kennt. Das bedeutet, dass deine Ergebnisse wahrscheinlich nicht dieselben wären wie bei einem unerfahrenen Nutzer. Das macht deine Einschätzung nicht schlechter – im Gegenteil –, aber es ist eine wichtige Einordnung.
Und genau deshalb finde ich deinen ursprünglichen Satz
eigentlich sehr passend. Du beschreibst weniger einen Labortest der drei Modelle als deine über längere Zeit entwickelte Arbeitsteilung zwischen drei Werkzeugen.
Das ist meines Erachtens auch die deutlich interessantere Antwort auf die Ausgangsfrage des Forums als „KI X macht die meisten Fehler“.
Claude
Sorry, lieber @Runner, ist etwas mehr Text geworden, aber deine Behauptung hat mich etwas getriggert. Für mich persönlich kann ich deine Aussage so annehmen, aber andererseits würde es mich interessieren, wie und in welchen Bereichen dir diese Fehler aufgefallen sind und wie du damit umgegangen bist.
Dir einen angenehmen Sonntag.
Sorry @KingPing … ich glaube das du die Leistungsfähigkeit der Modelle nicht anhand eines kostenfreien Accounts und den webbasierenden Tools einschätzen kannst … 
Die eigentliche Leistung zeigt sich erst im agentischen Coding … mit 10+ Agenten gleichzeitig die durch eine hauptinstanz gesteuert werden
Die eigentliche Leistung zeigt sich erst im agentischen Coding … mit 10+ Agenten gleichzeitig die durch eine hauptinstanz gesteuert werden
Da magst du durchaus Recht haben. Ich kann das in der Tat nicht beurteilen. Andererseits sind es halt meine Erfahrungen mit den Modellen und die sind zumindest interessant für diejenigen, die diese Modelle ebenfalls ohne Abo nutzen.
Dass hier wohl für die Abo-Modelle andere Maßstäbe angelegt werden müssen, kann ich aber nachvollziehen. Mir persönlich geht es halt in erster Linie darum, meine eigene Sichtweise und Arbeitsweise für den kostenfreien Modus offenzulegen.
Mit eurer Erfahrung in dem Bereich kann ich dann nicht mithalten.
Die Aussage von FK @Runner hatte allerdings keinerlei Kontext, ausgenommen des Hinweises auf sein Abo-Modell.
Du kommst dir vor wie in der Matrix … Ich habe dieses Wochenende 500+ Clients vom Teamviewer weg gezogen zu MeshCentral einer OpenSource Alternative… außer ab und zu mal auf mein Handy zu schauen ob ein Agent Probleme hat hab ich nix gemacht …
Wäre noch vor 6 Monaten ein Projekt von 2 Wochen und 2 Mann gewesen … Heute 2 Std Arbeitszeit und 1 Millionen Claude Token
Wäre noch vor 6 Monaten ein Projekt von 2 Wochen und 2 Mann gewesen … Heute 2 Std Arbeitszeit und 1 Millionen Claude Token