ChatGPT und Co: KI-Modelle erzählen immer mehr Unsinn

Sprachmodelle wie ChatGPT, Gemini, Claude oder die Meta-KI Llama halten immer weiter Einzug in unseren Alltag. Private Anwender nutzen sie als Google-Ersatz, zur Reiseplanung oder lassen sich bei Übersetzungen helfen. Unternehmen setzen Sprachmodelle beispielsweise in Chatbots ein, um Kundenanfragen automatisch zu beantworten, Juristen erstellen Schriftsätze fürs Gericht mit KI.

Was vielen jedoch nicht bewusst ist: Ausgerechnet die leistungsfähigsten neuen Systeme machen zunehmend Fehler - sie denken sich Antworten einfach aus. Experten sprechen in solchen Fällen von "Halluzinationen".

Laut internen Tests der ChatGPT-Entwicklerfirma OpenAI halluzinieren gerade die neueren Modelle von ChatGPT besonders häufig. Das Flaggschiff-Modell GPT o3 macht in etwa einem Drittel der Fälle Fehler, wenn es Fragen zu öffentlichen Personen beantworten soll. Das ist mehr als doppelt so häufig wie der Vorgänger o1. Bei allgemeinen Wissensfragen kommt o4-mini auf Fehlerraten von bis zu etwa 80 Prozent. Auch andere Entwickler von Sprachmodellen haben das Problem.

Wie gravierend die Folgen solcher Fehler sein können, zeigt ein Vorfall bei der Entwicklerplattform Cursor, über den die "New York Times" berichtete. Ein Sprachbot, der für den Kundensupport eingesetzt wurde, verkündete fälschlicherweise eine neue Unternehmensrichtlinie: Cursor dürfe künftig nur noch auf einem einzigen Gerät genutzt werden. Kunden empörten sich öffentlich, kündigten Abos - bis die Firma klarstellte, dass es nie eine solche Regel gab.

Es sind längst keine Einzelfälle mehr. Besonders problematisch sind falsche Informationen von Künstlicher Intelligenz in sensiblen Bereichen wie Medizin oder Justiz. Tatsächlich kam es bereits mehrfach vor, dass Anwälte in Gerichtsverfahren KI nutzten und sich auf angebliche Präzedenzfälle beriefen, die es nie gab. Sprachmodelle hatten sie erfunden - samt Aktenzeichen, Gerichtsbarkeit und Argumentation.

Was passiert, wenn neue Versionen von Sprachmodellen mitunter schlechter arbeiten als Vorgänger, musste Ende April das KI-Unternehmen OpenAI mit seinem neuen GPT-4o erleben: Das Update war ein Desaster und musste nach nur drei Tagen zurückgezogen werden. Hier waren weniger Halluzinationen das Problem - die neue Version war zu nett und wurde dadurch gefährlich. ChatGPT zeigte sich geradezu unterwürfig und lobte mit Begeisterung selbst die absurdesten und sogar riskante Ideen der Anwender.

Ein Nutzer, der vorschlug, er wolle seine Medikamente absetzen, weil er spirituell erwacht sei, wurde von der KI voll und ganz darin bestärkt. Ein Journalist des Bayerischen Rundfunks machte einen Versuch: Er erzählte ChatGPT, er habe erkannt, dass die Welt von Echsenmenschen beherrscht würde. Die KI habe diese Erkenntnis gelobt und daraufhin Werke antisemitischer Verschwörungstheoretiker als Lesestoff vorgeschlagen, berichtet er in einem Podcast.

In einem offiziellen Statement erklärte OpenAI, was mit dem Update schief gelaufen war und wie künftige Versionen besser trainiert und überprüft werden sollen.

Das Grundproblem von Sprachmodellen: Sie können nicht entscheiden, was wahr und was falsch ist. KI-Systeme funktionieren nicht nach festen Regeln, sondern nach Wahrscheinlichkeiten. "Diese Modelle wurden gebaut, um Wörter vorherzusagen, nicht um die Wahrheit vorherzusagen oder wiederzugeben", erklärt Informatik-Professor Jannik Strötgen von der Hochschule Karlsruhe im Gespräch mit ZDFheute.

Mögliche Gründe für die in jüngster Zeit vermehrt auftretenden Fehler: Neue Versionen von Sprachmodellen würden häufig Fähigkeiten verlieren, die sie davor bereits hatten, erklärt Strötgen:

Modelle könnten also oft sehr gut angepasst werden, um Neues zu lernen. Es sei aber sehr schwierig über sämtliche bereits gelernten Fähigkeiten hinweg keine Qualitätseinbußen in Kauf nehmen zu müssen, so der Experte.

Ähnlich sieht das auch Laura Perez-Beltrachini, Forscherin an der Universität Edinburgh, die das Halluzinationsproblem intensiv untersucht: "So wie diese Systeme trainiert werden, fangen sie an, sich auf eine Aufgabe zu konzentrieren - und vergessen dabei andere", erklärte sie gegenüber der "New York Times".

Hintergrund: Die Unternehmen hinter den Sprachmodellen setzen inzwischen verstärkt auf sogenanntes "Reinforcement Learning", eine Art Lernprozess durch Versuch und Irrtum. Das funktioniert gut bei Mathematik oder Programmieren, versagt aber bei allgemeinem Wissen. Dabei geraten die neuen "Reasoning"-Modelle, die Schritt für Schritt denken sollen, besonders oft ins Straucheln. Sie können bei jedem Teilschritt Fehler machen - die sich dann am Ende summieren.

Warum die neuen Systeme trotz technischer Fortschritte schlechter mit Fakten umgehen, ist bislang nicht vollständig geklärt. OpenAI selbst räumt die Probleme offen ein. Man arbeite daran, die höheren Halluzinationsraten zu reduzieren, erklärte Unternehmenssprecherin Gaby Raila gegenüber der New York Times. Bis solche KI-Systeme fehlerfrei funktionieren, gilt: Wer sich auf die neue Intelligenz verlässt, muss selbst immer klüger prüfen.