Blackbox KI: Eine Studie zeigt welche Quellen KI-Modelle benutzen

Die Frage kann völlig abwegig sein oder brennend aktuell: Eine Antwort liefern KI-Chatbots immer. Und zwar meist so überzeugend, dass vermutlich viele den Antworten blind vertrauen. Ein Klick auf weiterführende Quellen? Den Aufwand ersparen sich wahrscheinlich die meisten. Motto: Wird schon stimmen, was ChatGPT & Co. mir da vorsetzen.

Umso wichtiger wird es zu prüfen, woher die KI-Modelle ihre Überzeugungen eigentlich nehmen. Zwei Forscherinnen der Berliner Denkfabrik "Agora Digitale Transformation" wollten genauer in diese Blackbox schauen. Sie fragten fünf führende KI-Modelle in einer Studie tagelang nach aktuellen Nachrichten aus verschiedenen Themenfeldern. "Wir wollten wissen, welche Nachrichtenquellen von den KI-Systemen zitiert werden, wenn man sie explizit danach fragt", berichtet Studienleiterin Vivien Benert.

Das Ergebnis: höchst unterschiedlich. Während in vielen Fällen - von Googles KI-Überblick bis zu den KI-Modellen "Claude" und "Perplexity" - öffentlich-rechtliche Angebote als Quellen dominieren, darunter tagesschau.de und ZDFheute.de, fällt ChatGPT als einer der führenden Chatbots aus dem Rahmen. Hier führt nach Auswertung der Forscher mit großem Abstand eine einzige journalistische Quelle die Rangliste an: Welt.de. Das Online-Angebot aus dem Springer-Verlag wurde in der Stichprobe häufiger von ChatGPT als Quelle herangezogen als alle anderen Quellen aus den Top 10 zusammengerechnet.

Die Autorinnen vermuten dahinter kommerzielle Gründe: Seit 2023 kooperiert die Mutterfirma von ChatGPT, OpenAI, mit dem Axel-Springer-Verlag. "Das schlägt sich signifikant in der Quellenauswahl nieder", so Vivien Benert. Diese Kooperation an sich halte sie nicht für problematisch, so Benert zu ZDFheute: "Problematisch finde ich, dass die Kooperation bei der Nutzung des Systems nicht angezeigt wird."

Studie der Denkfabrik "Agora Digitale Transformation"

Beim Springer-Verlag hat man für die Kritik offenbar wenig Verständnis. Auf Anfrage von ZDFheute teilt ein Sprecher mit: "Die Kooperation zwischen Axel Springer und OpenAI ist absolut transparent kommuniziert worden." Ob das häufige Zitieren von Welt.de in Zusammenhang mit dieser Kooperation stehe, das könne man nicht beurteilen, so der Sprecher weiter.

Auch OpenAI widerspricht der Vermutung: "Welche Quellen in den Suchergebnissen erscheinen, richtet sich ausschließlich danach, welche Informationen für die jeweilige Anfrage am nützlichsten und relevantesten sind - nicht danach, ob ein Verlag eine kommerzielle Vereinbarung mit OpenAI geschlossen hat", so ein OpenAI-Sprecher zu ZDFheute.

Deutlich problematischer sind die Befunde zu Anthropics Modell "Claude". So zitiert das System der Denkfabrik zufolge - zwar nicht unter den Top 10, aber doch deutlich messbar - Medien, die die Forscherinnen dem Rechtsaußen-Spektrum zurechnen: von der "Jungen Freiheit" über "Tichys Einblick" oder die "Epoch Times" bis zu klimaskeptischen Blogs.

Besonders brisant: Claude verlinkte im Untersuchungszeitraum siebenmal auf Domains des russischen Propaganda-Netzwerks "Pravda". Diese stünden in den Antworten "ungekennzeichnet neben journalistischen Quellen, so dass Nutzende sie wahrscheinlich nicht als Desinformationen erkennen", heißt es in der Studie.

Der Mechanismus dahinter wird auch "LLM-Grooming" genannt. Die Netzwerke würden demnach, so die Forscherin, das Internet gezielt mit Falschmeldungen auf immer neuen Domains fluten, damit die KI-Modelle diese aufsaugen. "Für die Nutzenden stehen diese Quellen dann ohne Unterschied oder Gewichtung neben seriösen journalistischen Quellen - das wird ein Problem für die Demokratie", sagt Vivien Benert von "Agora Digitale Transformation".

Die Studienautoren der Denkfabrik "Agora Digitale Transformation" fordern daher von der Politik, KI-Modelle zu Transparenz zu verpflichten. Kommerzielle Kooperationen wie im Falle des Springer-Verlags müssten schon im Startfenster gekennzeichnet werden, sagt Studienautorin Vivien Benert.

Und Nutzerinnen und Nutzer wiederum sollten sich nicht allein auf die Chatbots verlassen. "Wir raten dazu, wann immer möglich die Quellen der KI-Antworten selbst zu überprüfen", sagt Benert. Das allerdings, gibt sie zu, erfordere etwas mehr Mühe.

Florian Neuhann leitet das ZDF-Team Wirtschaft und Finanzen.

Unser Nachrichtenangebot - jetzt als bevorzugte Quelle bei Google