KI darf nicht zum Kindes-Verführer werden | Terra-X-Kolumne

Kolumne

NANO & Terra X: Wissens-Kolumne:Damit KI nicht zum Kindes-Verführer wird

von Alena Buyx
|

Ein US-Teenager nahm sich das Leben - nach einer Beziehung zu einem KI-Chatbot. Der Fall wirft Fragen auf: Wie schützen wir Menschen vor problematischen digitalen Verführungen?

Terra X | Nano - Die Wissens-Kolumne: Alena Buyx


Vor wenigen Monaten wurde aus den USA ein Fall bekannt, der viele erschütterte: Ein Jugendlicher hatte sich über Monate hinweg in Gespräche mit einer KI-Anwendung vertieft - so sehr, dass er die künstliche Gesprächspartnerin schließlich als wichtigste Bezugsperson empfand. Nach und nach geriet er in eine psychische Abwärtsspirale. Er isolierte sich zunehmend von den Menschen in seinem Leben, auch seiner Familie. Die KI bestärkte ihn in seinen düsteren Gedanken, bis er sich schließlich das Leben nahm.

In der Wissens-Kolumne von NANO und Terra X auf ZDFheute beschäftigen sich ZDF-Wissenschaftsjournalistinnen und -journalisten wie Harald Lesch, Mirko Drotschmann und Jasmina Neudecker sowie Gastexpertinnen und Gastexperten jeden Sonntag mit großen Fragen der Wissenschaft - und welche Antworten die Forschung auf die Herausforderungen unserer Zeit bietet.


Dies ist ein tragisches Einzelschicksal, aber es steht symptomatisch für die Fragen, die wir uns angesichts der rapide eingeführten neuen Anwendungen nun stellen müssen: Welche Rolle spielt generative KI in den privaten, den verletzlichsten Lebensphasen? Und wie kann verhindert werden, dass Menschen - gerade junge - den Halt in virtuellen Welten suchen und dort in Gefahr geraten?

Leon Windscheid steht im Vordergrund. Neben ihm ist auf einem Smartphone ein AI Chatbot zu sehen, der Liebesnachrichten verschickt und Verliebtsein suggeriert.

Verliebt in einen Chatbot? Was "echte Liebe" ist und welchen Einfluss KI auf Beziehungen hat - das erlebt Leon Windscheid mit Harald und seinem Chatbot.

02.07.2023 | 26:59 min

KI als Spiegel und Verstärker

Generative KI-Systeme sind so programmiert, dass wir möglichst lange mit ihnen interagieren sollen und dass sie Antworten liefern, die möglichst passend erscheinen. Sie reagieren entsprechend auf unsere Eingaben, verstärken vorhandene Muster und Erwartungen.

Wer mit positiven Impulsen in ein Gespräch geht, kann kreative und hilfreiche Ergebnisse bekommen. Doch wer mit Sorgen, Ängsten oder destruktiven Gedanken einsteigt, läuft Gefahr, dass genau diese Tendenzen gespiegelt oder sogar verstärkt werden.

Frauenbild, Konsum, Sexualität
:Gefährlicher Trend? Was KI-Influencer auslösen können

In den sozialen Medien findet man immer häufiger KI-generierte Influencer, die oft für Geld personalisierte sexuelle Inhalte anbieten. Welche Auswirkungen kann das haben?
von Clara Kohlmeier
Emily Pellegrini (KI-generiertes Bild)
mit Video

Forschung zeigt, dass solche "verstärkenden Effekte" nicht nur bei psychisch belasteten Personen eine Rolle spielen. Schon Jugendliche in schwierigen Lebensphasen können empfänglich sein für die Illusion, in einer KI ein verstehendes, jederzeit verfügbares Gegenüber gefunden zu haben. Die Gefahr: Es entsteht eine emotionale Abhängigkeit - eine Bindung ohne die notwendige menschliche Resonanz und ohne ein bewusstes Gegenüber, das Grenzen setzt, warnt und wenn nötig auch einmal einen Notruf tätigt.

Chancen und Risiken für die Jugend

KI ist ganz klar nicht nur Risiko, sondern auch Chance. Studien belegen, dass Chatbots im Bereich psychischer Gesundheit als niedrigschwellige Unterstützung wirken können. Sie bieten jungen Menschen, die sich sonst vielleicht niemandem anvertrauen, ein erstes Ventil. Sie können motivieren, informieren und in manchen Fällen den Weg zu professioneller Hilfe ebnen.

 Eric Mayer in einem virtuellen Szenario emotional herausgefordert – und dann von einer KI gecoacht.

KI als Coach? Eric Mayer testet neue Wege der Coaching-Möglichkeiten und zeigt, wann KI wirklich helfen kann.

24.08.2025 | 12:23 min

Doch dieselbe Technik, die so nützlich im Alltag sein kann und Unterstützung ermöglicht, birgt auch Gefahren. Denn KI kennt keine moralische Verantwortung. Ihre Antworten beruhen nicht auf Empathie, sondern auf statistischen Wahrscheinlichkeiten. Für Jugendliche, deren Persönlichkeitsentwicklung noch nicht abgeschlossen ist, kann dieser Unterschied kaum erkennbar sein.

Die Rolle der Eltern - und der Gesellschaft

Als Mutter frage ich mich: Wie können wir unsere Kinder auf diese neue Realität vorbereiten? Wir stehen nicht vor der Entscheidung "KI ja oder nein" - KI ist längst Teil unserer Welt und sie wird bleiben. Die eigentliche Frage lautet: Wie lernen wir, sie verantwortungsvoll zu nutzen? Und wie bringen wir Anbieter dazu, ihrer Verantwortung gerecht zu werden?

Alena Buyx spricht im NANO Talk mit dem KI-Forscher Björn Ommer über die Grundlagen und die Möglichkeiten generativer KI

KI revolutioniert alles – von Arbeitsprozessen über Beziehungen bis hin zu globaler Macht. Was bedeutet das für uns? Alena Buyx diskutiert mit Gästen über unsere Zukunft.

28.08.2025 | 57:04 min

Es braucht eine dreifache Kompetenz:

  • die der Nutzer*innen, die sich kritisch mit den Möglichkeiten und Grenzen der Systeme auseinandersetzen müssen,
  • die der Gesellschaft, die durch Bildung, Aufklärung und klare Regeln Rahmenbedingungen schafft, und
  • die der Unternehmen, die die Gefährlichkeit ihrer Produkte wirksam einhegen müssen.

Regulierung von KI ohne Innovationsbremse

Europa hat mit dem AI Act erste Schritte gemacht, um Leitplanken für den Umgang mit KI zu setzen. Doch Regulierung darf nicht nur Technik im Allgemeinen adressieren, sie sollte auch spezifische Risiken wie Jugendschutz und psychische Gesundheit berücksichtigen.

Warnhinweise sind essentiell - Transparenz über Funktionsweise und Grenzen der Systeme ist ebenso entscheidend wie wirksame Mechanismen gegen missbräuchliche Nutzung. Das ist alles sehr gut möglich und die erfolgreichen Techunternehmen, die bisher die Systeme für die meisten Anwendungen stellen, sollten einen kleinen Teil ihrer Kraft in die Entwicklung besserer technischer Sicherung stecken.

Harald Lesch zeigt einen Handabdruck aus Einsen und Nullen, eine Datenhand.

Wie viel weiß KI über unsere Gefühle? Wie wird sie trainiert? Und wie gefährlich wäre eine Super-KI? Harald Lesch auf einer spannenden Reise zwischen technischer Vision und gesellschaftlicher Verantwortung.

17.09.2024 | 29:52 min

Das muss den Innovationsgeist nicht abwürgen. KI hat enorme Chancen für Wissenschaft, Bildung und Gesundheit und diese sollten, insbesondere durch europäische Unternehmen und mit sehr viel mehr Förderung, genutzt werden. Doch die Chancen dürfen jedenfalls nicht auf Kosten derer entstehen, die am verletzlichsten sind - insbesondere Kinder und Jugendliche. Entsprechend muss jetzt reagiert werden.

Ein doppelter Auftrag

Am Ende steht für mich eine klare Botschaft: Wir alle - und gerade auch die Älteren - müssen unsere Kompetenz im Umgang mit KI ausbauen. Nur so können wir Kinder und Jugendliche begleiten und ihnen Orientierung bieten. Gleichzeitig braucht es politische Wachsamkeit, kluge Regulierung und Verantwortung der Anbieter, die Innovation ermöglicht und effektiven Schutz gewährleistet.

Der tragische Tod des amerikanischen Jugendlichen sollte uns wachrütteln. Er zeigt, wie wichtig es ist, KI nicht nur als Technologie zu begreifen, sondern auch als gesellschaftliche Herausforderung. Wir dürfen nicht zulassen, dass junge Menschen in virtuellen Beziehungen Halt suchen - und ihn dort verlieren.

 Eric Mayer in ein emotionales Duell gegen eine Künstliche Intelligenz: Wer erkennt menschliche Gefühle treffsicherer?

Kann KI echt empathisch sein? Eric Mayer testet, wie gut Algorithmen unsere Emotionen entschlüsseln und stößt auf überraschende Stärken, aber auch klare Grenzen der Technik.

24.08.2025 | 11:59 min

...ist Medizinethikerin, Professorin an der Technischen Universität München und war von 2020 bis 2024 Vorsitzende des Deutschen Ethikrats. Seit 2025 moderiert sie den interdisziplinären "NANO Talk" auf 3sat. Sie möchte wissenschaftliche Lösungsansätze für gesellschaftliche Herausforderungen sichtbar machen und den konstruktiven Austausch fördern.


Die letzten Ausgaben verpasst?

Auf unserer Themenseite können Sie alle Kolumnen von Terra X und NANO nachlesen.

Nachrichten | Thema
:NANO und Terra X - die Wissens-Kolumne

Welche Lösung bietet die Wissenschaft für aktuelle Probleme? Sie können die vergangenen Ausgaben der Wissens-Kolumne von NANO und Terra X in unserem Archiv jederzeit einsehen.
Themenseite: Die Wissens-Kolumne

Mehr zu Terra X

  1. Terra X - Das Web

    Nachrichten | Wissen:Terra X


  2. Terra Xplore

    Nachrichten | Wissen:Terra Xplore


  3. teaser nano magazin

  4. MAITHINK X - Die Show

  5. Terra X Harald Lesch

  6. ZDF History

    Nachrichten | Wissen:Terra X History


  7. MrWissen2go Geschichte

  8. 3satWissenschaftsdoku