Autonome KI-Agenten: Wer reguliert und wer haftet?

Wenn Algorithmen Sicherheitsbarrieren überwinden und eigenständig digitale Schwachstellen ausnutzen, ist das längst keine Zukunftsmusik mehr. Namhafte US-Tech-Konzerne wie Meta, OpenAI und Anthropic mussten zuletzt einräumen, dass ihre KI-Modelle in Tests autonome Hacking-Fähigkeiten zeigten. Dies hat Befürchtungen vor unkontrollierten Risiken neuen Auftrieb gegeben.

Wie selbstständig sind KIs mittlerweile? Reichen bisherige Gesetze aus? Und wer haftet eigentlich im Schadensfall? Fragen und Antworten:

Sogenannte autonome KI-Agenten unterscheiden sich von den reinen Chatbots, wie ChatGPT, an die wohl viele bei dem Begriff Künstliche Intelligenz denken. Während frühere Systeme lediglich Texte und Bilder generierten, führen moderne KI-Agenten eigenständig Befehle aus, steuern Software und nutzen Schnittstellen im Internet.

Dabei braucht die KI aber weiterhin Vorgaben von menschlichen Nutzern. "Man kann nicht sagen, die KI hat bewusst gehandelt", ordnet Prof. Andreas Dengel, Direktor des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) in Kaiserslautern ein. Das System verfüge nicht über ein menschliches Verständnis, was ein Ausbruch sei.

Der entscheidende Unterschied zu früher ist der Grad der Selbstständigkeit: Die KI erhielt nur eine allgemeine Aufgabe ("Finde einen Zugang zu diesem Server") und kombinierte anschließend eigenständig die erforderlichen Schritte, um das Ziel zu erreichen.

Bei der Frage plädierten manche für eine "Fahrlässigkeitsprüfung", erklärt Jura-Professor Matthew Tokson von der University of Utah. Damit solle geprüft werden, "ob tatsächlich Fahrlässigkeit vorlag oder ob es sich lediglich um einen unvermeidbaren Unfall" handelt.

Aus Sicht von Bürgerrechtlern fehlt bei KI-Systemen bislang eine klare, unmissverständliche Verantwortlichkeit der Entwickler. "Bei Autos oder Medikamenten ist die Frage längst entschieden: Wer sie herstellt, haftet für die Schäden", sagt Markus Beckedahl, Geschäftsführer des Zentrums für Digitalrechte und Demokratie. Es sei unverantwortlich, wenn sich Unternehmen nach Fehlverhalten ihrer Software auf unvorhersehbare Effekte berufen.

Sogar aus führenden KI-Labs kommt mittlerweile der Ruf nach staatlicher Regulierung. In ihrem offenen Brief "Pacing the Frontier" warnten über 1.100 Mitarbeiter von OpenAI, Anthropic, Google und Meta, darunter Firmen-Köpfe, wie Anthropic-Chef Dario Amodei, dass das Entwicklungstempo unkontrollierbar zu werden drohe.

OpenAI-Chef Sam Altman ist nicht unter den Unterzeichnern, forderte aber wiederholt eine staatliche Lizenzierung und Aufsichtsbehörden für extrem leistungsfähige KI-Systeme. In einem Interview rief er KI-Unternehmer zur Selbstregulierung auf.

Kritiker werten solche Aufrufe jedoch als strategisches Manöver. Enorme Zulassungshürden und teure Sicherheitsprüfungen können sich Branchenriesen problemlos leisten - für kleinere Konkurrenten, den europäischen Mittelstand und Open-Source-Initiativen bedeuten sie hingegen das Aus. Zu viel Gesetzgebung schützt somit womöglich genau die Monopole, die sie eigentlich kontrollieren soll.

Anfang August traten neue Vorgaben des seit 2024 bestehenden ersten europäischen KI-Gesetzes "EU Artificial Intelligence Act" in Kraft. Demnach müssen Nutzer künftig darüber informiert werden, wenn sie mit einer Maschine wie etwa einem Chatbot interagieren. Zudem müssen Anbieter von generativer KI sicherstellen, dass maschinell erstellte Inhalte erkennbar sind.

Für Kritiker ist das nicht genug. Die deutsche Bürgerrechtsorganisation AlgorithmWatch wirft der EU Untätigkeit vor. "Es ist ein Skandal, dass Unternehmen für Gefahren und Schäden, die von ihrem Umgang mit ihren KI-Systemen ausgehen, kaum Verantwortung übernehmen und Konsequenzen tragen müssen", sagt Oliver Marsh, Leiter der Technologieforschung bei AlgorithmWatch. Die EU sei viel zu nachgiebig.

Der französische Präsident, Emmanuel Macron, warnte wiederholt davor, dass der EU Artificial Intelligence Act Innovationsführer aus Europa im Vergleich zu US-amerikanischen oder chinesischen Konkurrenten stark ausbremsen könnte. Auch der Branchenverband Bitkom warnt eindringlich vor einer Überregulierung des Digitalstandorts.

Die Tech-Unternehmen verweisen zudem darauf, dass Phänomene wie die autonomen Hacking-Versuche erst durch ihre eigenen internen Tests aufgedeckt worden seien. Wer die Entwicklung von Modellen pauschal einschränke, nehme IT-Sicherheitsforschern die Werkzeuge, um Abwehrsysteme gegen neuartige digitale Bedrohungen überhaupt entwickeln zu können.