KI, der Ruf nach Regulierung - und was die EU tun kann

Wie oft kommt es vor, dass Firmenchefs vor dem UN-Sicherheitsrat vor ihrer eigenen Technologie warnen?

Allein die Vorstellung mutet surreal an. Aber wenn es um die rasante Entwicklung von Künstlicher Intelligenz geht, wird auch das Unwirkliche zur Realität. Und so stehen die Chefs der beiden größten US-amerikanischen KI-Firmen am Mittwoch vor dem UN-Sicherheitsrat und sagen Sätze wie:

Oder auch:

Doch warum rufen die KI-Bosse nach der Drosselung ihrer gesamten Branche? Sind die Forderungen glaubwürdig? Und wie kann Kontrolle aussehen, wenn selbst die Schöpfer der KI nicht in der Lage sind, sicherheitsrelevante Vorfälle zu verhindern? Ein Überblick.

Im Juli meldete OpenAI erstmals einen Hacking-Angriff, bei dem KI-Systeme aus ihrer Testumgebung ausgebrochen sind und andere Unternehmen und Plattformen attackiert haben. Seitdem machten OpenAI und Anthropic weitere Zwischenfälle publik.

Seit Mittwoch ist klar, dass bereits im Juni ein autonomer KI-Agent von OpenAI ein australisches Regierungsportal gehackt hat. Laut Australiens Premierminister Anthony Albanese hat OpenAI die Behörden erst Monate später über den Vorfall informiert - im September per E-Mail an ein öffentliches Postfach.

Vor dem Hintergrund dieser Vorfälle rief Anthropic-Chef Dario Amodei in einem Essay dazu auf, die Weiterentwicklung der KI-Modelle zu verlangsamen. Die dadurch "gewonnene Zeit" solle sinnvoll genutzt werden, um die durch KI entstehenden Risiken besser zu verstehen und einzudämmen. OpenAI-Chef Sam Altman stellte sich hinter den Vorstoß seines Konkurrenten.

Dennis-Kenji Kipker ist Professor für IT-Sicherheitsrecht an der Hochschule Bremen und Gründer des Cyber Intelligence Institutes (CII). Er glaubt nicht, dass es Firmen wie OpenAI und Anthropic um mehr Sicherheit geht. "Die KI-Labore haben seit jeher Innovation über Sicherheit gestellt", sagt Kipker im Interview mit ZDFheute live.

Kipker sieht hinter den Rufen nach mehr Kontrolle vor allem zwei Vorteile für die Konzerne:

Einflussnahme: "Sobald irgendwo Gefahren von Technologie aufkommen, versuchen diese Unternehmen (...) der Regulierung vorauszukommen", sagt Kipker. Das sei ein gängiges Modell im Silicon Valley: Wer in die Offensive gehe, könne Einfluss nehmen und Regulierung steuern. "Das ist für diese Unternehmen sehr wertvoll, weil sie dann nicht am Ende einer globalen Regulierungskette ausgesetzt sind, der sie nichts mehr entgegensetzen können."

Risikominimierung: Kipker sieht in den Warnungen zudem "präventiven Selbstschutz". Der nächste Vorfall komme bestimmt. Den KI-Laboren gehe es auch darum, dann nicht der "Buhmann" zu sein - sondern sagen zu können: "Wir haben auf die Risiken hingewiesen."

Wie andere Experten weist auch Kipker auf mögliche kommerzielle Interessen hin. Der Unternehmer und KI-Experte Brian Roemmele etwa sah in Amodeis Warnung eine Werbeaktion - wenige Wochen vor einem möglichen Börsengang von Anthropic. "Das ist die Börsengangsstory in Essay-Form: 'Wir sind die verantwortungsvolle Firma; wir sind das Heilmittel, kauft die Premium-Sicherheit'", schrieb Roemmele bei X.

Das Thema KI-Sicherheit soll zwar beim Besuch von Chinas Staatschef Xi Jinping bei US-Präsident Donald Trump angesprochen werden. Kurzfristig tendiert die Chance, dass sich die KI-Mächte USA und China auf eine Regulierung einigen, jedoch "gegen Null", sagt ZDF-Korrespondent Elmar Theveßen in Washington. "Donald Trump sagt öffentlich: 'Wir müssen dieses Rennen um KI gewinnen, um zu gewinnen.' Das heißt, es geht um den Erhalt der amerikanischen Vormachtstellung", ordnet Theveßen ein.

Dennis-Kenji Kipker schreibt unter anderem der Europäischen Union eine wichtige Rolle zu. Die EU sei ihrer Zeit "weit voraus" gewesen, sagt Kipker, indem sie schon vor Jahren mögliche Folgen der Technologie reguliert habe - bevor die Risiken so deutlich aufgetreten sind wie heute.

Auch in Zukunft könne die EU klare Richtlinien festlegen, etwa in den Bereichen Sicherheitstransparenz, Nachvollziehbarkeit und Dokumentationspflichten. Kipker sieht vor allem im EU-Binnenmarkt mit seinen 450 Millionen Einwohnern eine Chance, dass KI-Firmen europäische Regeln global anwenden.

Die Geschäftsführerin des IT-Forschungsinstituts Hasso-Plattner-Institut (HPI) in Potsdam, Daniela Gerd tom Markotten, fordert ein unabhängiges Expertenteam als Prüfaufsicht. Der Nachrichtenagentur dpa sagt sie:

Holger Hoos, Professor an der RWTH Aachen für Methodik der Künstlichen Intelligenz, schlägt im ZDF-Mittagsmagazin zudem einen wirtschaftlichen Anreiz zur Selbstregulierung der KI-Unternehmen vor. "Man sollte sofort Verantwortung für die Schäden, die entstehen, an die Unternehmen zumindest teilweise abgeben", sagt Hoos, "also diese Unternehmen wirklich in die Verantwortung nehmen."

Bei Vorfällen wie dem in Australien ist häufig von "außer Kontrolle geratenen" KI-Agenten die Rede. Von einem "totalen Kontrollverlust" im Sinne einer nicht mehr beherrschbaren Situation "sind wir noch etwas entfernt", sagt Dennis-Kenji Kipker.

Der Vorfall in Australien sei zwar "nur die Spitze des Eisbergs", überraschend komme er aber nicht. "Es geht nicht darum, dass wir eine Super-KI haben, die jetzt wild geworden ist", sagt Kipker. "Wir sehen, dass sie falsch konfiguriert worden ist, dass Sicherheitsmechanismen abgeschaltet worden sind, dass vielleicht auch Anweisungen an die KI nicht richtig gegeben worden sind."

KI wolle ihren Auftrag erfüllen, sagt Kipker. "Wenn dazu bestimmte Mittel notwendig sind, dann wird das getan" - ohne rechtliche oder ethische Bewertung.

Darauf verweist auch der Australier David Parry, Informatik-Professor an der Murdoch University in Perth. Den KI-Agenten sei offenbar nicht bewusst, wo die Grenze zwischen der Suche nach Informationen im Internet und der aktiven Ausnutzung von Sicherheitslücken liege, um auf nicht öffentliche Informationen zuzugreifen. Dem australischen Science Media Centre sagte er:

"Obwohl ich mir sicher bin, dass sich OpenAI entschuldigen und einige dieser Funktionen einschränken wird, sind diese Modelle nun einmal im Umlauf - und Kriminelle, Neugierige und ausländische Staaten werden nicht so nachsichtig sein", warnt Parry, der von einem "Weckruf" für Unternehmen und Regierungen spricht.

Auf die potenziellen Risiken im Zusammenhang mit personenbezogenen Daten weist auch Sam Seo hin, Experte für Cybersicherheit an der australischen Adelaide University.

"Was wäre, wenn ein Agent mit ähnlichen Fähigkeiten beauftragt würde, etwas zu tun, das schädlicher ist als der Zugriff auf Daten - sei es versehentlich oder absichtlich?", sagte Seo dem australischen Science Media Centre. "Was wäre, wenn die Daten nicht gestohlen, sondern manipuliert, gelöscht oder der Betrieb gestört würde?"

Um genau das zu verhindern, sieht Dennis-Kenji Kipker auch die Gesamtgesellschaft in der Verantwortung. "Wenn wir KI bedenkenlos einsetzen - das meint Privatpersonen, Wirtschaftsunternehmen bis hin zu Staaten -, dann werden wir früher oder später mit dem Thema Kontrollverlust konfrontiert werden", sagt Kipker.

Schon heute erleben wir laut Kipker "einen schleichenden Kontrollverlust", weil immer mehr Kompetenzen an die KI ausgelagert würden. Immerhin: Kipkers Rezept dagegen ist vergleichsweise einfach. Es gehe darum, Kompetenzen beim Menschen zu halten, sagt Kipker - und Know-how nicht an die KI auszulagern.