OpenAI-Modelle spielen Hacker: Was hinter dem KI-Vorfall steckt

Einmal pro Woche telefoniert Thorsten Holz aktuell mit Entwicklern von OpenAI, Anthropic und Google. Der wissenschaftliche Direktor des Max-Planck-Instituts für Sicherheit und Privatsphäre (MPI-SP) ist Teil des "ExploitGym"-Projekts. Im Kern geht es um die Frage, ob Künstliche Intelligenz in der Lage ist, digitale Sicherheitslücken zu erkennen und für Hackerangriffe auszunutzen.

Dabei gibt es für Holz und die anderen Wissenschaftler nun eine Überraschung. Denn die Entwickler von OpenAI müssen in einem Blogbeitrag einen Vorfall einräumen, der so nicht vorgesehen war - und heute als Nachricht um die Welt geht.

Bereits vor einigen Tagen haben die Entwickler von OpenAI zwei ihrer KI-Modelle getestet - GPT-5.6 Sol und ein neues, nicht näher benanntes Modell - und mit dem "ExploitGym"-Test konfrontiert.

Der "ExploitGym"-Test ...

Der Benchmark-Test konfrontiert generative KI-Modelle in einer geschützten Umgebung mit insgesamt 898 Programmen. In jedem Programm ist eine sogenannte Flag versteckt, eine Art Information. Um an die Flag zu gelangen, müssen die KI-Modelle die Schwachstelle der jeweiligen Programm-Codes entdecken und erfolgreich ausnutzen - hacken also.

Anthropics Claude Mythos Preview hat 157 der 898 Schwachstellen erfolgreich ausgenutzt, OpenAIs GPT-5.5 konnte 120 Rätsel lösen.

Was den "ExploitGym"-Test der neuen OpenAI-Modelle so außergewöhnlich macht: Um an die Flags zu kommen, haben die Modelle von sich aus entschieden, Lösungen außerhalb der Testumgebung zu suchen, wie OpenAI berichtet.

Demnach haben die Modelle nicht nur von sich aus die Testumgebung verlassen und sich Zugang zum Internet verschafft. Bei der Suche nach Lösungen haben sie auch die KI-Plattform Hugging Face angegriffen - und dabei laut Hugging Face Tausende Schritte ausgeführt. OpenAI zufolge nutzten die Modelle als KI-Angreifer sowohl zuvor unentdeckte Sicherheitslücken aus als auch gestohlene Zugangsdaten.

Gelohnt hat sich der Angriff für die OpenAI-Modelle nicht, sagt Cybersicherheits-Experte Holz. "Auf Hugging Face liegen keine Informationen, die für 'ExploitGym' relevant sind", erklärt Holz. Warum die Modelle ausgerechnet dort nach Testlösungen gesucht hatten, sei noch unklar. Auch wie die Modelle überhaupt ausbrechen konnten, sei noch nicht bekannt. Mögliche Sicherheitslücken bei der Implementierung von "ExploitGym" sollen untersucht werden.

OpenAI selbst spricht von einem "beispiellosen Cyber-Zwischenfall". Auch Thorsten Holz, der seit Jahren zu Cybersicherheit in Zeiten generativer KI forscht, spricht vom "ersten größeren Vorfall, in dem ein Modell autonom entschieden hat, andere Systeme anzugreifen" - zumindest vom ersten Vorfall, "der öffentlich dokumentiert ist".

Zwar nutze OpenAI den Zwischenfall kurz vor dem angedachten Börsengang auch dazu, um den KI-Hype zu befeuern. "Aber das ist nicht nur PR - die Stärke dieser Modelle ist real", sagt Holz.

Für Alarmismus sehe er keinen Grund, sagt Thorsten Holz. "Natürlich gibt es Risiken, aber ich würde die Chancen in den Vordergrund stellen", sagt der Experte. Die öffentlich verfügbaren Modelle seien mit zahlreichen Schutzmechanismen versehen. "Die lassen sich nicht einfach so für Angriffe missbrauchen", sagt Holz.

"Nur ausgewählte und autorisierte Partner erhalten von OpenAI und Anthropic Zugriff auf Modelle mit reduzierten Schutzmechanismen", erklärt Holz. "Und diese Partner können damit proaktiv nach Schwachstellen in ihren Produkten suchen und sie beheben."

Allein Google und Mozilla hätten in den vergangenen Monaten mit Hilfe Künstlicher Intelligenz Tausende Schwachstellen ihrer Internetbrowser Chrome und Firefox identifiziert und behoben.

Eine Herausforderung für die Cybersicherheit sei KI trotzdem, sagt Holz. "Wie fast jede Technik kann auch KI defensiv wie offensiv genutzt werden." Zwar mache generative KI einen Anfänger nicht zu einem guten Hacker. "Wer sich wirklich auskennt, kann mit ihr aber schneller und effektiver Codes nach potenziellen Sicherheitslücken durchsuchen und passende Exploits generieren lassen."

Technisch betrachtet stellt "selbst ein Hackerangriff, bei dem KI allein handelt und alles steuert, bestehende Sicherheitssysteme vor keine neuen Herausforderungen", sagt Holz. Das Entscheidende sei hier in Zukunft die Balance: "Die Maschine ist aus Angreifersicht sehr viel effizienter als ein Mensch - weshalb es aus Verteidigersicht so wichtig ist, dass auch Softwareentwickler auf die Maschine setzen, um möglichst alle Schwachstellen in ihren Systemen zu beheben."

Brisant: Profiteure dieser Logik sind am Ende die großen KI-Hersteller selbst. Wer gegen die offensiven Möglichkeiten ihrer Modelle geschützt sein will, muss vorher die defensiven Möglichkeiten genutzt haben - und dafür zahlen.

"Die meisten Privatnutzer sind von dieser Art von Schwachstellen nicht betroffen", beruhigt Holz. Für die persönliche Cybersicherheit empfiehlt er allgemein:

"Viel wichtiger ist das Thema für Unternehmen", sagt der Experte. "Bei großen Server-Systemen und eigenen Infrastrukturen kann es potenziell viele Schwachstellen geben", erklärt Holz, "gerade wenn Firmen ihren eigenen Code entwickeln." Hier müssten sich Konzerne aktiv damit auseinandersetzen, "welche Auswirkungen der Fortschritt von KI-Modellen auf die eigene Entwicklung und Sicherheit hat", rät Holz.