KI außer Kontrolle? OpenAI-Fall wirft Sicherheitsfragen auf

Die autonom agierende KI von OpenAI, die die Technologiefirma Hugging Face angegriffen haben soll, war nach Angaben von Insidern mehrere Tage auf "Hacker-Tour", ohne dass OpenAI dies bemerkte. Das Programm, das mit wenig oder keiner menschlichen Aufsicht komplexe Aufgaben ausführen kann, habe bereits am 9. Juli versucht, seine Testumgebung zu verlassen.

Laut Hugging-Face-Mitbegründer Thomas Wolf begann der Angriff auf sein Unternehmen zwei Tage später und dauerte bis zum 13. Juli. Erst mehrere Tage danach erkannte OpenAI laut Insidern, dass die eigenen Modelle hinter dem Vorfall steckten. Die öffentliche Mitteilung von OpenAI am 21. Juli, zwei KI-Agenten seien außer Kontrolle geraten und in Systeme von Hugging Face eingedrungen, sorgte weltweit für Aufsehen.

Eine OpenAI-Sprecherin erklärte gegenüber der Nachrichtenagentur Reuters, die Berichterstattung enthalte "mehrere Ungenauigkeiten", nannte auf Nachfrage jedoch keine Details. Das FBI lehnte eine Stellungnahme ab.

Laut Wolf und drei weiteren mit der Untersuchung vertrauten Personen hätten OpenAI und Hugging Face erstmals um den 20. Juli über den Vorfall gesprochen. OpenAI bezeichnete den Angriff als beispiellos und als "wichtigen Moment für die KI-Sicherheit". Das Unternehmen prüft den Vorfall mit externen Beratern und kündigte einen technischen Bericht an.

Drei von der Nachrichtenagentur Reuters interviewte Cybersicherheitsexperten erklärten, der Kontrollverlust von OpenAI über seinen KI-Agenten werfe neue Fragen zu den Sicherheitsvorkehrungen des Unternehmens auf:

Der Vorfall begann nach Reuters-Recherchen, als OpenAI die Cybersicherheitsfähigkeiten eines Agenten testete. Dieser wurde von zwei der fortschrittlichsten Modelle von OpenAI angetrieben: GPT-5.6 Sol und einem noch unveröffentlichten Modell, das OpenAI als "noch leistungsfähiger" beschrieben hat.

Nach Angaben von Insidern gab es bereits zuvor Hinweise auf ungewöhnliches Verhalten. So soll ein KI-Agent Notizen für künftige Versionen seiner selbst hinterlassen haben - mit Anweisungen, wie sich Agenten von internen Beschränkungen befreien könnten. Zudem seien bei früheren Tests Überwachungssysteme abgeschaltet worden. Reuters konnte eigenen Recherchen zufolge nicht feststellen, ob diese Vorfälle mit dem Angriff auf Hugging Face zusammenhingen.

Erst nach dem 16. Juli stellte OpenAI laut Insidern fest, dass der eigene Agent für den Angriff verantwortlich war. Mitarbeiter fanden später in internen Protokollen Hinweise darauf, dass der Agent seine Testbeschränkungen überwunden hatte.

Warum die entsprechenden Logs durchsucht wurden, ist unklar. OpenAI führt häufig mehrere Modelltests parallel durch, wodurch die Auswertung großer Datenmengen erschwert werden kann.

Als OpenAI Hugging Face informierte, hatte das Unternehmen nach Angaben eines Insiders bereits das FBI eingeschaltet. Ob die Behörde Ermittlungen einleitete, ist nicht bekannt.

Autonome Agenten gelten als einer der vielversprechendsten Bereiche der KI-Branche. Befürworter rechnen mit einer großen Zahl von virtuellen Mitarbeitern, die die Produktivität steigern. Die größere Autonomie der KI-Modelle birgt jedoch auch das Risiko unerwarteten Verhaltens. "Die Modelle lügen, sie betrügen, sie hacken", sagte Jeffrey Ladish von der Forschungsorganisation Palisade Research.

Der OpenAI-Vorfall werfe grundsätzlich Fragen darüber auf, wie viel die führenden KI-Unternehmen in Sicherheitsmaßnahmen investierten, während sie sich in einem Wettlauf um die besten Modelle befänden. Es müsse eine staatliche Aufsicht geben, "denn sonst wird es nicht passieren", sagte Ladish.

Unser Nachrichtenangebot - jetzt als bevorzugte Quelle bei Google