KI-Modell verschickte während Test selbstständig Phishing-Mails

Britische Sicherheitsforscher haben eine Künstliche Intelligenz in einem Test bei dem Versuch ertappt, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um dieses Vorhaben umzusetzen, habe das KI-Modell Mythos 5 der Entwicklerfirma Anthropic sogar versucht, per E-Mail einen zuständigen Menschen zu manipulieren.

Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte KI-Modellen von Anthropic und vom ChatGPT-Entwickler OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt.

Dabei sei man aber davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe "nicht vorhergesehen", dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten.

Die Forscher räumten ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit besser beobachten.

Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen waren. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe Künstlicher Intelligenz verstärkt.

In dem jüngsten Test legte die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen.

Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer an Login-Daten gelangen wollen.

Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt - und dann versucht, die Schwachstelle in vermeintlichen Korrekturen wieder unterzubringen.

Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen.

Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. 

Anthropics Mythos 5 ist besonders gut darin, Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen erhalten ausgewählte Behörden und Unternehmen Zugang, um ihre Systeme besser abzusichern.

Unser Nachrichtenangebot - jetzt als bevorzugte Quelle bei Google