KI-Firmenchefs warnen bei UN-Sicherheitsrat vor Risiken

OpenAI und Anthropic:KI-Firmenchefs warnen UN-Sicherheitsrat vor Gefahren

|

Während der US-Präsident die Warnungen vor KI als "Schwindel" abtut, mahnen KI-Konzernchefs erstmals im UN-Sicherheitsrat: Es bestehe ein "Risiko für die gesamte Menschheit".

Sitzung des UN-Sicherheitsrats zum Thema künstliche Intelligenz (KI)

Der UN-Sicherheitsrat hat sich mit dem Thema künstliche Intelligenz (KI) befasst.

Quelle: Yuki Iwamura / AP

Nach dem Schock eigenständiger Hacking-Attacken durch Künstliche Intelligenz haben die Chefs der größten US-amerikanischen KI-Firmen erstmals vor dem UN-Sicherheitsrat vor den Risiken der Technologie gewarnt. Der Chef des ChatGPT-Entwicklers OpenAI, Sam Altman, sagte vor dem Gremium in New York:

Wir sind an einem Scheideweg angelangt. Dieser Zeitpunkt verlangt nach extremer Vorsicht.

Sam Altman, OpenAI-Chef

Es gebe besonders zwei große Risiken: den Verlust der Kontrolle über KI und die "Konzentration von zu viel Macht in zu wenigen Händen".

"Wir dürfen nicht nAIv sein" Poster Big Bang KI Festival

Cyberangriffe, Datenabflüsse - die Warnungen, dass sich KI verselbstständigt, häufen sich. Wie sich dies verhindern lässt, war unter anderem Thema auf dem "Big Bang KI Festival".

16.09.2026 | 2:54 min

"Größte Sicherheitsherausforderung" für Welt

KI sei "die größte Sicherheitsherausforderung, mit der die Welt heute konfrontiert ist", sagte der per Video zugeschaltete Chef des KI-Unternehmens Anthropic, Dario Amodei.

Bei schlechter Handhabung glaube ich, dass KI ein Risiko für die gesamte Menschheit sein könnte.

Dario Amodei, Anthropic-Chef

Es war der erste Auftritt der Firmenchefs vor dem Sicherheitsrat während der Generaldebatte - der wichtigsten UN-Woche des Jahres.

Symbolfoto KI: Ein Auge blickt durch eine Matrix aus Zahlen und Punkten.

Angela Müller ist Geschäftsleiterin von Algorithm Watch in Zürich. Sie ordnet die jüngsten Warnungen der Tech-Industrie vor den Gefahren von KI ein.

16.09.2026 | 9:59 min

OpenAI-Chef: Entwicklung verlangsamen

Zuletzt hatte es unter anderem eine aufsehenerregende Hacking-Attacke gegeben, bei der eine Software von OpenAI in einem Testlauf aus der abgesicherten Umgebung ausgebrochen und auf eigene Faust in Systeme der KI-Firma Hugging Face eingedrungen war.

Daraufhin hatten sich große amerikanische KI-Firmen wie OpenAI und Anthropic dazu bereit erklärt, die Entwicklung der Technologie zu verlangsamen - was Kritiker schon lange gefordert hatten.

Das Logo von OpenAI - dahinter sind die Umrisse einer Computer-Tastatur.

"In diesem Fall war das Modell scheinbar so gut, dass es die Sicherheitszone, die OpenAI gesetzt hat, verlassen hat", sagt Dennis-Kenji Kipker, Experte für IT-Sicherheit.

23.07.2026 | 7:09 min

OpenAI-Chef Altman betonte seine Bereitschaft dazu nun erneut. "Wir haben in der Vergangenheit schon einseitig verlangsamt. Wir werden das in Zukunft wieder tun." Niemand sollte KI-Modelle entwickeln, von denen er nicht garantieren könnte, dass er sie unter menschlicher Kontrolle halten könne. Altman gab aber auch zu: "Wir haben nicht alle Antworten und sind offen für jegliche bessere Idee."

Anthropic-Chef fordert globale Maßnahmen

Anthropic-Chef Amodei forderte globale kooperative Maßnahmen zur Eindämmung der Risiken - unter anderem mit gemeinsamen Standards, Inspektoren, mehr Transparenz und einer Einigung darauf, KI nicht für die Entwicklung von biologischen Waffen zu nutzen.

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt - und war dafür aus Teilen der KI-Branche zum Teil heftig kritisiert worden. Ein Argument von Befürwortern eines hohen Tempos in den USA - etwa auch im Weißen Haus von US-Präsident Donald Trump - ist der Wettlauf mit China.

This combination of pictures created on September 16, 2026 shows (L/R) US President Donald Trump in Washington, DC, on September 4, 2026 and China's President Xi Jinping in Bishkek on September 1, 2026.

Chinas Staatschef Xi Jinping trifft US-Präsident Trump in Washington. Im Zentrum steht der KI-Wettlauf und die Frage, ob beide Seiten gemeinsam auf die Bremse treten.

23.09.2026 | 3:06 min

Quelle: dpa
Über dieses Thema berichtete das ZDF mehrfach, etwa bei ZDFheute Xpress in dem Beitrag "Australien: OpenAI-KI hackt Regierungsportal" am 24.09.2026 um 08:30 Uhr sowie im heute journal am 23.09.2026 ab 21:45 Uhr.

Mehr zu Risiken von KI

  1. Demonstranten bei einer „Stop the AI Race“-Demonstration, bei der eine Verlangsamung der Entwicklung fortschrittlicher KI-Systeme gefordert wurde, am 17.09.2026 in San Francisco, Kalifornien, USA.

    Anordnung von Gouverneur Newsom:"Kill Switch" für KI? Kalifornien will Notschalter

    mit Video2:54

  2. Auf einem Smartphone-Bildschirm sind mehrere KI-Anwendungen zu sehen, darunter ChatGPT, Claude, Gemini, Perplexity, Microsoft Copilot, Meta AI, Grok und DeepSeek. Die Apps sind in einem Ordner mit der Bezeichnung "KI" gruppiert.

    Vorschlag des Digitalministers:Internationale KI-Kontrollbehörde: Wie realistisch ist das?

    von Sven-Hendrik Hahn
    mit Video0:21

  3. Vor der Abteilung für Wohnungswesen in London protestieren Menschen mit Schildern gegen den Bau eines Datenzentrums in einem der am dichtesten besiedelten Bezirke in London.

    Protest gegen Datenzentrum in London:Großbritanniens großes KI-Dilemma

    Wolf-Christian Ulrich, London
    mit Video2:43

  4. Australiens Premier Albanese in den USA

    KI agiert autonom:OpenAI-KI hackt australisches Regierungsportal

    mit Video0:29