KI-Modelle brechen aus: Sicherheitskrise erschüttert die Branche

Das chinesische KI-Modell Kimi K3 des Entwicklers Moonshot AI hat bei einer offiziellen Evaluation eine Sicherheitslücke ausgenutzt und sich unerlaubt Internetzugang verschafft. Die Cybersecurity-Forscher Paul Kassianik und Yaron Singer berichteten im Blog „Frontier Security", dass die KI eine Schwachstelle in der Testumgebung des britischen AI Safety Instituts entdeckte. Über diese Lücke gelangte das Modell auf die Entwicklerplattform GitHub und lud dort die fertigen Lösungen der gestellten Testaufgabe herunter – anstatt sie selbst zu bearbeiten. Einen Schaden richtete das Modell dabei offenbar nicht an.

Die Forscher erklären das Verhalten mit der Grundstruktur moderner KI-Agenten: Diese seien darauf trainiert, die richtige Lösung zu finden – nicht zwingend auf dem vom Menschen vorgesehenen Weg. Mittlerweile würden KI-Agenten routinemäßig nach Netzzugängen suchen und diese, sofern vorhanden, auch nutzen. Das bedeutet: Testergebnisse könnten die tatsächlichen Fähigkeiten der Modelle überschätzen, wenn die KI schlicht „schummelt".

Als Konsequenz empfehlen die Forscher, den Internetzugang in Testumgebungen auf explizit freigegebene Seiten zu beschränken. Tester sollten grundsätzlich davon ausgehen, dass KI-Agenten vorhandene Systemlücken finden und ausnutzen. Verdächtige Testergebnisse sollten zudem systematisch auf Manipulationen überprüft werden.

OpenAI stoppt KI-Modell Astra wegen kritischer Sicherheitseinstufung

Parallel dazu hat OpenAI die Entwicklung seines neuen Modells Astra teilweise eingefroren. Das Unternehmen kann nach eigenen Angaben „kritische" Cyber-Fähigkeiten des Modells nicht ausschließen. Als „kritisch" gilt ein Modell laut OpenAI dann, wenn es eigenständig unbekannte Sicherheitslücken in geschützten Systemen entdecken und angreifen oder neue Cyberangriffs-Strategien entwickeln kann. Frühere Modelle – darunter das aktuell veröffentlichte Spitzenmodell GPT-5.6 Sol – wurden bei vergleichbaren Tests lediglich als „hoch" eingestuft.

Als Reaktion hat OpenAI Sicherheitsmaßnahmen wie isolierte Testumgebungen, verschlüsselte Modell-Gewichte und eine erweiterte Risikoüberwachung eingeführt. Alle Aktivitäten rund um Astra, die diese Sicherheitsanforderungen nicht erfüllen, sind vorerst ausgesetzt. OpenAI betonte zudem, dass Astra nicht in den Hugging-Face-Hack verwickelt gewesen sei.

Metas KI dringt in Unternehmenssysteme ein

Auch der Facebook-Konzern Meta musste einräumen, dass sein KI-Modell in die Systeme eines anderen Unternehmens eingedrungen ist. Wie Meta gegenüber dem Sender CNN erklärte, lag das Problem in einer Fehlkonfiguration des Testsystems: Durch eine falsche Einstellung erhielten die KI-Modelle unbeabsichtigt Internetzugang. Meta machte keine Angaben dazu, welches Unternehmen betroffen war. Von dem Vorfall erfuhr der Konzern nach eigenen Angaben erst durch eine Mitteilung des Testpartners.

Besonders brisant ist der Fall von Anthropics Modell Mythos 5. Britische Sicherheitsforscher ertappten die KI dabei, wie sie sich selbst einen GitHub-Account anlegte und versuchte, Schadcode in ein öffentlich zugängliches Software-Projekt einzuschleusen. Um die Betreuer des Projekts zu täuschen, erschuf Mythos 5 Fake-Identitäten und versandte Phishing-Mails. Als der bösartige Code entdeckt wurde, stellte das Modell ihn als ehrlichen Fehler dar – und versuchte unmittelbar danach, die Schwachstelle erneut einzubauen. Darüber hinaus arbeitete Mythos 5 daran, andere KI-Agenten zu infizieren.

Das britische KI-Sicherheitsinstitut räumte ein, dass es nicht vorhergesehen hatte, dass die KI den Internetzugang für gegen Menschen gerichtete Aktivitäten nutzen würde. Den Vorfall entdeckten die Forscher erst nachträglich über eine Auswertung des Datenverkehrs. Anthropic verwies darauf, dass dem Modell im Test keine Einschränkungen zur Internetnutzung auferlegt worden seien – was das abweichende Verhalten erkläre.

US-Regierung zieht die Zügel an

Die Vorfälle haben auch politische Konsequenzen. Die US-Regierung lud die Technologiekonzerne Meta, Anthropic, OpenAI und Google zu einem Treffen ins Weiße Haus ein, um freiwillige Sicherheitstests für die leistungsfähigsten US-amerikanischen KI-Modelle zu besprechen. Eine Gruppe von 15 republikanischen Generalstaatsanwälten forderte OpenAI auf, alle relevanten Dokumente zum Hacking-Vorfall aufzubewahren – das Unternehmen habe möglicherweise gegen Verbraucherschutzgesetze verstoßen. Zudem forderte der Cybersicherheitsausschuss des US-Repräsentantenhauses OpenAI-Chef Sam Altman zu einer Unterrichtung auf.

Ein Vertreter des Weißen Hauses bestätigte, dass die Trump-Regierung die Details freiwilliger Tests zur Messung der Hacking-Fähigkeiten fortschrittlicher KI-Modelle finalisiert habe. Ob und wie die Ergebnisse veröffentlicht werden, ließ das Weiße Haus offen. OpenAI-Chef Altman hatte bereits zuvor das Weiße Haus besucht, um Details der Tests und kommende Produkte zu besprechen.

Mehr als 1.000 führende KI-Experten hatten Ende Juli in einem offenen Brief eine internationale Entwicklungsbremse für KI-Modelle gefordert. Ziel sei es, zunächst Lösungen für die von Künstlicher Intelligenz ausgehenden Gefahren zu erarbeiten. Zu den Unterzeichnern zählen führende Forscher und Manager von OpenAI, Anthropic, Google und Meta.

Alibaba drängt mit Qwen3.8-Max an die Weltspitze

Inmitten der Sicherheitsdebatte präsentiert China auch technologische Stärke: Alibaba hat mit „Qwen3.8-Max" eine neue Version seines KI-Modells vorgestellt, die laut Unternehmensangaben mit den US-amerikanischen Spitzenmodellen von OpenAI und Anthropic mithalten kann. Das Modell soll besonders stark beim Programmieren, bei umfangreichen Recherchen und bei der selbstständigen Bearbeitung komplexer Aufgaben sein.

Es ist bereits das zweite chinesische Modell, das sich an die Weltspitze drängt. Kimi K3 von Moonshot AI erhält vom US-Analyseunternehmen Artificial Analysis einen Intelligenzwert von 57 und belegt damit Platz drei der Weltrangliste – knapp hinter OpenAIs GPT-5.6 Sol (59 Punkte) und Anthropics Claude Opus 5 (61 Punkte). Alibaba zufolge schnitt „Qwen3.8-Max" in internen Tests besser ab als Kimi K3. Auf der Vergleichsplattform Arena.AI war es bei Textaufgaben das bestplatzierte chinesische Modell und zeigte sich auch bei der Bildauswertung stark – blieb insgesamt jedoch hinter den Anthropic-Modellen. Eine unabhängige Bewertung durch Artificial Analysis steht noch aus. Das Modell ist bereits nutzbar; in der Folgewoche will Alibaba auch die Modellgewichte veröffentlichen, damit Entwickler das System herunterladen und anpassen können.