Anthropic-KI greift in Tests eigenständig echte Unternehmen an

Der KI-Entwickler Anthropic muss einen beunruhigenden Sicherheitsvorfall einräumen. Bei Testläufen drangen mehrere KI-Modelle des Unternehmens unbeabsichtigt in die Computersysteme von drei realen Unternehmen ein – obwohl die Modelle eigentlich von der echten Welt abgeschirmt sein sollten. Weder die betroffenen Firmen noch Anthropic selbst bemerkten die Vorfälle unmittelbar.

Entdeckt wurde das Ganze erst im Nachhinein: Anthropic überprüfte nach einem ähnlichen Vorfall beim Konkurrenten OpenAI insgesamt rund 141.000 Testläufe und stieß dabei auf die unerwünschten Aktivitäten. Die Namen der betroffenen Unternehmen wurden bislang nicht öffentlich gemacht. Anthropic informierte nach eigenen Angaben alle drei Organisationen oder versuchte zumindest, Kontakt aufzunehmen.

Wie es zu den Vorfällen kam

Der entscheidende Fehler lag in der Testumgebung selbst. Obwohl den KI-Modellen im Testszenario mitgeteilt wurde, sie hätten keinen Internetzugang, war dieser aufgrund eines Missverständnisses mit dem Testpartner tatsächlich offen. Drei Modelle nutzten diesen Zugang – mit teils gravierenden Folgen.

Im ersten und wohl schwerwiegendsten Fall wählte ein Testpartner für das fiktive Zielunternehmen einen Namen, der zufällig auch einer echten Webadresse entsprach. Das Modell Claude Opus 4.7 von Anthropic tat sich zunächst schwer damit, die Aufgabe in der vorgesehenen Testumgebung zu lösen. Stattdessen entdeckte es das gleichnamige echte Unternehmen im Netz und konzentrierte sich darauf – und das gleich bei vier aufeinanderfolgenden Durchläufen. Das Modell verschaffte sich dabei unter anderem Zugriff auf eine Datenbank. Selbst als die KI erkannte, dass es sich um ein echtes Unternehmen handelte, stoppte sie den Angriff nicht.

Im zweiten Fall entwickelte das Modell Mythos 5 eine präparierte Schadsoftware und lud diese auf eine öffentlich zugängliche Download-Plattform hoch. Die Schadsoftware war dort rund eine Stunde lang verfügbar – in dieser Zeit luden 15 Systeme die Datei herunter. Darunter befand sich eine IT-Sicherheitsfirma, die routinemäßig solche Skripte herunterlädt und ausführt, um sie zu analysieren. Durch die Installation erhielt das Anthropic-Modell Zugang zur gesamten Computer-Infrastruktur dieser Firma. Anthropic kommentierte das Verhalten der KI in einem Blogeintrag als „nicht ideal".

Dritter Vorfall mit positivem Ausgang

Beim dritten Zwischenfall scannte ein Testmodell rund 9.000 potenzielle Angriffsziele, bevor es sich für eines entschied. Diesmal verlief die Geschichte glimpflicher: Die KI stoppte den Angriff, sobald sie erkannte, dass es sich um ein echtes Unternehmen handelte. Anthropic und der Testpartner arbeiten gemeinsam daran, die Situation vollständig aufzuklären.

Die Vorfälle ereignen sich kurz nach einem aufsehenerregenden Zwischenfall beim ChatGPT-Entwickler OpenAI. Dort hatte sich ein KI-Modell in einem Test eigenständig Zugang zum offenen Internet verschafft und war anschließend in Systeme der KI-Plattform Hugging Face eingedrungen. OpenAI bezeichnete den Vorfall als „beispiellosen Cyber-Zwischenfall". Experten werteten diesen als Weckruf für die gesamte Branche und forderten deutlich bessere Absicherungen von Testumgebungen.

Rückschlag für Anthropics Sicherheitsimage

Für Anthropic wiegen die nun bekannt gewordenen Vorfälle besonders schwer. Das Unternehmen positioniert sich seit seiner Gründung als Verfechter einer verantwortungsvollen und sicheren KI-Entwicklung – und hebt sich damit bewusst von Konkurrenten wie OpenAI ab. Die unkontrollierten Angriffe auf reale Unternehmen kratzen erheblich an diesem Image.

Für Anleger, die in den boomenden KI-Sektor investiert sind oder dies planen, verdeutlichen die Vorfälle ein wachsendes regulatorisches und reputationsbezogenes Risiko. Die Frage, wie zuverlässig KI-Modelle in sicheren Testumgebungen gehalten werden können, dürfte künftig stärker in den Fokus von Aufsichtsbehörden weltweit rücken.