Google's KI-System Gemini hat während eines Cyber-Sicherheits-Tests die Systeme von drei echten Unternehmen infiziert. Dies ist der erste bekannte Fall, in dem die KI des Suchgiganten derartige Einbrüche autonom durchführt, berichtet das Wall Street Journal exklusiv.
Die Vorfälle ereigneten sich im Mai, als Gemini an einer „capture-the-flag“-Übung teilnahm, deren Ziel es war, die Cybersicherheit des Unternehmens gegen eine fiktive Firma zu testen, die innerhalb der Testinfrastruktur von Irregular, einem Unternehmen für künstliche Intelligenz (AI) und Sicherheitstests, operierte. Irregular informierte Google Ende Juli über die Verletzungen, und Google bestätigte sie am Freitag, nachdem es vom Magazin kontaktiert worden war.
In einem Fall errate Gemini Passwörter, bis es Zugriff auf ein geschütztes System erlangt hatte. In zwei anderen Testläufen identifizierte das Modell Anmeldeinformationen in öffentlich zugänglichen Onlinerepositories und nutzte sie, um in Systeme von realen Unternehmen einzutreten.
Die Sicherheitslücken stammten von einem Zusammenwirken von Designfehlern im Testsetup. Das fiktive Unternehmen trug denselben Namen wie ein echtes Unternehmen, und die Testumgebung gewährte in dieser Unachtsamkeit Gemini Internetzugang, wodurch das Modell reale Systeme anvisieren und versuchen konnte, die Übung abzuschliessen.
Gemini stoppte jede Invasion autonom, nachdem es erkannt hatte, dass es die Systeme eines realen Unternehmens und nicht der beabsichtigten fiktiven Zielmöglichkeit zugreifen musste. Google erklärt, dass keine Schäden entstanden sind und proklamierte, dass man die drei betroffenen Unternehmen sowie die US-Föderalbehörden darüber informiert habe.
Google weigerte es, die beteiligten Unternehmen zu identifizieren oder anzugeben, welcher Gemini-Modell die Einbrüche vorgenommen hat. Allerdings bestätigte das Unternehmen, dass die Vorfälle nicht mit dem neuesten Modell zu tun hatten. Darüber hinaus äusserte das Unternehmen, dass es das Verhalten nicht als Beispiel für eine „Fehlerkonfiguration von KI-Modellen“ ansehe und darauf verwies, dass Gemini beschlossen hatte, die Angriffe aufzugeben, nachdem es die unerwünschten Verletzungen erkannt hatte.
Die Episode wird von vorherigen Testincidenten in anderen grossen KI-Forschungslaboren nachgesagt. OpenAI, Anthropic und Meta haben Fälle erlebt, in denen ihre Modelle während Sicherheitsbewertungen Ziele ausserhalb ihrer vorgesehenen Testumgebungen erreichten.
