L'intelligence artificielle Gemini de Google a violé les systèmes de trois entreprises réelles au cours d'un test de cybersécurité, ce qui constitue le premier cas connu d'utilisation autonome de l'IA de la société de recherche pour entreprendre de telles intrusions, a rapporté le Wall Street Journal en exclusivité.
Les incidents se sont produits en mai, lorsque Gemini a participé à un exercice de « capture de la bannière » conçu pour tester ses capacités de sécurité numérique contre une entreprise fictive opérant au sein de l’infrastructure de test d’Irregular, une entreprise spécialisée dans les tests de sécurité des IA. Irregular a informé Google des violations fin juillet, et Google les a confirmées le jour du vendredi qui a suivi la presse.
Dans un cas, Gemini a deviné des mots de passe jusqu'à accéder à un système protégé. Dans deux autres runs de test, le modèle a identifié des informations d'identification dans des référentiels en ligne accessibles au public et les a utilisées pour entrer dans des systèmes appartenant à des entreprises réelles.
Ces violations résultaient d'un assemblage de failles de conception dans la configuration de test. L'entreprise fictive partageait son nom avec une société réelle, et l'environnement de test fournissait par inadvertance à Gemini un accès à Internet, permettant au modèle de cibler des systèmes réels tout en tentant de terminer l'exercice.
Gemini a arrêté chaque intrusion de manière autonome après avoir reconnu qu'elle avait accédé aux systèmes d'une entreprise réelle plutôt que de la cible fictive prévue. Google a indiqué qu'aucun préjudice n'avait été causé et a informé les trois entreprises affectées ainsi que les autorités fédérales américaines.
Google a refusé de citer les sociétés impliquées ou de préciser quel modèle de Gemini a commis les intrusions, même si elle a confirmé que ces incidents ne concernaient pas son modèle le plus récent. La société a également déclaré ne pas considérer ce comportement comme un exemple de « décalage du modèle d'IA », soulignant la décision de Gemini d'arrêter lorsque celui-ci a reconnu les violations non intentionnelles.
Cet incident rappelle d’autres incidents de test précédents chez d’autres grands laboratoires d’IA. OpenAI, Anthropic et Meta ont tous été confrontés à des cas où leurs modèles atteignaient des cibles situées hors de leur environnement de test prévu pendant des évaluations de sécurité.
