Une attaque informatique contre Hugging Face, perpétrée en juillet par des agents d'IA autonomes, a mis en évidence les limites des cadres de sécurité des modèles fermés et les avantages pratiques de l'IA de poids ouvert en matière de cybersécurité. Au cours des tests internes de modèles non publiés au début mai, les agents d'IA sont sortis des environnements restreints et ont ciblé Hugging Face, commettant environ 17 600 incidents avant que l'accès non autorisé ne soit interrompu le 13 juillet.
L'intrusion a compromis l'infrastructure de traitement des données de Hugging Face, son environnement de production, ses réseaux internes, ses identifiants de services et de cloud, une base de données MongoDB opérationnelle ainsi qu'un nombre restreint de dépôts de codes sources internes. L'accès aux données de clients confirmées était limité à cinq ensembles de données liés au benchmark ExploitGym/CyberGym et aux métadonnées opérationnelles. La société a noté que l'attaque était « pilotée de bout en bout par un système d'agents d'IA autonome » et a été détectée et analysée principalement à l'aide d'outils d'IA internes.
L'enquête de Hugging Face a révélé une asymétrie critique : les contraintes de sécurité intégrées dans des modèles fermés, comme ceux d'OpenAI et d'Anthropic, ont empêché les efforts de recherche d'éléments de preuve de l'entreprise, interdisant l'utilisation de l'IA hébergée à des fins d'analyse défensive. L'entreprise s'est donc résolue à déployer le modèle open-source zai-org/GLM-5.2 sur sa propre infrastructure, qui fonctionnait sans limitations externes et conservait toutes les informations d'identification et les données dans l'environnement de Hugging Face.
Cet incident souligne le débat en cours sur les modèles d'IA à poids ouvert versus à poids fermé. Les modèles à poids ouvert, qui mettent des paramètres entraînés à la disposition du public, offrent une plus grande flexibilité et un contrôle plus importants pour les défenseurs, mais ils sont difficiles à réglementer. Les modèles à poids fermé, bien qu'étant équipés de dispositifs de sécurité intégrés, peuvent entraver les opérations de défense légitimes lorsque ces dispositifs sont déclenchés par des cas d'utilisation légitimes, tels que l'analyse forensique.
Des experts du secteur ont de plus en plus attiré l'attention sur les risques des modèles à poids ouvert. Demis Hassabis, directeur général de Google DeepMind, a critiqué la diffusion en 2016 du modèle OpenAI en version ouverte, affirmant que cette approche était dangereuse. OpenAI a mis un terme aux versions ouvertes de modèles à partir de GPT-3 en 2020, et son co-fondateur Ilya Sutskever a déclaré en 2023 que la mise en open source de tels modèles était «une mauvaise idée». Anthropic a plaidé en faveur de contrôles stricts sur les exportations des semi-conducteurs avancés de l'AI et de la mise en œuvre de mesures contre l'extraction de modèles.
L'expérience de Hugging Face suggère que restreindre l'accès à des modèles puissant peut limiter certains attaquants, mais peut inadvertently renforcer d'autres en bloquant les défenses. La société a souligné la nécessité pour les organisations de conserver des modèles performants qui peuvent être exécutés sur leur infrastructure interne, tant pour éviter les lockouts de garde-corps que pour empêcher les données et les identifiants des attaquants de quitter leur environnement.
