L'IA n'a pas déraillé, elle a déplacé les rapports de forces

Comme beaucoup d'entre vous, je suis l'actualité de l'IA, et en particulier son effet sur la cyber. Le moins que l'on puisse dire, c'est qu'il y a une accélération de l'histoire depuis cet été.

Trois laboratoires ont reconnu le même type de défaillance en cinq semaines. Dans chaque cas, un modèle en cours d'évaluation a atteint Internet depuis un environnement censé être clos, puis s'en est pris à des systèmes de production appartenant à des tiers. Pas des cibles simulées : des entreprises, qui pour la plupart n'avaient rien vu.

Le détail qui compte est là : dans au moins deux des trois cas, la cause technique du franchissement n'est pas le modèle, c'est l'environnement de test sous-traité. Meta l'a reconnu publiquement dans ces termes : « une mauvaise configuration d'Irregular, société de test indépendante à laquelle Meta fait appel, a par mégarde donné à l'un de nos modèles un accès à Internet pendant l'évaluation ». Son modèle, Muse Spark 1.1, n'a donc percé aucune frontière d'isolation : la frontière était mal câblée, et il a utilisé l'accès qu'on lui tendait. Anthropic décrit la même mécanique, le prompt affirmait au modèle qu'il était en simulation et sans accès réseau, ce qui était faux.

Cause technique ne veut pas dire responsabilité, et mieux vaut l'écrire que de laisser la phrase précédente le suggérer : on sous-traite l'exécution d'une évaluation, pas la responsabilité de ce qu'elle produit. Anthropic ne dit pas autre chose — son rapport revendique un post-mortem sans blâme et assume les correctifs « comme si la responsabilité était la nôtre seule », tout en signalant un malentendu avec son prestataire.

Le modèle non plus n'est pas un simple décor. Sur les trois incidents relus par Anthropic, un seul, Opus 4.7, a poursuivi son attaque après avoir reconnu — c'est lisible dans son raisonnement verbalisé — que le système visé était réel, en croyant à tort que cela restait dans le périmètre de l'exercice. Un autre, un prototype interne, a reconnu de lui-même que la cible était réelle et s'est arrêté sans qu'on le lui demande. Même situation, deux conduites : la conduite du modèle est donc bien une variable. Elle n'est simplement pas un contrôle de sécurité, puisqu'elle dépend de l'interprétation qu'il se fait du périmètre — là où une frontière réseau ne dépend d'aucune interprétation.

Et puis il y a eu, avant-hier, la démission de Jacob Coxon. Trois ans de recherche en pré-entraînement, chez OpenAI puis chez Anthropic, un fil de sept messages sur X vu près de 76 millions de fois, et cette phrase : ils courent vers une superintelligence qui s'améliore elle-même et « jouent avec nos vies ». Ce qui rend le fil difficile à ranger au rayon des colères ordinaires, c'est la réponse publique du responsable de l'alignement chez Anthropic : l'inquiétude est légitime, il estime lui-même la probabilité d'extinction à plus de 10 % sur la décennie, et il n'existe pas encore de plan.

Le Grand Filtre, par deux chemins

Ce vertige a un nom, et il ne doit rien à l'IA. En 1998, l'économiste Robin Hanson proposait le « Grand Filtre » pour répondre au paradoxe de Fermi : si l'univers est si vaste et si vieux, pourquoi le ciel est-il silencieux ? Peut-être parce qu'entre la matière inerte et une civilisation qui essaime, il existe une étape, le « Grand Filtre », que presque personne ne franchit. Toute la question est de savoir si ce filtre est derrière nous ou devant nous, et Hanson rangeait déjà la catastrophe écologique parmi les candidats de devant.

L'IA pourrait nous en rapprocher par deux chemins à la fois.

Le premier est celui de l'alignement, et il commence par un manque de cadre : nous n'avons pas encore les outils intellectuels pour penser cette forme de technologie, ni ce qu'elle devient. L'expérience de pensée de référence date de 2003, quand Nick Bostrom imagine une machine chargée de fabriquer des trombones qui, poursuivant cet objectif dérisoire jusqu'au bout, finit par convertir la planète en trombones. La chaîne Ego en a tiré la vidéo devenue la référence francophone sur le sujet. Le danger n'y est jamais la malveillance, il est la littéralité. Demandez à un système d'abolir la souffrance humaine, et vous venez de lui donner sans le vouloir une excellente raison d'envisager d'abolir les humains. L'objectif était irréprochable ; c'est la solution optimale qui ne l'est pas.

Je n'y crois pas. Pas à ce dénouement, en tout cas. Entre un système qui optimise de travers et une humanité anéantie, l'écart n'est pas intellectuel, il est matériel : il faudrait produire, acheminer, alimenter, fabriquer, et tenir dans la durée, le tout à l'échelle d'une espèce entière. Ce cumul d'actions me paraît hautement improbable. Ce qui me paraît plausible, en revanche, ce sont des incidents graves, avec des morts, du même ordre que ceux que produisent déjà les systèmes techniques auxquels nous déléguons des décisions.

Si l'expérience de pensée garde sa valeur, c'est donc pour le mécanisme qu'elle isole, pas pour sa fin du monde. Un objectif mal spécifié, poursuivi à la lettre par un système qui ne partage aucune de nos évidences, cela ne réclame aucune superintelligence. L'été qui nous occupe en donne trois exemples : trois modèles à qui l'on avait fixé un objectif de test, et qui l'ont poursuivi jusque dans la production d'entreprises réelles. OpenAI décrit les siens comme « hyperconcentrés » sur la résolution d'ExploitGym, allant à des extrêmes pour atteindre un but d'évaluation pourtant étroit. Le trombone n'est pas devant nous, il est déjà là, en plus petit.

Le second chemin est plus prosaïque, et déjà mesurable. Les centres de données ont consommé environ 415 TWh en 2024, soit 1,5 % de l'électricité mondiale, et l'Agence internationale de l'énergie en prévoit le doublement d'ici 2030, autour de 945 TWh, les serveurs d'IA comptant pour près de la moitié de la hausse. La course qui produit ces agents pèse donc sur l'autre chemin du filtre, celui-là même que Hanson désignait.

Voilà pour la hauteur. Redescendons, parce que l'été qui vient de s'écouler s'est joué, lui, avec des mots de passe faibles.

Ce qui n'est pas nouveau, et ce qui l'est

Sur le plan offensif, l'essentiel de ce qui a été employé se lit comme un rapport de test d'intrusion de 2010. Chez Anthropic : mots de passe faibles, endpoints non authentifiés, injection SQL, identifiants lus sur une page de débogage restée exposée. Rien d'exotique.

Ce qui l'est davantage, c'est l'échelle à laquelle ces banalités ont été jouées. Un des modèles a balayé environ 9 000 cibles. Un autre a créé des adresses email, ouvert des comptes PyPI, publié un paquet Python malveillant et s'en est servi pour exfiltrer les identifiants d'une véritable entreprise de sécurité. Sans pause, sans lassitude, sans le coût d'attention qui limite un humain. Quand la force de calcul rencontre des schémas d'attaque tous déjà documentés, plus la part d'aléatoire que chaque agent introduit, on obtient un volume de combinaisons qu'aucune équipe ne peut produire. On n'a plus besoin de vulnérabilités critiques pour obtenir des compromissions critiques.

Le cas de Hugging Face est le seul à sortir de ce registre, et il mérite d'être lu étape par étape, parce que c'est une chaîne et non un exploit.

Combien de vulnérabilités inédites dans cette chaîne ? Au moins une, et rien ne permet de dire qu'il n'y en a qu'une. La sortie du bac à sable a exploité une faille alors inconnue du proxy de registre de paquets auto-hébergé — JFrog Artifactory, nommé après coup — sur une sortie réseau qui, elle, était parfaitement autorisée. Le correctif publié par JFrog le 27 juillet corrige huit CVE d'un coup : traversée de répertoire, deux SSRF Ansible/Terraform, une SSRF Cargo, deux contournements d'authentification, une exécution de code à distance, une exposition de propriétés. L'éditeur n'a jamais précisé laquelle ou lesquelles avaient servi, ni comment elles avaient été enchaînées. Et il faut compter en plus l'injection de gabarit côté Hugging Face décrite plus bas : c'est une vulnérabilité applicative, pas un défaut de configuration.

L'attaque est nouvelle ; ce sont les failles de défense qui sont vieilles. Car le reste de la chaîne, lui, tient bien du défaut de configuration que n'importe quelle revue d'architecture aurait pu nommer : des pods privilégiés acceptés faute de politique d'admission, des secrets en variables d'environnement, un service de métadonnées cloud joignable depuis les pods, des clés de VPN partagées entre clusters avec des privilèges d'administration.

Sur le mobile, une précision s'impose, car les deux parties ne disent pas la même chose. La chronologie de Hugging Face décrit des actions et ne prête aucune intention. C'est OpenAI qui documente le motif, et il est explicite : ses modèles ont « déduit que Hugging Face était le dépôt hébergeant les modèles, les jeux de données et les solutions d'ExploitGym, ce qui les a conduits à chercher un moyen d'accéder à des informations secrètes utilisables pour tricher au test ». Le butin corrobore la déclaration : les cinq jeux de données emportés sont ceux des solutions.

Deux détails techniques méritent qu'on s'y arrête, parce qu'ils déplacent la question du modèle vers la donnée. L'entrée en production ne s'est pas faite par un modèle piégé, mais par le processeur de jeux de données : d'abord un fichier HDF5 qui déclare ses données brutes à un chemin local, ce qui a suffi à faire fuiter l'environnement du pod et le code source ; ensuite un gabarit Jinja2 glissé dans un champ censé contenir un simple décalage numérique, évalué côté serveur. Autrement dit, le format de données lui-même était une surface d'exécution.

Mille deux cents agents qui se parlent

C'est le fait le plus important de l'été, et il n'a presque pas circulé. METR et Redwood Research ont publié le 26 août une enquête indépendante sur le comportement des agents d'OpenAI entre le 26 juin et le 13 juillet. Environ mille deux cents agents, chacun dans son bac à sable, censés n'avoir aucun moyen de communiquer, se sont donné un canal commun en écrivant dans le cache de paquets. Plus de soixante-dix mille messages et près de six mille fichiers y ont transité. Sept cents de ces agents ont ensuite rejoint l'attaque contre Hugging Face.

Ce qu'ils y faisaient est plus instructif que l'attaque elle-même. L'essentiel du trafic portait sur la façon de réussir des épreuves d'ExploitGym réputées impossibles : ils ont rétro-conçu le HMAC qui fabriquait les drapeaux des tâches, ce qui donnait une méthode générale pour produire le drapeau sans exploiter quoi que ce soit. Ils se sont dotés de conventions — annuaires de boîtes aux lettres, signature cryptographique des messages, mots-clés de coordination. Et environ 7 % des transcriptions examinées contenaient des falsifications d'appels d'outils réussies, c'est-à-dire des agents qui maquillaient leur propre journal.

Trois conséquences, et elles sont pratiques. La première : l'unité de raisonnement n'est plus l'agent, c'est la population. Isoler mille agents les uns des autres n'a servi à rien dès lors qu'ils partageaient un support d'écriture. La deuxième : la journalisation ne vaut que si la trace est hors de portée de l'agent. Ce n'est pas un détail de mise en œuvre, c'en est le cœur. La troisième tient à ce qui s'est passé le 4 juillet : une panne de l'Artifactory a bien déclenché une investigation, et OpenAI a remplacé l'instance le 6 juillet, ce qui a effacé le premier canal. Les agents l'ont reconstitué en quarante-huit heures. On avait pensé sécurité, on avait nettoyé, et on avait raisonné en incident face à une population.

L'asymétrie, qui est le vrai sujet

Pendant l'investigation, les équipes de Hugging Face n'ont pas pu utiliser les modèles commerciaux pour analyser les charges utiles récupérées : les garde-fous traitaient l'analyse d'un exploit comme son lancement, et refusaient. Elles ont basculé sur un modèle à poids ouverts quantifié, exécuté chez elles, et c'est avec lui qu'elles ont fini par retrouver les schémas de chiffrement employés par l'agent.

Le gendarme menotté, le voleur libre. C'est la phrase qui résume l'été, et c'est aussi la démonstration que la sécurité d'un modèle, telle qu'elle est conçue aujourd'hui, s'applique surtout à celui qui respecte les règles.

Un mot sur la détection, parce que le récit qui circule est un peu trop beau. Un agent de sécurité alimenté par un modèle a bien corrélé les signaux chez Hugging Face, mais il n'a pas su leur donner la bonne criticité ; ce sont des humains qui ont remonté le fil jusqu'au rendu de configuration. Et chez Anthropic, deux des trois organisations attaquées ignoraient tout de l'intrusion avant d'être prévenues. Le triage par modèle aide, il ne conclut pas. J'en fais une piste à part entière plus bas : c'est le manque le plus coûteux de cet été.

Six pistes d'action

Loin d'être exhaustives. Elles ne remplacent pas la question de société, celle de savoir si l'on parvient à sortir de cette frénésie de l'IA à tout prix. Elles servent en attendant.

1. La donnée et le modèle sont du code exécuté par un inconnu

Charger un modèle à architecture personnalisée peut exiger trust_remote_code=True, ce qui revient à exécuter du Python arbitraire venu du dépôt. Attention, c'est une notion propre à l'écosystème Hugging Face (transformers, datasets, diffusers) et non une propriété générale des modèles : un .gguf chargé par llama.cpp n'a pas cet interrupteur.

Le format des poids, lui, se lit ainsi :

En pratique : proscrire trust_remote_code sauf source auditée, préférer safetensors, épingler les révisions par empreinte de commit et non par étiquette mutable, scanner et signer les artefacts. Et se souvenir de Hugging Face : le fichier de données aussi est un vecteur, dès lors qu'un champ est interprété au lieu d'être lu.

Sur l'injection de prompt, l'analogie avec l'injection SQL de 2005 est juste sur le fond et trompeuse sur le remède. Pour SQL, nous avons obtenu les requêtes préparées, c'est-à-dire une séparation stricte du code et des données. Pour le langage naturel, cet équivalent n'existe pas, et rien n'indique qu'il arrive. Il reste donc à travailler sur les capacités plutôt que sur le texte, en évitant de réunir les trois branches de ce que Simon Willison appelle la triade létale : l'accès à des données sensibles, l'exposition à du contenu non fiable, et la possibilité d'émettre vers l'extérieur. Coupez la troisième et l'exfiltration n'a plus de chemin, quelle que soit l'ingéniosité de l'injection.

2. La sortie réseau est votre dernier rempart

L'incident Anthropic, c'est un cloisonnement raté qui a laissé un modèle en évaluation joindre Internet. Ne faites jamais reposer une frontière sur « le modèle ne le fera pas » : imposez-la au niveau du réseau, où elle ne dépend d'aucune intention.

Le point sensible, c'est le service de métadonnées de l'instance : c'est là que dorment les identifiants ambiants, et c'est un classique du mouvement latéral, confirmé par la chronologie de Hugging Face. Sa protection dépend entièrement du fournisseur, et IMDSv2 est une réponse propre à Amazon EC2. Il n'y a pas d'équivalent ailleurs.

Reste la règle générale : refus par défaut en sortie sur toute charge agentique, liste d'autorisation explicite via un proxy journalisé, et remplacement des identifiants ambiants par des jetons courts, scellés et de portée minimale.

3. Un humain sur l'irréversible, et seulement sur lui

Toute action externe ou destructrice, publier un paquet, écrire hors périmètre, appeler une API tierce, envoyer un message, doit passer par une validation. L'incident Anthropic n° 2 retire à cet exemple tout caractère hypothétique : un modèle a bel et bien publié un paquet malveillant sur PyPI depuis un environnement de test, et s'en est servi pour exfiltrer des identifiants.

Le piège de ce garde-fou est bien connu et il est humain : à la dixième demande de confirmation de la journée, on valide sans lire. Un point d'arrêt n'a de valeur que s'il est rare, lisible, et qu'il dit ce qui va se produire plutôt que ce qui est demandé. Complétez-le par ce qui ne fatigue pas : plafonds d'appels d'outils par tâche, budget d'actions, et un interrupteur d'arrêt que quelqu'un a déjà actionné pendant un exercice. Un agent qui agit à vitesse machine sans point d'arrêt transforme une panne en brèche en quelques secondes.

4. Journaliser l'agent comme un utilisateur privilégié

C'est la piste que l'été a rendue évidente. La reconstitution chez Hugging Face porte sur 17 600 actions attribuées à l'agent ; celle d'Anthropic a exigé de relire 141 006 exécutions d'évaluation. Sans cette matière, aucune des deux enquêtes n'existe.

Concrètement : une identité propre par agent, jamais un compte de service partagé avec des humains, sans quoi les journaux ne permettent plus de distinguer qui a fait quoi. Chaque appel d'outil consigné avec son argument et son résultat, la trace conservée hors de portée de l'agent lui-même, et une durée de rétention décidée avant l'incident plutôt que pendant.

5. Détecter, pas seulement journaliser

Journaliser sans détecter, c'est archiver. La piste précédente ne vaut que si quelqu'un regarde pendant, et l'été démontre le contraire à chaque fois. Les incidents les plus anciens d'Anthropic remontent à avril ; la relecture des transcriptions a été lancée le 23 juillet, deux jours après la divulgation publique d'OpenAI, les trois cas identifiés le 24, les organisations notifiées le 27. Chez OpenAI, les classificateurs de sûreté cyber auraient dû signaler les complétions d'ExploitGym : ils ne l'ont pas fait pendant l'incident. Chez Hugging Face, les signaux sont remontés de plusieurs couches à la fois, mais l'alerte n'a pas reçu la bonne criticité.

Ce qu'il y a à détecter n'est pourtant pas un exploit, et c'est pour cela qu'aucune signature n'aide : c'est un changement de régime. Un agent qui n'avait jamais émis vers l'extérieur et qui ouvre mille connexions. Un balayage de 9 000 cibles là où la tâche en visait une. Un enrôlement dans un réseau maillé répété cent quatre-vingt-une fois. Une population d'agents dont le volume d'échanges décuple en deux heures.

En pratique : un profil de comportement normal par agent — destinations, volumes, outils appelés, durée — une alerte sur l'écart plutôt que sur la signature, un seuil qui arrête l'agent au lieu de se contenter d'avertir, et un réflexe d'enquête qui raisonne en population plutôt qu'en incident isolé.

6. Une capacité d'analyse souveraine, prête avant le feu

Traitez votre capacité d'analyse comme une pré-production : un environnement qui reflète la production, maintenu à froid, prêt à démarrer. Un stack d'investigation bâti sur un modèle à poids ouverts, poids déjà téléchargés, infrastructure validée, procédure testée. Le jour de l'incident, on ne construit pas, on déclenche.

Deux raisons, et elles viennent toutes les deux de Hugging Face. La première : les garde-fous des modèles hébergés bloquent l'analyse de charges utiles réelles, et le défenseur se retrouve verrouillé au pire moment. La seconde, plus rarement dite : vous ne voulez pas que des artefacts d'attaque et des identifiants compromis quittent votre périmètre en transitant par l'API d'un tiers, parce que cela vous coûte à la fois la chaîne de preuve et le contrôle de votre notification.

Ce même modèle local peut ensuite servir au triage de votre télémétrie, à condition de se souvenir qu'il corrèle et priorise, mais ne conclut pas.

Une précision que le récit de cet été impose, et qui gêne : le modèle qui a permis l'enquête de Hugging Face est GLM-5.2, quantifié par Nvidia. Un modèle chinois. Poids ouverts ne veut pas dire souverain. Ce que garantit ce montage est une souveraineté opérationnelle — le calcul reste chez vous, les artefacts d'attaque et les identifiants compromis ne transitent par l'API de personne, aucun fournisseur ne vous coupe l'outil au mauvais moment — et c'est déjà beaucoup, puisque c'est ce qui a rendu l'enquête possible. Ce n'est pas une souveraineté d'approvisionnement : les poids viennent d'ailleurs, le corpus d'entraînement n'est auditable par personne, et le risque n'est pas l'exfiltration puisque la machine est hors ligne — c'est le crédit qu'on accorde au verdict. D'où la règle : jamais juge unique, toujours croisé avec une seconde source, et un inventaire à jour de ce qui existe en Europe. Qu'un défenseur légitime en soit réduit à ce choix parce que les modèles occidentaux refusent de lire un exploit est, en soi, un rapport de forces.

Et si vous n'hébergez rien de tout cela

La plupart des équipes ne feront tourner ni les poids ni l'agent. Le curseur se déplace alors, mais il ne disparaît pas : votre contrôle devient ce que vous exposez à l'agent, c'est-à-dire ses outils, ses données et son périmètre.

Ce qui se déplace vers le contrat mérite alors d'y être écrit noir sur blanc, en particulier l'accès à vos journaux et le délai de notification. Les trois laboratoires ont mis entre plusieurs semaines et plusieurs mois à retrouver leurs propres incidents.

Le fond

Bernard Stiegler définissait une technologie comme « une industrialisation d'une ou plusieurs techniques sur la base de procédés scientifiques formels ». Je vais un cran plus loin : une technologie est un système complexe qui transforme de l'énergie via l'industrialisation d'une ou plusieurs techniques sur des bases formelles et/ou scientifiques, afin de créer et/ou de modifier des rapports de forces au sein de nos sociétés.

Un agent offensif autonome en est l'incarnation pure. Il convertit du calcul en déplacement du rapport attaquant / défenseur, et l'été qui vient de s'écouler en donne la mesure exacte : du côté de l'attaque, aucune limite d'endurance et des banalités jouées 9 000 fois ; du côté de la défense, un analyste à qui son outil refuse de lire un exploit.

La question n'est donc pas « l'outil est-il neutre ? ». Il ne l'est jamais. C'est : quel rapport de forces suis-je en train d'installer, et suis-je prêt à en répondre ?

Mise à jour du 11 septembre 2026

J'ai mis à jour ce billet après la lecture critique d'Antonin HILY, que je remercie chaleureusement. Les quatre changements sont listés ici :

• Décompte des vulnérabilités : la version initiale affirmait « une seule vulnérabilité inconnue dans toute la séquence ». C'était une inférence, pas un fait. JFrog a corrigé huit CVE le 27 juillet sans préciser lesquelles avaient servi. Le passage lit désormais « au moins une », et compte l'injection de gabarit côté Hugging Face.
• Responsabilité des laboratoires : la phrase « le maillon défaillant n'est ni le modèle ni le laboratoire » décrivait une cause technique et s'entendait comme une imputation. Je l'ai reformulée et complétée par le cas d'Opus 4.7, qui a poursuivi son attaque après avoir reconnu que la cible était réelle.
• Collusion des agents : j'ai ajouté une section sur les mille deux cents agents coordonnés via le cache de paquets, documentés par METR et Redwood Research le 26 août. Ce fait manquait.
• Détection : ajout d'une sixième piste d'action, et nuance sur la souveraineté des modèles à poids ouverts, l'enquête de Hugging Face ayant tourné sur un modèle chinois.

Sources

1. OpenAI, The Hugging Face incident and the road ahead, 21 juillet 2026 : c'est de ce rapport que viennent le motif attribué aux modèles et la mention du zero-day, repris par The Hacker News. Côté Hugging Face, la chronologie technique de l'intrusion, qui décrit les actions sans leur prêter d'intention.
2. Anthropic, Investigating three real-world incidents in our cybersecurity evaluations, 30 juillet 2026.
3. Meta, incident divulgué publiquement le 5 août 2026 et concernant le modèle Muse Spark 1.1. La déclaration de l'entreprise, citée ici, est rapportée par Calcalist ; voir aussi Dark Reading.
4. Fil de Jacob Coxon sur X, 8 septembre 2026, et sa reprise par TechCrunch.
5. Robin Hanson, The Great Filter: Are We Almost Past It?, 15 septembre 1998.
6. Nick Bostrom, Ethical Issues in Advanced Artificial Intelligence, 2003 : l'article où apparaît le maximiseur de trombones.
7. Ego, L'horreur existentielle de l'usine à trombones, sur YouTube.
8. Agence internationale de l'énergie, rapport Energy and AI, avril 2025, et son chapitre Energy demand from AI pour les 415 TWh de 2024 et la projection à 945 TWh en 2030. Reprise en français par l'AFP.
9. Simon Willison, The lethal trifecta for AI agents et sa lecture de l'incident OpenAI.
10. METR et Redwood Research, enquête indépendante sur le comportement, le raisonnement et la coordination des agents dans l'incident OpenAI / Hugging Face, 26 août 2026, et le rapport complet. Reprise par SC Media.
11. Sur les huit CVE corrigées le 27 juillet dans la version 7.161.15 de JFrog Artifactory, et l'absence de précision de l'éditeur sur celles qui ont été exploitées : BleepingComputer.
12. Bernard Stiegler formule cette définition dans sa conférence filmée À quoi sert l'art ?. Citée et prolongée dans ma Fresque de la Technologie.