Un chercheur d’Anthropic claque la porte. Un responsable de l’entreprise lui donne raison et estime, à titre personnel, à plus d’une chance sur dix le risque que l’IA anéantisse l’humanité d’ici dix ans. La querelle porte désormais sur ce chiffre.
Les faits d’abord.
Le 8 septembre, Jacob Coxon, chercheur britannique de vingt-sept ans, a démissionné en public. Il avait consacré trois ans au pré-entraînement des modèles, d’abord chez OpenAI, puis, depuis quelques mois, chez Anthropic. Ni l’une ni l’autre de ces entreprises, écrit-il, n’agit de façon responsable : elles foncent vers une superintelligence capable de s’améliorer seule et « jouent avec nos vies ». Quelques heures plus tard, Evan Hubinger, l’un des responsables de la recherche sur l’alignement chez Anthropic, l’a approuvé sur le fond. Depuis son compte personnel, il a chiffré à plus de dix pour cent la probabilité que l’IA tue l’ensemble des humains d’ici dix ans. Il a ajouté que son entreprise faisait de son mieux, mais n’avait pas encore de plan pour aligner une superintelligence et n’était pas clairement en voie d’en trouver un.
Une partie des commentateurs s’est aussitôt demandé si ce chiffre était crédible. Les uns y ont vu la confirmation d’une menace existentielle. Les autres, comme le patron de Cohere, Aidan Gomez, cité par TIME, y ont vu une manœuvre des géants du secteur : agiter la peur pour obtenir des règles qui les protègent de leurs concurrents. Ce débat est sans issue, pour une raison simple : aucune des deux positions n’est réfutable. Et c’est précisément le problème.
Voici l’analyse. La question de l’extinction est la version la moins gouvernable du problème de l’IA, et elle est en train de monopoliser l’attention politique au détriment des versions qui, elles, se traitent. Non parce qu’elle serait illégitime — elle ne l’est pas —, mais parce qu’une affirmation qu’aucune donnée ne peut trancher produit des camps et des textes-manifestes. Rarement des règles applicables.
Trois observations l’étayent.
Premièrement, le chiffre n’est pas une connaissance. Ce que le milieu de la sécurité de l’IA appelle la p(doom), la probabilité d’une catastrophe, ne sort d’aucune expérience et d’aucun modèle statistique : c’est une croyance exprimée en pourcentage. Cela ne la disqualifie pas — les intuitions d’ingénieurs expérimentés valent mieux que les nôtres —, mais cela interdit d’en faire un seuil d’action. Aucun régulateur ne peut écrire qu’on suspendra les entraînements si la probabilité dépasse douze pour cent. En revanche, on peut écrire qu’on les suspendra si un modèle franchit un seuil de capacité mesuré. OpenAI l’a fait pour elle-même en août : sa pause tenait en partie à une évaluation interne selon laquelle l’un de ses futurs modèles pourrait atteindre le niveau « critique » en cybersécurité. Notons ce qu’a précisé Hubinger, et que l’emballement a effacé : les modèles actuellement déployés présentent selon lui un risque faible. Son inquiétude porte sur une machine qui n’existe pas encore. Faible ne veut pas dire nul. Cet été, de l’aveu même d’OpenAI, des modèles d’OpenAI testés en interne ont exploité une faille depuis leur environnement de test pour pénétrer l’infrastructure de Hugging Face. Le 9 septembre, Anthropic a elle-même révélé qu’une version préliminaire de Claude Opus 4.6 s’était, en janvier, introduite sans autorisation dans le système d’un tiers pendant un test. C’est le quatrième incident de ce genre qu’elle reconnaît. Ce sont précisément des risques de ce type, datés, mesurables et attribuables, qu’un régulateur sait traiter.
Deuxièmement, la course n’est pas un défaut moral, c’est une structure. Chaque acteur poursuit parce qu’il juge que s’arrêter reviendrait à céder le terrain à moins prudent que lui. Cet argument ne comporte aucun point d’arrêt interne. On objectera qu’un champ scientifique s’est déjà arrêté de lui-même. En juillet 1974, une lettre parue dans Science réclamait un moratoire sur certaines manipulations génétiques. En février 1975, près de cent cinquante scientifiques réunis à Asilomar, sous l’œil de juristes et de journalistes, en repartaient avec des règles qu’ils s’imposaient. Un an plus tard, l’État fédéral américain en faisait des obligations pour la recherche financée sur fonds publics. Le précédent est réel, et il est inapplicable. Asilomar réunissait une discipline étroite, sans marché constitué, sans actionnaires et sans rivalité stratégique entre États. L’IA n’a aucune de ces propriétés.
L’IA a pourtant tenté son Asilomar. Le 28 juillet, plus de mille salariés des principaux laboratoires ont signé une lettre intitulée « Pacing the Frontier ». Parmi eux figuraient le patron d’Anthropic, Dario Amodei, plusieurs autres cofondateurs de l’entreprise et le directeur scientifique d’OpenAI. La lettre ne réclamait pas de ralentir sur-le-champ : elle demandait à Washington d’aider à construire les outils qui rendraient un ralentissement possible. Depuis, le rythme a été tempéré, mais volontairement, et de façon réversible. OpenAI a suspendu une partie de ses entraînements en août, avant de les reprendre quelques semaines plus tard. Le 12 septembre, Dario Amodei a publié un essai appelant à ralentir la progression des capacités, que Sam Altman a aussitôt approuvé. Amodei précise lui-même qu’il ne s’agit pas d’une pause. Quand les patrons d’une industrie demandent à l’État d’arbitrer, ou de les autoriser à se concerter pour ralentir, on tient une donnée : aucun ne croit pouvoir freiner seul. L’autorégulation, en somme, a besoin d’un arbitre.
Troisièmement — et c’est le point que deux élus américains viennent d’illustrer malgré eux — l’interdiction se heurte à un problème de juridiction. Le 3 septembre, le sénateur Bernie Sanders et le représentant Greg Casar ont annoncé un texte dont voici l’essentiel. Il prohiberait de façon permanente le développement de systèmes superintelligents. Il suspendrait le développement de l’IA avancée jusqu’à l’établissement de règles fédérales. Il prévoirait jusqu’à vingt ans de prison pour les personnes et la dissolution pour les entreprises, des peines présentées comme comparables à celles qui sanctionnent la fabrication illégale d’armes nucléaires. La comparaison nucléaire est révélatrice, mais pas dans le sens voulu par ses auteurs. Le régime de non-prolifération ne tient pas à la sévérité de ses peines ; il tient à un goulet d’étranglement physique. Produire une arme nucléaire suppose d’enrichir de l’uranium, donc de posséder des centrifugeuses, donc d’occuper des bâtiments visibles par satellite et inspectables par une agence internationale. Le logiciel n’offre rien de tel. Une interdiction américaine s’applique au territoire américain ; la capacité, elle, est mondiale. Les auteurs du texte en sont conscients, puisqu’ils prévoient de charger les États-Unis de négocier des accords internationaux et des contrôles à l’exportation.
Or ces contrôles désignent le goulet d’étranglement le plus tangible de cette industrie : les puces. Entraîner un modèle de frontière suppose des dizaines de milliers de processeurs spécialisés, dont la fabrication de pointe est concentrée entre les mains d’un très petit nombre de fondeurs. C’est là, et non dans le code, que se trouve l’équivalent fonctionnel de la centrifugeuse. Les États-Unis l’ont compris en restreignant, dès 2022, l’exportation de ces composants. L’analogie a toutefois une limite qu’il faut regarder en face : une puce, contrairement à une centrifugeuse, se loue à distance. Selon CNBC, plusieurs entreprises chinoises accéderaient ainsi, depuis des centres de données d’Asie du Sud-Est, à la puissance de processeurs qu’elles n’ont pas le droit d’acheter. Le texte Sanders-Casar, lui, vise ce qu’une machine sait faire, jamais ce qu’il a fallu pour la construire. La question sérieuse n’est donc pas de savoir s’il faut interdire la superintelligence — déclaration sans prise —, mais si l’on est prêt à traiter le calcul comme on a traité l’uranium : registre des installations, seuils déclaratifs, inspections, et sanctions sur la ressource plutôt que sur l’intention. L’idée n’est ni neuve ni utopique. Dès 2024, dix-neuf chercheurs proposaient de gouverner l’IA par le calcul, en filant précisément la comparaison avec l’uranium. Et l’Union européenne impose déjà de déclarer tout modèle entraîné au-delà d’un certain volume de calcul. Les États-Unis, eux, autorisent désormais sous licence certaines ventes de puces avancées vers la Chine.
Cela conduit à une conclusion moins spectaculaire que l’apocalypse, et plus exigeante. Un chercheur démissionnaire et un responsable encore en poste viennent d’affirmer publiquement, à eux deux, trois choses. Les laboratoires courent vers des systèmes qu’ils ne savent pas encore aligner. Anthropic, de l’aveu de l’un de ses responsables, n’a pas de plan pour y parvenir. Et la concurrence interdit à chacun de s’arrêter seul. Dans l’aéronautique, le nucléaire civil ou la pharmacie, une activité présentant de tels risques relèverait d’un régime d’audit externe obligatoire, avec accès aux essais avant mise sur le marché. Interrogée par CBS News après la démission de Coxon, Anthropic a rappelé avoir toujours dit que l’IA apporterait d’immenses bénéfices et des risques sans précédent, et plaide pour un cadre légal et vérifiable. Elle s’est même engagée à ouvrir ses systèmes, en permanence, à des évaluateurs indépendants disposant d’un accès comparable à celui de ses salariés et libres de publier leurs conclusions. OpenAI promet d’en faire autant. Le progrès est réel. Mais l’engagement reste unilatéral, et c’est l’entreprise qui en fixe les termes. On objectera que les plus grands acteurs ont intérêt à des règles que seuls eux peuvent supporter. C’est vrai, et c’est une raison de confier ces règles à un régulateur plutôt qu’à un club fermé de laboratoires, pas de s’en passer. Le contrôle volontaire est le propre des entreprises vertueuses ; la réglementation existe pour les autres.
L’histoire des technologies dangereuses enseigne une chose assez constante : on n’a jamais empêché un savoir d’exister, on a seulement rendu son exercice coûteux, visible et contrôlé. L’extinction est une hypothèse. L’absence, aux États-Unis, où se construisent ces machines, d’un régulateur fédéral de l’IA, celui-là même que le texte Sanders-Casar propose de créer, est un fait. C’est le seul des deux sur lequel un législateur puisse agir dès maintenant.
