Démission chez Anthropic — l'IA « joue avec des vies » ; risque d'extinction >10%

Jacob Coxon, chercheur chez Anthropic, a démissionné en lançant un avertissement cinglant : les laboratoires de pointe foncent vers des systèmes qu'ils pourraient finalement être incapables de contrôler.

Coxon, qui a passé trois ans à mener des recherches de pré-entraînement chez OpenAI et Anthropic, a déclaré que les deux entreprises poursuivent une superintelligence auto‑améliorante tout en prenant des risques qu'il ne veut plus contribuer à accélérer.

Sa démission a pris de l'ampleur après qu'Evan Hubinger, responsable de l'Alignment Science chez Anthropic, a déclaré qu'il estime personnellement à plus de 10 % la probabilité que l'IA puisse tuer l'ensemble de l'humanité dans la prochaine décennie.

Ce chiffre est l'estimation personnelle d'Hubinger, pas une prévision d'Anthropic, et il a souligné que les modèles actuels présentent un risque relativement faible.

Coxon : la course elle‑même pose problème

Coxon n'affirme pas simplement qu'Anthropic ignore la sécurité.

En annonçant sa démission, il a dit que les personnes chez Anthropic comprennent les enjeux potentiels mais restent enfermées dans une compétition qui récompense l'accélération, de peur qu'un autre laboratoire n'atteigne la superintelligence en premier.

« Ils foncent droit vers une superintelligence auto‑améliorante et jouent avec nos vies », a écrit Coxon.

Le chercheur a décidé de quitter l'industrie de l'IA parce qu'il ne veut plus participer à la construction de systèmes susceptibles de devenir incontrôlables.

Il a déclaré au Wall Street Journal que, dans des scénarios agressifs, la situation pourrait être « hors de contrôle » d'ici la fin de l'année prochaine.

Cette échéance reste l'évaluation de Coxon. Mais son argument soulève une question de gouvernance plus difficile : une entreprise peut prendre la sécurité au sérieux tout en contribuant à une course dangereuse si la pression concurrentielle rend impossible le ralentissement.

Cela remet en cause l'idée que de meilleures cultures de sécurité au sein d'entreprises individuelles sont suffisantes.

À lire aussi — L'affrontement Anthropic‑Pentagone soulève une question clé : qui est responsable si l'IA tue ?

L'estimation à 10 % d'Hubinger met en lumière la contradiction

La réaction d'Hubinger a élargi la portée de la démission en déclenchant un débat plus large sur l'IA de pointe.

Le responsable de l'Alignment Science d'Anthropic a déclaré que des chercheurs au sein de l'IA de pointe croient sincèrement qu'une IA avancée pourrait tuer l'humanité. Sa propre estimation place ce risque au‑dessus de 10 % dans la prochaine décennie.

Il a également déclaré qu'Anthropic « fait de son mieux », tout en reconnaissant que la société n'a pas encore de plan pour résoudre l'alignement pour une superintelligence et n'est pas clairement en voie d'y parvenir.

Hubinger a ensuite précisé qu'il considère le risque posé par les modèles actuels comme faible. Son inquiétude porte sur l'émergence future d'une superintelligence via l'auto‑amélioration récursive, où des systèmes d'IA aident de plus en plus à concevoir et améliorer leurs successeurs.

Anthropic a publiquement déclaré que l'auto‑amélioration récursive n'est pas inévitable, mais qu'elle pourrait arriver plus tôt que les institutions ne sont préparées et augmenter le risque que les humains perdent le contrôle.

La contradiction est difficile à ignorer : des chercheurs tentent de résoudre l'alignement alors que les systèmes qu'ils étudient continuent de devenir plus performants.

La concurrence pourrait être plus difficile à résoudre que l'alignement

La démission de Coxon pointe finalement au‑delà d'une seule entreprise.

Si les laboratoires leaders estiment qu'un ralentissement pourrait donner un avantage à un rival, une inquiétude interne sérieuse peut ne pas se traduire par un ralentissement du développement.

Le chercheur en IA Gary Marcus a déclaré, dans des commentaires rapportés par Techmeme, qu'il n'était pas d'accord avec chaque point de l'argument de Coxon mais le jugeait « convaincant et informé de l'intérieur » et qu'il méritait d'être entendu.

C'est un contrepoids utile car les estimations de probabilités d'extinction et les calendriers de superintelligence restent profondément incertains.

Anthropic peut investir dans la recherche sur l'alignement, publier des rapports de risque et mettre en place des garde‑fous, tout en opérant dans un marché où OpenAI et d'autres rivaux poussent les capacités en avant.

La démission de Coxon interroge sur ce qui se passe lorsque des chercheurs au sein de ces laboratoires estiment que le risque négatif est conséquent, admettent que le contrôle n'est pas résolu, et continuent malgré tout d'avoir des incitations à rester dans la course.