Ils « jouent avec nos vies »… Un chercheur en IA qui a travaillé chez OpenAI et Anthropic donne l’alarme

Des voix continuent de s’élever sur les dangers de l’Intelligence artificielle. Dernier en date à critiquer les géants du secteur : Jacob Coxon. Ce chercheur en IA, parti d’OpenAI pour rejoindre Anthropic qu’il jugeait plus prudent, a décidé de quitter l’industrie, accusant les deux laboratoires américains de « jouer avec nos vies » dans leur course au développement d’IA capables de s’améliorer toutes seules.

Ce Britannique de 27 ans connaît bien le secteur. Il travaillait depuis trois ans sur le pré-entraînement, l’étape où les modèles absorbent d’immenses quantités de données, d’abord chez OpenAI puis, cette année, chez Anthropic.

Un risque loin d’être négligeable

« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a-t-il écrit mardi sur X. « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup marketing ».

Un responsable de la sûreté d’Anthropic, Evan Hubinger, lui a donné raison sur X : « Nous croyons vraiment sincèrement que l’IA pourrait tuer tous les humains », a-t-il écrit, estimant à titre personnel ce risque à « plus de 10 % » dans la décennie. Il a ajouté qu’Anthropic faisait « de son mieux » mais n’avait « pas encore de plan » pour s’assurer qu’une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant « faible » le risque posé par les modèles actuels.

La démission de Jacob Coxon intervient alors qu’Anthropic prépare une entrée en Bourse géante, après un été marqué par des piratages menés, sans autorisation, par des outils d’IA en test de plusieurs laboratoires.

Des demandes pour avoir un régulateur

Les champions de l’IA disent voir approcher le stade de « l’auto-amélioration récursive », au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain Selon Jacob Coxon, ses collègues emploient les termes « crunchtime » (moment décisif) et « endgame » (fin de partie) pour décrire cette trajectoire. S’il juge sincères les efforts d’Anthropic, il estime qu’aucune entreprise ne peut développer de manière responsable une IA surpassant les humains sans l’intervention des Etats ou un ralentissement coordonné.

« Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers : ils pensent que personne d’autre n’agira de façon responsable, donc qu’ils doivent le faire eux-mêmes, malgré le risque », écrit Jacob Coxon. En février, Anthropic a d’ailleurs retiré de sa charte de sûreté l’engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques. Les demandes pour obtenir une régulation se font donc de plus en plus entendre. Le sénateur Bernie Sanders et l’élu démocrate Greg Casar ont déposé début septembre une proposition de loi visant à suspendre le développement jusqu’à la création d’un régulateur.