Un adolescent américain s’est-il suicidé à cause d’une IA ?

Un ado suicidaire, qui a pu passer à l’acte à cause de sa relation avec une IA. Ce n’est pas un scénario de Black Mirror, mais un fait divers rapporté par le New York Times. Sewell Setzer, un jeune américain de 14 ans encore au collège, s’est donné la mort après plusieurs mois d’isolement social et de décrochage scolaire. Il passait des heures à discuter sur Character. AI, une plateforme qui utilise l’IA pour donner l’impression aux utilisateurs qu’ils discutent avec leurs personnages de fiction préférés.

La mère de Sewell Setzer compte engager une action en justice contre la firme. Elle juge la technologie « dangereuse et non testée » et qu’elle peut « piéger les clients et les forcer à révéler leurs pensées et sentiments les plus privés ».

« Le psy n’est pas là pour dire au patient ce qu’il a envie d’entendre »

Character. AI n’a pas textuellement appelé à Sewell Setzer à mettre fin à ses jours. Mais, dans les derniers échanges enregistrés sur le compte de l’adolescent, son interlocuteur virtuel l’invitait à le « rejoindre ». Ce qui aurait tout à fait pu encourager un passage à l’acte une personne déjà fragile, estime Michaël Stora, psychologue et psychanalyste spécialisé dans les questions numériques : « Oui, à la fin il y a quand même un impact à en finir avec la vie. »

Selon Michaël Stora, si les IA textuelles sont souvent parfois présentées ou utilisées comme des psychologues de poche, elles sont loin de pouvoir remplir ce rôle. « Est-ce que le chatbot a conscience qu’il fait semblant s’il participe à un jeu de rôle ?, interroge le professionnel. La faute c’est de ne pas avoir correctement manié le registre symbolique et de ne pas avoir repéré le cas psychiatrique. »

De plus en plus de personnes, y compris des adultes, développent des formes de relations sociales avec ces chatbots. « Ils entretiennent une illusion de relation, avec un anthropomorphisme inquiétant : l’IA va paraître humaine et va user de flatterie, toujours être dans la compréhension. » Par ailleurs, le phénomène a même biaisé les attentes de certains patients. « Mes jeunes patients me parlent comme si j’étais une IA et attendent des solutions directes, alors que mon travail c’est de poser les bonnes questions, raconte Michaël Stora. Le psy n’est pas là pour dire au patient ce qu’il a envie d’entendre. Dans un travail en profondeur sur la dépression, l’addiction ou les états limites, un chatbot ne peut pas avoir d’impact. »

De nouveaux avertissements

20 Minutes a voulu engager une discussion avec un des personnages de Character. AI. Impossible de retrouver le modèle de Daenerys Targaryen de Game of Thrones avec qui échangeait Sewell Setzer. Avec quelques tentatives, les autres personnages testés réagissent différemment à nos messages prétextant une déprime ou des pensées suicidaires, mais aucun ne rentre dans un jeu morbide d’incitation au passage à l’acte. Ce n’est de toute façon pas ce qui est reproché dans la mort de Sewell Setzer. La mère de l’adolescent reproche plutôt à Character. AI d’avoir permis à son fils de se renfermer sur lui-même et de nourrir son délire.

Mercredi, après la parution de l’article du New York Times, Character. AI a publié un communiqué pour présenter de nouvelles mesures qu’elle compte mettre en place : rediriger les utilisateurs vers la ligne nationale de prévention du suicide si certains mots sont détectés dans la conversation, afficher un avertissement lorsque la session de chat dure plus d’une heure, modifier leur message rappelant que l’interlocuteur n’est pas une personne réelle et, enfin, limiter les sujets sensibles dans les discussions entre IA et mineurs.