ChatGPT fait autant d’erreurs qu’une recherche en ligne sur les diagnostics médicaux

Malgré ses imperfections, l’humain reste une valeur sûre. Notamment en termes de diagnostic médical. Plutôt que de demander à ChatGPT ou tout autre service d’intelligence artificielle, fiez-vous à votre médecin. Ces outils numériques ne sont pas bons pour poser un diagnostic, avance une étude publiée lundi dans Nature Medicine.

Cette étude, réalisée grâce à 1.300 volontaires au Royaume-Uni, montre que plusieurs modèles d’IA – ChatGPT, Llama (Meta) ou Command R + – ne font pas mieux qu’une simple recherche en ligne quand un patient s’interroge sur ses symptômes.

« Il y a un emballement autour des IA, mais elles ne sont tout simplement pas prêtes à remplacer un médecin », estime, dans un communiqué, Rebecca Payne, chercheuse à l’Université d’Oxford et co-autrice de l’étude.

Un tiers de diagnostics corrects

Les participants à l’étude n’étaient pas réellement malades. Ils ont pris part à une sorte de jeu de rôle : les chercheurs leur ont distribué dix ensembles différents de symptômes, faisant l’unanimité dans le corps médical quant au diagnostic à y associer.

Seuls un tiers des participants à l’étude se sont vu poser un diagnostic correct. Ce n’est pas mieux qu’au sein d’un groupe qui devait se contenter d’une recherche classique sur Internet.

Pourtant, certaines études avaient montré que ChatGPT et d’autres modèles peuvent passer avec succès des épreuves médicales : mis à la place d’un étudiant en médecine face, par exemple, à des questions à choix multiples, les IA s’en sortent bien. Mais, la situation change quand il s’agit d’interagir avec de vraies personnes.