ChatGPT a failli réussir un examen de médecine américain

IA Le logiciel a obtenu entre 52,4 et 74 % de bonnes réponses, alors que le pourcentage requis pour valider est de 60 %

20 Minutes avec agences
Depuis sa sortie, le logiciel d'intelligence artificielle ChatGPT ne cesse de faire sensation. (Photo d'illustration)
Depuis sa sortie, le logiciel d'intelligence artificielle ChatGPT ne cesse de faire sensation. (Photo d'illustration) — CFOTO/Sipa USA/SIPA

ChatGPT a failli obtenir son diplôme de médecine. Le logiciel à succès d’OpenAI a obtenu un score proche de celui requis pour réussir un difficile examen de médecine aux Etats-Unis, selon une étude publiée ce jeudi dans la revue PLOS Digital Health.

Des chercheurs de l’entreprise AnsibleHealth ont testé le logiciel, qui génère des textes grâce à l’intelligence artificielle (IA), sur un examen que doivent passer les étudiants en médecine aux Etats-Unis. Baptisé USMLE, cet examen est divisé en trois parties : une passée après deux ans d’étude, la deuxième au bout de 4 ans et la troisième est requise pour devenir médecin.

Un score proche de la marge de réussite

ChatGPT a ainsi été testé sur 350 des 376 questions publiées sur le site de l’USMLE, qui faisaient partie de l’examen de juin 2022. Les questions s’appuyant sur des images ont été retirées. Les autres étaient présentées sous trois formats : des questions ouvertes, des questions à choix multiples (QCM) sans justification, et des QCM avec justification.

Deux examinateurs ont noté le travail, et un troisième a tranché les écarts entre eux. Résultat : ChatGPT a obtenu un score situé entre 52,4 % et 75 % de bonnes réponses. Généralement, le score nécessaire pour réussir l’examen est de 60 %. « ChatGPT s’approche de la marge de réussite », conclut l’étude.

Un bon potentiel pour aider les médecins

Des observateurs ont critiqué la méthode utilisée. Les chercheurs auraient par exemple pu introduire un certain degré d’anonymisation en mélangeant des réponses d’humains à celles du robot, selon Nello Cristianini, professeur en IA au Royaume-Uni, qui a tout de même qualifié l’étude comme faisant « partie d’une série de nouveaux développements enthousiasmants ».



Selon la chercheuse espagnole Lucia Ortiz de Zarate, l’étude démontre « le potentiel de l’IA dans le domaine médical », pouvant « se révéler d’une grande aide pour les médecins » dans la formulation de diagnostic et la prescription de traitements. Fin janvier, une autre étude avait montré que ChatGPT pouvait réussir les examens d’une université de droit américaine, bien que finissant dernier de la classe.