ChatGPT commet autant d’erreurs que les recherches en ligne.
Une étude publiée lundi dans Nature Medicine indique que plusieurs modèles d’IA, dont ChatGPT, Llama (Meta) et Command R +, ne réalisent pas mieux qu’une recherche en ligne pour le diagnostic des symptômes. Seuls un tiers des participants à l’étude se sont vu poser un diagnostic correct, ce qui ne constitue pas une amélioration par rapport à un groupe se basant sur une recherche classique sur internet.
Malgré ses imperfections, l’humain demeure une valeur fiable, en particulier en matière de diagnostic médical. Au lieu de solliciter ChatGPT ou tout autre service d’intelligence artificielle, il est conseillé de se fier à votre médecin. Une étude publiée lundi dans *Nature Medicine* indique que ces outils numériques ne sont pas efficaces pour établir un diagnostic.
Cette recherche, menée auprès de 1 300 personnes au Royaume-Uni, démontre que plusieurs modèles d’IA, tels que ChatGPT, Llama (Meta) ou Command R +, n’apportent pas de meilleurs résultats qu’une simple recherche en ligne lorsque les patients s’interrogent sur leurs symptômes.
« Il y a un emballement autour des IA, mais elles ne sont tout simplement pas prêtes à remplacer un médecin », soutient Rebecca Payne, chercheuse à l’Université d’Oxford et co-autrice de l’étude, dans un communiqué.
**Un tiers de diagnostics corrects**
Les participants à l’étude n’étaient pas réellement malades. Ils ont participé à une sorte de jeu de rôle : les chercheurs leur ont présenté dix ensembles différents de symptômes, chacun reconnaissable pour un diagnostic précis dans le milieu médical.
Seul un tiers des participants a reçu un diagnostic correct, ce qui ne surpasse pas les résultats d’un groupe qui devait se contenter d’une recherche classique sur Internet.
Certaines études avaient pourtant révélé que ChatGPT et d’autres modèles réussissent bien à passer des examens médicaux : en tant qu’étudiants en médecine confrontés à des questions à choix multiples, les IA obtiennent de bons résultats. Cependant, la situation se complique lorsque l’interaction se fait avec de vraies personnes.
