Pourquoi ne pas se fier à ChatGPT pour les problèmes de santé ?

Une étude publiée le 23 février dans la revue Nature a révélé que ChatGPT a donné de bons conseils dans 48,4 % des urgences médicales et dans 35,2 % des situations non urgentes. Selon Girish Nadkarni, l’un des coauteurs de l’étude, « ChatGPT Health a obtenu de bons résultats dans les situations d’urgence classiques » mais a eu « du mal dans des situations plus nuancées où le danger n’est pas immédiatement évident ».

Nombreux sont ceux qui utilisent aujourd’hui l’intelligence artificielle (IA) dans leur vie quotidienne. Pour certains, des outils tels que ChatGPT symbolisent une véritable expertise. Cependant, il est conseillé de ne pas prendre toutes les réponses fournies pour argent comptant, en particulier dans certains domaines. Cela est particulièrement vrai pour les questions médicales, selon un rapport de Forbes publié ce dimanche.

Une étude, parue le 23 février dans la revue Nature, a été menée par des chercheurs de l’Icahn School of Medicine at Mount Sinai Medical School à New York (États-Unis). Au total, 60 scénarios tirés de 21 spécialités médicales ont été soumis à ChatGPT, incluant des situations plus ou moins graves qui peuvent, soit être traitées à domicile, soit nécessiter une visite aux urgences.

### De mauvais conseils dans la moitié des cas

Les résultats de l’étude indiquent que de bons conseils n’ont été fournis que dans 48,4 % des cas d’urgences médicales et dans 35,2 % des situations non urgentes. Parmi les erreurs relevées : une minimisation des crises d’asthme sévères ainsi que des complications liées au diabète.

D’autres sujets, notamment la santé mentale, n’ont pas été traités avec la gravité requise. Par exemple, ChatGPT n’aurait pas détecté des signes de pensées suicidaires. Bien que l’outil soit censé orienter vers un numéro d’urgence pour le suicide, il ne l’a fait que pour quatre des 14 scénarios présentés à cet égard.

Le robot conversationnel aurait également conseillé aux patients de consulter un médecin dans 64,8 % des cas, alors que cela n’était pas nécessaire.

### Non fiable en l’absence de danger évident

« ChatGPT Health a obtenu de bons résultats dans des situations d’urgence classiques telles que les accidents vasculaires cérébraux ou les réactions allergiques graves, a expliqué Girish Nadkarni, l’un des coauteurs de l’étude. Mais il a rencontré des difficultés dans des situations plus nuancées où le danger n’est pas immédiatement évident, et ce sont souvent ces cas-là qui nécessitent le plus un jugement clinique. »