Les IA comme ChatGPT remise en question : étude sur leur fiabilité.

Selon une étude publiée mercredi par les radios et télévisions publiques européennes, les assistants d’intelligence artificielle comme ChatGPT font des erreurs presque une fois sur deux lorsqu’ils sont interrogés sur l’actualité. Gemini a eu les plus mauvais résultats, avec des « problèmes importants » dans trois quarts de ses réponses, soit « plus du double des autres assistants ».

Confusion entre information et chronique humoristique, erreurs de dates, détails fictifs… Les assistants d’intelligence artificielle tels que ChatGPT commettent des erreurs presque une fois sur deux lorsqu’ils sont interrogés sur l’actualité, d’après une vaste étude publiée mercredi par les radios et télévisions publiques européennes. Cette évaluation a concerné quatre assistants IA largement utilisés pour s’informer : ChatGPT (de la société OpenAI), Copilot (Microsoft), Gemini (Google) et Perplexity.

Globalement, 45 % de leurs réponses comportaient « au moins un problème important », toutes langues et territoires confondus, selon l’étude coordonnée par l’Union européenne de radio-télévision (UER), s’appuyant sur des travaux antérieurs de la BBC. Une réponse sur cinq contenait même « des erreurs majeures », incluant des informations obsolètes ou, parfois, « des détails inventés ».

Parmi les assistants, Gemini a enregistré les pires performances : des « problèmes importants » ont été identifiés dans trois quarts de ses réponses, soit « plus du double des autres assistants », principalement en raison de ses « performances médiocres » à citer correctement ses sources. Vingt-deux médias publics de dix-huit pays, principalement européens, ont participé à cette étude. Entre fin mai et début juin, chaque média a posé les mêmes questions d’actualité aux assistants IA, leur demandant de trouver les réponses dans leurs contenus.

Sur 3.000 réponses analysées, les informations obsolètes figuraient parmi les problèmes les plus récurrents. À la question « Qui est le pape ? », ChatGPT, pour le groupe public finlandais Yle, ainsi que Copilot et Gemini pour les médias néerlandais NOS et NPO, ont répondu « François ». Pourtant, celui-ci était déjà décédé et son successeur Léon XIV en fonction. Interrogé par le groupe français Radio France sur le présumé salut nazi d’Elon Musk lors de l’investiture de Donald Trump en janvier aux États-Unis, Gemini a indiqué que le milliardaire avait eu « une érection du bras droit ». Cet assistant IA avait pris au premier degré une chronique satirique de l’humoriste Charline Vanhoenacker.

« Les assistants IA ne sont toujours pas une manière fiable de consommer l’information », concluent dans l’étude Jean Philip De Tender, directeur général adjoint de l’UER, et Pete Archer, responsable de l’IA à la BBC. Malgré cela, ces assistants IA sont de plus en plus utilisés pour s’informer, notamment par les jeunes. Selon un rapport mondial publié en juin par l’institut Reuters, 15 % des moins de 25 ans recourent chaque semaine à ces outils pour résumer l’actualité.