80 ans de la libération d’Auschwitz : « L’IA est utilisée par des groupes extrémistes pour diffuser des idées antisémites »

Edit : A l’occasion des 80 ans de la libération du camp d’Auschwitz ce 27 janvier, nous republions cet article publié originellement le 18 juin 2024.

En janvier 2023, une vidéo détournant l’image de l’actrice Emma Watson, connue pour avoir incarné Hermione dans la saga Harry Potter, devient virale. La jeune femme semble y lire Mein Kampf, livre écrit par Adolf Hitler. La vidéo est un faux, un des exemples montrant comment les outils d’intelligence artificielle sont détournés pour diffuser de la haine en ligne.

Cet exemple, l’Unesco s’en alarme dans un rapport paru ce mardi et que 20 Minutes a pu consulter en avant-première. Les experts de l’institution redoutent les menaces que peut jouer l’intelligence artificielle sur la mémoire de la Shoah et sur le rôle que peuvent jouer ces outils dans la diffusion de l’antisémitisme. Karel Fracapane, responsable à l’Unesco de la lutte contre les discours de haine, répond aux questions de 20 Minutes à ce sujet.

L’Unesco s’alarme que certains usages de l’intelligence artificielle menacent notre capacité collective à reconnaître les faits au sujet de la Shoah, ainsi que notre capacité à distinguer le vrai du faux…

Ça correspond à certains aspects de la réalité. Les outils d’intelligence artificielle sont utilisés quelquefois par des groupes extrémistes pour diffuser des idées qui sont des idées antisémites. Et, comme toute forme de production d’information et de savoir, il y a des biais qui sont relatifs à l’intelligence artificielle : celle-ci va collecter des informations qui elles-mêmes contiennent des biais humains. L’intelligence artificielle, de manière pas nécessairement volontaire, va aller produire et promouvoir un contenu extrémiste, antisémite, raciste, négationniste.

Ensuite, il y a une menace sur la teneur, l’exactitude et la complexité de cette histoire. Il y a aussi le risque de simplification de l’histoire, c’est-à-dire que les sources sur lesquelles vont travailler les outils d’intelligence artificielle ne sont pas nécessairement des sources fiables. Les outils vont produire un savoir limité, et, quelquefois, manipulé.

Effectivement, un des aspects soulignés dans le rapport est l’opacité des sources de certains chatbots conversationnels. Il y a un risque qu’ils aillent chercher des données sur des sites négationnistes et qu’ils s’en servent dans leurs réponses…

Quelles sont les recommandations du rapport ?

L’une des premières est la question de la transparence et de l’opérationnalisation de ces outils. On ne sait pas nécessairement comment ça fonctionne, sur la base de quelles sources – ce qui laisse évidemment libre cours à toute forme de manipulation. Il y a quand même des garde-fous qui sont mis en place pour éviter les contenus offensants, les contenus dangereux, etc. Mais comme on ne sait pas très bien nécessairement comment ça fonctionne, les groupes extrémistes peuvent aussi mettre en œuvre des stratégies de manière à contourner ces garde-fous. C’est, par exemple, nourrir un maximum de sources négationnistes dans lesquelles vont puiser les modèles d’intelligence artificielle. Il y a aussi des stratégies de jailbreaking : on va poser en continu des questions offensantes, extrémistes, etc. au système d’intelligence artificielle qui vont être obligés, pour vous répondre, d’aller chercher des réponses pour créer un contenu extrémiste et antisémite.

Vous insistez dans le rapport sur la nécessité de sensibiliser le grand public au fonctionnement de ces outils. Pourquoi ?

C’est fondamental. C’est la question de l’esprit critique. Quelquefois, il est presque impossible de distinguer entre une information qui est juste et une information qui est hallucinée [inventée] par le système. D’autres fois, il est impossible de distinguer entre une photo deepfake et une photo d’archive.

L’objectif, c’est le développement de l’esprit critique du grand public. Et ça, ça commence sur les bancs de l’école. Il faut prendre ces éléments en considération dans les systèmes éducatifs afin de protéger les élèves contre les discours de haine de cette nature, la désinformation, les théories du complot et d’autres véhicules d’idées racistes ou antisémites.

Google Bard qui invente des témoignages de rescapés de la Shoah. Chat GPT qui invente le concept de la Shoah par noyade. Est-ce que ces exemples cités dans le rapport ne décrédibilisent pas toute utilisation de ces outils ?

Oui, en grande partie. Lorsque l’outil manque de sources, il comble les lacunes : il produit de lui-même, par lui-même, de fausses informations [un phénomène connu sous le nom d’hallucination].

Comment est arrivée cette hallucination de la Shoah par noyade ?

Lorsque vous faites des recherches sur certains éléments, les réponses dépendent aussi des espaces linguistiques. Si vous faites une recherche en anglais ou en français [sur la Shoah], vous allez avoir beaucoup plus de sources que si vous faites une recherche en chinois ou en russe. Si vous faites une recherche en chinois sur le terme holocauste, vous allez vous retrouver essentiellement avec des groupes de death metal. Si vous faites une recherche sur la Shoah en russe, il y aura un manque patent d’informations, de sources, dans lesquelles les outils vont aller puiser. Et là, vous n’aurez pas de réponse. Dans certains cas, suivant la nature des questions, ils vont recréer, ils vont inventer de l’information. C’est ça le problème.

L’intelligence artificielle fonctionne un peu comme un oracle. On va vous donner une réponse qui est présentée comme ayant valeur d’autorité. Vous allez sur ChatGPT, vous tapez votre requête et vous avez un texte. Comment faire pour, effectivement, distinguer le vrai du faux, comprendre l’étendue des sources qu’il peut y avoir derrière, garder un esprit critique, développer des perspectives multiples sur une information particulière ? Là, c’est particulièrement grave parce qu’on parle de l’histoire d’un génocide qui est manipulé aujourd’hui par des groupes extrémistes pour diffuser l’antisémitisme.

L’intelligence artificielle est aussi utilisée pour créer de fausses vidéos, comme ce deepfake de l’actrice Emma Watson lisant « Mein Kampf »…

Ici, vous avez véritablement un cas d’utilisation de l’intelligence artificielle à des fins de diffusion d’un discours de haine antisémite. Vous prenez une figure ultra célèbre comme Emma Watson, et si vous voulez toucher et radicaliser les jeunes en diffusant ce genre de discours, c’est exactement ce que vous pouvez faire relativement facilement. Vous trouvez ça évidemment sur des plateformes numériques qui ne sont pas forcément modérées et ça peut toucher des millions d’utilisateurs.

À l’inverse, il est possible d’utiliser ces mêmes outils pour produire du contenu éducatif de qualité.

Oui, l’Unesco a numérisé le témoignage d’une rescapée et on peut discuter avec elle…

Après avoir constaté à quel point la distorsion et la négation de la Shoah étaient diffusées sur les réseaux sociaux, on a décidé de développer des outils pédagogiques qui pourraient être ensuite mis à disposition des utilisateurs, cette fois utilisant l’intelligence artificielle à des fins éducatives, et de manière à produire un contenu interactif qui soit attractif pour les plus jeunes. Il s’agit d’une interaction immersive avec une rescapée du ghetto de Theresienstadt (Tchéquie) qui a été produit dans le cadre d’un partenariat entre l’Unesco, Meta, Storyfile, le Congrès juif mondial et la Claims Conference.

Ça fait partie des expériences pédagogiques qui peuvent être développées sur la base de ces nouveaux outils. Si on veut contrecarrer l’utilisation néfaste de l’intelligence artificielle par des groupes extrémistes, si on veut essayer de limiter les biais algorithmiques relatifs à l’IA, il faut développer aussi des matériaux qui puissent permettre d’avoir un contre-discours. Ça passe notamment par l’utilisation de l’intelligence artificielle dans la recherche, dans la digitalisation des archives, de manière à mettre plus de sources à disposition des systèmes de recherche d’intelligence artificielle. De la même manière, effectivement, il faut essayer de développer de nouvelles pédagogies qui puissent faire appel à cette technologie-là.