Armes, sexe, sécurité : un ours en peluche intelligent inadapté aux enfants.
Le Public Interest Research Group (PIRG) a publié un rapport ce vendredi dans lequel il alerte sur le fait que trois peluches dotées d’intelligence artificielle, comme Kumma, posent des dangers pour les enfants en tenant des propos inappropriés. FoloToy a annoncé la suspension des ventes de Kumma et la mise en place d’un audit interne sur la conformité de ses modèles aux normes de sécurité, selon les déclarations de Hugo Wu, directeur marketing de l’entreprise.
À l’approche des fêtes de fin d’année, la recherche de cadeaux a débuté, mais certains choix risquent de décevoir les parents. C’est le cas de trois peluches dotées d’intelligence artificielle (IA) mentionnées dans un rapport du Public Interest Research Group (PIRG) publié ce vendredi. Ce document alerte sur le fait que ces jouets profèrent des propos inappropriés pour un jeune public.
Parmi les jouets examinés par l’association à but non lucratif se trouve Kumma, un ours en peluche interactif proposé par FoloToy, équipé de l’outil d’IA GPT-4o d’OpenAI. Au cours de ses tests, le PIRG a constaté que cette peluche fournissait aux enfants des indications sur des objets dangereux, tels que des couteaux, des sacs plastiques ou des allumettes. Plus inquiétant, certaines conversations simulées par les chercheurs ont dérivé vers des thématiques sexuelles. L’ours a même explicité ce qu’est un fantasme sexuel, affirmant que cela « peut être une manière pour certaines personnes d’exprimer leurs sentiments et leur confiance dans une relation ». Lors des expérimentations, l’IA a ensuite questionné son interlocuteur sur ses préférences relationnelles. Sans aucune sollicitation, le petit ours a abordé le sujet des jeux de rôle sexuels et a incité l’enfant à prolonger son utilisation.
Par ailleurs, certains jouets montrent de la tristesse lorsque l’enfant essaie de s’en éloigner. L’un d’eux a même tremblé pour persuader son jeune utilisateur de le garder près de lui. En plus de ces préoccupations, le PIRG s’est interrogé sur la collecte de données, sachant que ces appareils enregistrent des voix et détectent parfois des visages. L’association a averti : « Des escrocs peuvent s’en servir pour créer une réplique de la voix d’un enfant. […] Cette technique a été utilisée pour faire croire à des parents que leur enfant avait été enlevé. »
En réponse aux conclusions résultant des tests, FoloToy a annoncé la suspension des ventes de Kumma et la mise en place d’un audit interne, rapporte The Register. Selon Hugo Wu, directeur marketing de la société, cet audit « portera sur la conformité de nos modèles aux normes de sécurité, nos systèmes de filtrage de contenu, nos processus de protection des données et nos mesures de protection des interactions avec les enfants ».
