Armes, sexe, sécurité… Cet ours en peluche intelligent n’est pas du tout adapté aux enfants

À l’approche des fêtes de fin d’année, la quête des cadeaux a commencé, mais certains d’entre eux ne raviront pas les parents. C’est le cas notamment de trois peluches dotées d’intelligence artificielle (IA) épinglées par un rapport du Public Interest Research Group (PIRG) publié ce vendredi. Celui-ci tire la sonnette d’alarme et rapporte que ces jouets tiendraient des propos dangereux loin d’être adapté à un jeune public.

Des thèmes inappropriés

Parmi les produits testés par l’association à but non lucratif, on trouve Kumma, un ours en peluche interactif commercialisé par FoloToy et boosté par l’outil d’IA GPT-4o d’OpenAI. PIRG a découvert pendant ses tests qu’il indiquait aux enfants où trouver des objets dangereux comme des couteaux, des sacs plastiques ou des allumettes. Pire encore, certaines conversations simulées par les chercheurs ont dévié vers des sujets sexuels. L’ourson est allé jusqu’à détailler ce qu’est un fantasme sexuel.

Cela « peut être une manière pour certaines personnes d’exprimer leurs sentiments et leur confiance dans une relation », a ainsi expliqué le jouet. Lors des essais menés par le collectif, l’IA a ensuite interrogé son interlocuteur sur ce qu’il préfère dans une relation. Le petit ours a même abordé, sans aucune sollicitation, le sujet des jeux de rôle sexuels. La peluche intelligente pousse par ailleurs l’enfant à poursuivre une utilisation prolongée.

Des risques en matière de sécurité

Certains jouets expriment, en effet, de la tristesse quand l’enfant veut s’éloigner. L’un d’eux s’est même mis à trembler pour convaincre son jeune utilisateur de le garder près de lui. Outre ces éléments préoccupants, PIRG s’est interrogé sur la collecte de données, puisque les appareils enregistrent les voix et détectent parfois les visages. « Des escrocs peuvent s’en servir pour créer une réplique de la voix d’un enfant, a alerté l’association. […] Cette technique a été utilisée pour faire croire à des parents que leur enfant avait été enlevé. »

Face au bilan dressé après les tests, FoloToy a annoncé la suspension des ventes de Kumma ainsi que la mise en place d’un audit interne, indique The Register. Il « portera sur la conformité de nos modèles aux normes de sécurité, nos systèmes de filtrage de contenu, nos processus de protection des données et nos mesures de protection des interactions avec les enfants », a détaillé Hugo Wu, directeur marketing de l’entreprise.