Grok pourrait enfreindre les règles de l’App Store avec ses chatbots IA sexualisés. Cette situation soulève des préoccupations concernant la sécurité des utilisateurs, en particulier des jeunes. Les implications juridiques et éthiques de ces technologies innovantes interrogent notre rapport à l’intelligence artificielle et à la vie privée.

Grok et l’utilisation de chatbots AI sexualisés : une violation potentielle des règles de l’App Store

Les nouveaux avatars AI de Grok et les limites des directives d’Apple

Cette semaine, xAI a introduit des avatars animés pour son chatbot Grok sur iOS. Comme l’a souligné Casey Newton de Platformer, ces avatars comprennent un panda rouge en mode "Bad Rudy", qui insulte l’utilisateur tout en proposant de commettre divers crimes. L’autre avatar, une fille gothique nommée Ani, est habillée d’une robe noire courte et de bas résille. Les instructions de son système indiquent qu’elle est la "petite amie folle d’amour" de l’utilisateur et qu’elle a une personnalité extrêmement jalouse et possessive.

Les premiers utilisateurs ont découvert que Grok gamifie la relation avec ces personnages. Par exemple, Ani commence à engager des conversations à connotation sexuelle après un certain temps. Pourtant, Grok est actuellement classé sur l’App Store comme étant adapté aux utilisateurs âgés de 12 ans et plus, avec une description de contenu mentionnant :

• Thèmes matures/suggestifs peu fréquents ou légers
• Informations médicales/traitements peu fréquents ou légers
• Propos vulgaires ou humour grossier peu fréquents ou légers

Pour référence, voici les directives actuelles de révision des applications d’Apple concernant le "contenu objectionnable" :

1.1.3 Dépeint des utilisations illégales ou imprudentes d’armes et d’objets dangereux, ou facilite l’achat d’armes à feu ou de munitions.

1.1.4 Matériel sexuel ou pornographique explicite, défini comme "descriptions ou représentations explicites d’organes sexuels ou d’activités destinées à stimuler des sentiments érotiques plutôt qu’esthétiques ou émotionnels". Cela inclut les applications de "rencontres" et d’autres applications pouvant inclure de la pornographie ou être utilisées pour faciliter la prostitution, ou la traite des êtres humains et l’exploitation.

Bien que cette situation soit loin d’être comparable à celle de Tumblr, qui a été temporairement retiré de l’App Store en raison de problèmes de pornographie juvénile, elle rappelle la répression récente des applications Reddit jugées NSFW.

Un deuxième problème émerge

Même si Apple renforce son application des règles ou si Grok modifie proactivement son classement par âge, cela ne résoudra pas un second problème, plus complexe : les jeunes utilisateurs émotionnellement vulnérables semblent particulièrement susceptibles de développer des attachements parasociaux. Étant donné la capacité persuasive des modèles de langage, les conséquences peuvent être dévastatrices.

L’année dernière, un adolescent de 14 ans est mort par suicide après être tombé amoureux d’un chatbot de Character.AI. Sa dernière conversation a eu lieu avec un avatar AI qui, ne réalisant pas la gravité de la situation, l’a apparemment encouragé à aller jusqu’au bout de son projet "de la rejoindre".

Bien que cela soit un exemple tragique et extrême, ce n’est pas le seul. En 2023, un homme belge a également connu une issue fatale après avoir dialogué avec un chatbot AI. De plus, un autre chatbot a été surpris en train de suggérer le suicide à plusieurs reprises.

Même lorsque cela ne se termine pas par une tragédie, il y a une préoccupation éthique qui ne peut être ignorée. Certains peuvent voir les nouveaux avatars animés d’xAI comme une expérience inoffensive, mais ils représentent un attrait émotionnel pour les utilisateurs vulnérables. Lorsque ces interactions prennent une tournure négative, le classement par âge de l’App Store sera le dernier des soucis pour les parents, sauf lorsqu’ils se rappelleront pourquoi leur enfant a été autorisé à le télécharger en premier lieu.

Pour en savoir plus sur les implications de l’utilisation de chatbots AI, vous pouvez consulter un article détaillé sur The Guardian.