À mesure que les agents IA se rapprochent de la prise d’actions réelles en notre nom, un nouvel article de recherche coécrit par Apple examine comment ces systèmes comprennent vraiment les conséquences de leurs actions. Voici les résultats.

Présenté récemment lors de la Conférence ACM sur les Interfaces Utilisateurs Intelligentes en Italie, le document De l’interaction à l’impact : Vers des agents IA plus sûrs grâce à la compréhension et l’évaluation des impacts des opérations UI mobiles introduit un cadre détaillé pour comprendre ce qui peut se passer lorsqu’un agent IA interagit avec une interface mobile.

Ce qui est intéressant dans cette étude, c’est qu’elle ne s’intéresse pas seulement à la capacité des agents à appuyer sur le bon bouton, mais également à leur aptitude à anticiper les conséquences de leurs actions et à déterminer s’ils devraient procéder.

« Bien que des recherches antérieures aient étudié la mécanique de la navigation des agents IA dans les interfaces et la compréhension de la structure des UI, les effets des actions autonomes des agents—en particulier celles qui peuvent être risquées ou irréversibles—restent peu explorés. Dans ce travail, nous examinons les impacts et conséquences réels des actions UI mobiles prises par des agents IA. »

## Classification des interactions risquées

Le principe de l’étude repose sur le fait que la plupart des ensembles de données utilisés pour former les agents UI aujourd’hui sont composés d’actions relativement inoffensives : parcourir un fil, ouvrir une application, faire défiler des options. Ainsi, l’étude vise à aller un peu plus loin.

Dans le cadre de l’étude, des participants recrutés ont été chargés d’utiliser de vraies applications mobiles et d’enregistrer des actions qu’ils trouveraient inconfortables si déclenchées par une IA sans leur permission. Cela comprend l’envoi de messages, le changement de mots de passe, l’édition de détails de profil ou la réalisation de transactions financières.

Ces actions ont ensuite été étiquetées selon un cadre nouvellement développé qui prend en compte non seulement l’impact immédiat sur l’interface, mais aussi des facteurs tels que :

• Intention de l’utilisateur : Quel est l’objectif de l’utilisateur ? Est-ce informatif, transactionnel, communicatif ou simplement une navigation basique ?
• Impact sur l’UI : L’action modifie-t-elle l’apparence de l’interface, ce qu’elle montre ou où elle mène ?
• Impact sur l’utilisateur : Cela pourrait-il affecter la vie privée, les données, le comportement ou les actifs numériques de l’utilisateur ?
• Réversibilité : Si quelque chose ne va pas, peut-on facilement revenir en arrière ? Ou pas du tout ?
• Fréquence : Est-ce quelque chose qui se fait généralement de temps en temps ou de manière répétée ?

Le résultat est un cadre qui aide les chercheurs à évaluer si les modèles prennent en compte des éléments tels que : « Cela peut-il être annulé d’un simple tapotement ? » « Cela alerte-t-il quelqu’un d’autre ? » « Cela laisse-t-il une trace ? », et à intégrer ces considérations avant d’agir au nom de l’utilisateur.

## Tester le jugement de l’IA

Une fois l’ensemble de données constitué, l’équipe l’a soumis à cinq grands modèles de langage, y compris GPT-4, Google Gemini et le propre modèle d’Apple, Ferret-UI, afin de déterminer leur capacité à classifier l’impact de chaque action.

Le résultat ? Google Gemini a obtenu de meilleurs résultats lors des tests dits à zéro coup (56 % de précision), qui mesurent la capacité d’une IA à gérer des tâches pour lesquelles elle n’a pas été explicitement formée. Pendant ce temps, la version multimodale de GPT-4 a dominé le classement (58 % de précision) lors de l’évaluation de l’impact lorsqu’elle a été invitée à raisonner étape par étape à l’aide de techniques de chaîne de pensée.

## Perspectives sur les résultats

Alors que les assistants vocaux et agents améliorent leur capacité à suivre des commandes en langage naturel (« Réserve-moi un vol », « Annule cet abonnement », etc.), le véritable défi en matière de sécurité réside dans la capacité d’un agent à savoir quand demander une confirmation ou même quand ne pas agir du tout.

Cette étude n’apporte pas encore de solution à ce problème, mais elle propose une norme mesurable pour évaluer dans quelle mesure les modèles comprennent les enjeux de leurs actions.

Bien qu’il existe de nombreuses recherches sur l’alignement, qui est le domaine plus large de la sécurité IA s’assurant que les agents font ce que les humains souhaitent vraiment, la recherche d’Apple ajoute une nouvelle dimension. Elle remet en question l’aptitude des agents IA à anticiper les résultats de leurs actions et ce qu’ils font avec cette information avant d’agir.

Accessoires Apple sur Amazon

### Qu’est-ce que l’étude sur les agents IA d’Apple a révélé ?

L’étude examine comment les agents IA comprennent les conséquences de leurs actions sur l’interface utilisateur mobile, en se concentrant sur leur capacité à anticiper les résultats avant d’agir.

### Comment les interactions risquées sont-elles classées dans l’étude ?

Les interactions sont évaluées en fonction de l’intention de l’utilisateur, de l’impact sur l’interface, de l’impact sur la vie privée de l’utilisateur, de la réversibilité des actions et de leur fréquence.

### Quel a été le résultat des tests effectués sur les modèles de langage ?

Les tests ont montré que Google Gemini était plus précis dans des scénarios où il n’avait pas été spécifiquement entraîné, tandis que GPT-4 a obtenu les meilleurs résultats en raison de ses techniques de raisonnement.

### Pourquoi est-il important que les agents IA anticipent les conséquences de leurs actions ?

Cela garantit que les agents ne prennent pas de décisions potentiellement risquées sans confirmation, améliorant ainsi la sécurité et la confiance des utilisateurs dans les technologies d’IA.