Découvrez comment le dernier modèle d’IA d’Apple détecte les erreurs de discours pour une communication parfaite !

Développement des Modèles d’IA par Apple

Dans le cadre de son travail impressionnant sur les modèles de parole et de voix, Apple a récemment publié une étude qui adopte une approche centrée sur l’humain pour un problème complexe d’apprentissage automatique. L’objectif n’est pas simplement de reconnaître ce qui a été dit, mais également de comprendre comment cela a été dit. Les implications pour l’accessibilité sont monumentales.

Analyse de la Qualité de la Voix

Dans cet article, les chercheurs présentent un cadre d’analyse de la parole en utilisant ce qu’ils appellent les Dimensions de Qualité de la Voix (VQD). Ces dimensions sont des traits interprétables tels que l’intelligibilité, l’âpreté, la respiration, la monotonie de la tonalité, et d’autres.

Ces attributs sont également ceux auxquels prêtent attention les pathologistes de la parole lorsqu’ils évaluent les voix affectées par des conditions neurologiques ou des maladies. Désormais, Apple développe des modèles capables de les détecter.

Former l’IA à Écouter

La plupart des modèles de parole actuels sont principalement entraînés sur des voix saines et typiques. Cela entraîne des difficultés et des défaillances lorsque les utilisateurs ont des voix atypiques, ouvrant ainsi un important fossé en matière d’accessibilité.

Les chercheurs d’Apple ont formé des sondes légères, qui sont des modèles de diagnostic simples s’appuyant sur des systèmes de parole existants, en utilisant un ensemble de données publiques de discours atypique annoté. Cet ensemble comprenait des voix de personnes atteintes de la maladie de Parkinson, de la SLA (Sclérose Latérale Amyotrophique), et de paralysie cérébrale.

Cependant, au lieu de transcrire ce qui est dit, ces modèles ont analysé la qualité de la voix en mesurant sept dimensions clés :

• Intelligibilité : la facilité avec laquelle la parole est comprise.
• Consonnes imprécises : clarté des sons consonantiques (par exemple, consonnes floues).
• Voix âpre : qualité vocale rugueuse ou tendue.
• Naturalité : fluidité de la parole pour l’auditeur.
• Monotonie de volume : manque de variation dans le volume.
• Monotonie de tonalité : absence de variation dans la tonalité, produisant un ton plat.
• Respiration : qualité vocale aérienne ou chuchotante, souvent due à une fermeture incomplète des cordes vocales.

En d’autres termes, ils ont appris aux machines à « écouter comme un clinicien », au lieu de simplement enregistrer ce qui était dit.

Modèles et Performances

Plus techniquement, Apple a utilisé cinq modèles (CLAP, HuBERT, HuBERT ASR, Raw-Net3, SpICE) pour extraire des caractéristiques audio, puis formé des sondes légères pour prédire les dimensions de qualité de la voix à partir de ces caractéristiques.

Les résultats montrent que ces sondes ont bien performé sur la plupart des dimensions, même si la performance variait légèrement en fonction des traits et des tâches.

Un aspect remarquable de cette recherche est que les résultats des modèles sont explicables, ce qui est encore rare dans le domaine de l’IA. Au lieu de fournir un score de confiance mystérieux ou un jugement opaque, ce système peut pointer vers des traits vocaux spécifiques qui mènent à une classification donnée. Cela pourrait, en retour, entraîner des progrès significatifs dans l’évaluation et le diagnostic cliniques.

Au-delà de l’Accessibilité

Fait intéressant, Apple n’a pas limité ses travaux à la parole clinique. L’équipe a également testé ses modèles sur la parole émotionnelle à partir d’un ensemble de données appelé RAVDESS. Malgré le fait qu’ils n’aient jamais été entraînés sur des audio émotionnels, les modèles VQD ont produit des prédictions intuitives.

Par exemple, les voix en colère avaient une « monotonie de volume » plus faible, les voix calmes étaient perçues comme moins âpres, et les voix tristes apparaissaient plus monotones.

Cela pourrait ouvrir la voie à un Siri plus relationnel, capable de moduler son ton et son discours en fonction de l’humeur ou de l’état d’esprit de l’utilisateur, et non uniquement en fonction de leurs mots.

Pour plus d’informations, consultez l’étude complète sur arXiv.

Quels sont les objectifs de l’étude d’Apple sur la qualité de la voix ?

Apple a publié une étude qui aborde la reconnaissance vocale en se concentrant non seulement sur ce qui est dit, mais aussi sur la manière dont cela est dit. Les implications pour l’accessibilité sont considérables.

Quelles dimensions de qualité de la voix (VQDs) ont été étudiées ?

Les dimensions incluent l’intelligibilité, la dureté, la respiration, la monotonie de la hauteur, et d’autres traits interprétables. Ces attributs sont également utilisés par les orthophonistes pour évaluer les voix affectées par des conditions neurologiques.

Comment Apple a-t-elle formé ses modèles d’IA ?

Les chercheurs ont entraîné des modèles légers sur un large ensemble de données publiques de discours atypique, incluant des voix de personnes atteintes de la maladie de Parkinson, de la SLA, et de paralysie cérébrale, mesurant comment la voix sonne selon sept dimensions clés.

Quelles sont les implications potentielles de cette recherche ?

Les résultats de cette recherche pourraient améliorer l’évaluation clinique et le diagnostic, en permettant aux modèles d’IA de fournir des classifications basées sur des traits vocaux spécifiques plutôt que sur des scores de confiance mystérieux.