Dans une avancée majeure, Apple a publié une étude captivante sur les modèles de voix et de discours, abordant non seulement la reconnaissance des mots, mais aussi la manière dont ils sont prononcés. Avec des implications accessibles monumentales, cette recherche redéfinit notre compréhension de la communication humaine en utilisant les Dimensions de Qualité de Voix (VQD).

Le dernier modèle d’IA d’Apple : Écoute des dimensions de la parole

Dans un cadre passionnant dédié à l’analyse de la parole, Apple vient de publier une étude qui aborde une problématique complexe en apprentissage automatique : non seulement comprendre ce qui est dit, mais aussi analyser comment cela est exprimé. Les implications en matière d’accessibilité sont considérables.

Analyse de la parole avec les dimensions de qualité vocale

Dans cette recherche, les scientifiques d’Apple introduisent un cadre d’analyse de la voix basé sur ce qu’ils appellent les Dimensions de Qualité Vocale (VQD). Il s’agit de traits interprétables tels que l’intelligibilité, la dureté, la respiration, la monotonie de la hauteur tonale, et d’autres éléments similaires.

Ces mêmes attributs sont ceux auxquels les orthophonistes prêtent attention lorsqu’ils évaluent des voix touchées par des conditions neurologiques ou des maladies. Ainsi, Apple travaille sur des modèles capables de détecter ces traits.

Enseigner à l’IA à écouter

La plupart des modèles de parole actuels sont principalement entraînés sur des voix saines et typiques. Cela signifie qu’ils peuvent échouer ou sous-performer lorsque leurs utilisateurs s’expriment de manière différente. Cette lacune d’accessibilité est donc importante à combler.

Les chercheurs d’Apple ont formé des sondes légères (des modèles diagnostiques simples fonctionnant avec des systèmes de parole existants) sur un large ensemble de données publiques d’échantillons de discours atypiques, notamment des voix de personnes atteintes de Parkinson, de SLA (sclérose latérale amyotrophique) et de paralysie cérébrale.

Cependant, au lieu d’utiliser ces modèles pour transcrire ce qui est dit, ils ont mesuré la sonorité de la voix, en s’appuyant sur sept dimensions fondamentales :

• Intelligibilité : la facilité de compréhension de la parole.
• Consonnes imprécises : la clarté d’articulation des sons consonantiques (e.g., consonnes traînées ou floues).
• Voix dure : une qualité vocale rugueuse, tendue ou granuleuse.
• Naturel : à quel point la parole paraît typique ou fluide pour un auditeur.
• Monoloudness : manque de variation dans le volume (c’est-à-dire, parler à un volume uniforme).
• Monopitch : absence de variation de la hauteur, entraînant un ton plat ou robotisé.
• Souffle : qualité vocale audible et aérée, souvent due à une fermeture incomplète des cordes vocales.

En résumé, ils ont appris aux machines à « écouter comme un clinicien », plutôt que de se limiter à comprendre ce qui était dit.

Une manière légèrement plus complexe d’expliquer cela est que Apple a utilisé cinq modèles (CLAP, HuBERT, HuBERT ASR, Raw-Net3, SpICE) pour extraire des caractéristiques audio, puis formé des sondes légères pour prédire les dimensions de qualité vocale à partir de ces caractéristiques.

Ces sondes ont finalement montré de solides performances dans la plupart des dimensions, bien que les résultats variaient légèrement en fonction du trait et de la tâche.

Une explicabilité précieuse

Un des aspects remarquables de cette recherche est que les résultats du modèle sont explicables. Cela reste rare en intelligence artificielle. Au lieu de fournir un mystérieux « score de confiance » ou un jugement de boîte noire, ce système peut identifier des traits vocaux spécifiques qui mènent à une certaine classification. Cela pourrait, à terme, conduire à des avancées significatives dans l’évaluation clinique et le diagnostic.

Au-delà de l’accessibilité

Fait intéressant, Apple n’a pas limité ses recherches au discours clinique. L’équipe a également testé ses modèles sur des discours émotionnels à partir d’un ensemble de données appelé RAVDESS. Malgré l’absence d’entraînement sur des audio émotionnels, les modèles VQD ont également fourni des prédictions intuitives.

Par exemple, il a été observé que les voix en colère avaient une « monoloudness » plus basse, que les voix calmes étaient jugées moins dures, et que les voix tristes apparaissaient plus monotones.

Cela pourrait ouvrir la voie à un Siri plus empathique, capable de moduler son ton et sa manière de parler en fonction de l’humeur ou de l’état d’esprit de l’utilisateur, plutôt qu’en se basant uniquement sur les mots prononcés.

Pour en savoir plus sur cette recherche fascinante et ses implications, vous pouvez consulter l’étude complète disponible sur arXiv.

Mon avis :

Apple a brillamment innové en développant des modèles capables d’analyser la qualité de la voix, notamment pour améliorer l’accessibilité des personnes ayant des troubles de la parole. Bien que l’initiative soit prometteuse, il reste des limitations concernant la variabilité des performances et la nécessité d’un large éventail de données d’entraînement pour des résultats optimaux.

Les questions fréquentes :

Qu’est-ce que les Dimensions de Qualité de Voix (VQD) ?

Les Dimensions de Qualité de Voix (VQD) sont des caractéristiques interprétables utilisées pour analyser la parole. Elles incluent des traits comme l’intelligibilité, la dureté, la respiration, et la monotonie de la tonalité, qui sont également considérés par les orthophonistes lorsqu’ils évaluent des voix affectées par des conditions neurologiques ou des maladies.

Comment Apple a-t-elle adressé le problème d’accessibilité dans les modèles de parole ?

Apple a formé des modèles simples appelés "probes légères" sur un grand ensemble de données publiques de discours atypique, comprenant des voix de personnes atteintes de maladies comme la maladie de Parkinson ou l’ALS. Cela permet aux machines d’écouter la voix de manière plus nuancée, en mesurant les dimensions de la voix plutôt qu’en transcrivant ce qui est dit.

Quel est l’impact de cette recherche sur l’évaluation clinique ?

Cette recherche permet une évaluation clinique plus précise en fournissant des résultats explicables au lieu de simples scores de confiance. Les sorties du modèle peuvent indiquer les traits vocaux spécifiques qui mènent à une classification, ce qui pourrait améliorer l’évaluation et le diagnostic dans les contextes cliniques.

Comment cette technologie pourrait-elle affecter des assistants vocaux comme Siri ?

Les modèles testés sur des discours émotionnels pourraient permettre à des assistants vocaux comme Siri de moduler leur ton et leur façon de parler en fonction de l’humeur ou de l’état d’esprit de l’utilisateur. Cela pourrait rendre les interactions plus naturelles et empathiques, au-delà des simples mots prononcés.