Eartoy
Promouvoir les applications interactives accordant la primauté à la modalité sensorielle auditive, peu sollicitée jusqu’à présent dans les applications de réalité virtuelle. Dans le projet EarToy, nous proposons d’étudier de nouveaux paradigmes d’interface basés sur l’audition et d’en évaluer la pertinence dans différents scénarii applicatifs (jeux sonores et musicaux, accès interactif à la musique, …). Le consortium regroupe des acteurs du domaine des technologies logicielles appliquées au domaine sonore et plus spécifiquement musical (IRCAM, SONY CSL) et un acteur dans le domaine des neurosciences spécialiste de la réalité virtuelle, de l’intégration multisensorielle et de la cognition spatiale (CNRS UMR 7593).
Porteur
IRCAM Olivier Warusfel – Mail : warusfel@ircam.fr - Tel. :+33 (0)1 44 78 48 85Partenaires
Partenaires
- Grandes Entreprises : Sony – CSL Computer Science Laboratory
- PME : IRCAM – Institut de Recherche et de Coordination Acoustique/Musique
- Établissements publics : CNRS – UMR 7593
Domaine
Image Son Interactivité, Services &Usages
AAP
ANR
Objectif Général
L’objectif principal d'EarToy est d’étudier l’interaction audition/corps/espace dans les dispositifs de reproduction sonore dits immersifs et de développer de nouveaux paradigmes d’interaction avec un contenu sonore. La conception d’environnements interactifs excluant la modalité visuelle ou réservant celle-ci à des tâches annexes soulève des questions scientifiques stimulantes et présente un large potentiel d’applications innovantes dans des domaines aussi divers que le jeu, les installations artistiques et la musique.
Objectif Sectoriel
Le projet EarToy s’inscrit prioritairement dans les secteurs du Son et de la Musique, de la réalité virtuelle et augmentée, du jeu et des Interfaces homme-machine. Bien que les idées développées ne se restreignent pas à un domaine applicatif particulier, les concepts seront illustrés en priorité dans le domaine musical autour des applications de mixage mobile et de jeu musical interactif.
Contenus Technologiques
Le projet EarToy consiste à exploiter les technologies de restitution audio3D et de capture du mouvement existantes, dans leurs développements les plus récents, et à explorer le potentiel de la modalité d’interaction audition/corps/espace à travers des scénarios d’usage ludiques s’appliquant, en particulier, au domaine du jeu musical.
L’exploration de différentes modalités d’interaction nécessitera la création de d’algorithmes spécifiques de traitement de la posture et le développement de modules de traitement et d’encodage des signaux issus de la capture spatiale. Par ailleurs, l’interaction avec un contenu sonore suppose de disposer d’outils innovants sur l’exploitation de contenus sonores. Cette exploitation recouvre les notions d’extraction automatique d’informations (meta-données), d’exploration de bases de données d’échantillons ou de corpus musicaux de grande taille, et de principes d’agencement et d’articulation automatique entre ces éléments.
Philosophie / Démarche
Le projet EarToy est de nature exploratoire car son objet de recherche est consacré à l’étude d’une modalité d’interaction se démarquant des usages courants en ce qu’elle s’adresse exclusivement à l’audition. Il s’agit par conséquent simultanément d’inventer et de développer des paradigmes d’interaction permettant de la rendre opérante, de valider sa pertinence et d’explorer ses applications potentielles.
Enjeux
De nouvelles pratiques de création, telles que le jeu ou les installations sonores interactives suggèrent le développement de modalités innovantes sur le plan de l’interaction avec le contenu. Le projet EarToy propose d’explorer la modalité d’interaction audition/corps/espace, basée sur l’utilisation conjointe des techniques de capture du mouvement et des procédés de synthèse et de spatialisation sonore.
Interaction audition/corps/espace
Dans les mondes virtuels, les tâches de navigation sont généralement confiées à la vision associée à des dispositifs gestuels auxquels sont délégués les contrôles de déplacement et de sélection. Dans EarToy, l’utilisateur est placé dans une situation de navigation par l’audition et par l’action. Il n’a à manipuler aucun périphérique de contrôle, souris, joystick ou autre. Les avantages attendus d’une telle interaction auditive et idiothétique (terme regroupant les sensations proprioceptives et vestibulaires) sont de reposer sur des modalités sensorielles éminemment tridimensionnelles et, par conséquent, de promouvoir la sensation d’immersion et de présence. Ces modalités deviennent les candidates pour une IHM intuitive et émotionnelle.
Avatar Sonore
Il est proposé de travailler sur le concept d’avatar sonore, manifestation auditive de la présence de l'utilisateur dans le monde virtuel. L’analogie de ce concept peut être trouvée dans la représentation visuelle du curseur d’une souris sur un écran, qui permet à l’utilisateur de calibrer son mouvement en fonction de la localisation du curseur sur l’écran. Dans EarToy, le curseur est l’avatar sonore et l’écran le monde auditif. La transposition sonore de la notion d’avatar nécessite la prise en compte de la nature particulière du son, notamment ses rapports au temps et à l’espace, pour concevoir les caractéristiques de sa manifestation sonore en fonction du type de tâche effectuée et du contexte dans lequel elle s’incruste.
Nouveaux Produits/Services à Court/Moyen Terme
Les concepts et techniques développés seront évalués dans le cadre de deux applications pilotes: le mixage mobile et l’accès interactif à la musique. Le mixage mobile se réfère aux situations dans lesquelles l’ingénieur du son n’est plus en mesure d’effectuer son travail de manière statique, en face d’une console de mixage mais doit évoluer dans la zone de restitution au travers de la scène virtuelle en cours de création. Cette situation exige le développement de nouvelles interfaces de contrôle. Le projet EarToy propose d’explorer les possibilités de mixage et d’interaction avec le contenu sonore via la relation audition/action. Par ailleurs, l’émergence des technologies de codage par le contenu et l’association de meta-données aux flux musicaux enregistrés ou transmis permet d’envisager de nouveaux usages du « faire de la musique » tels que la navigation dans un catalogue musical ou l’écoute interactive. La deuxième application d’EarToy est un jeu musical interactif, permettant au joueur de produire de la musique tout en navigant dans une base de morceaux musicaux dont il sélectionne et recombine certains extraits préférés.
Principes Structurants
Nous entendons procéder par invention de différentes « mises en situation » élémentaires ayant pour but de révéler simultanément les propriétés de l’interaction auditive et idiothétique sur le plan scientifique et les principaux composants logiciels nécessaires à leur mise en œuvre. Le travail expérimental en neurosciences constituera l’un des axes majeurs du projet proposé puisqu’il doit nourrir le travail de recherche et de développement technologique et évaluer les facultés d’appropriation de la modalité audition/corps/espace virtuel par les sujets.
L’exploration de la modalité d’interaction auditive / idiothétique dans le cadre de la réalité sonore augmentée repose sur la mise en place d’une architecture matérielle et logicielle. Sur le plan technologique, le projet EarToy s’appuiera avant tout sur des systèmes de reproduction sonores et de capture maîtrisés et mis à disposition par les membres partenaires du consortium de sorte à minimiser les temps de développement bas niveau au profit de l’exploration scientifique de la modalité d’interaction auditive et idiothétique et du développement d’outils d’écriture de l’interaction.
Description / Étapes
Le contenu de recherche et développement du projet EarToy est divisé en 4 sous-projets principaux étalés sur 36 mois:
Sous-Projet n°2 – Interactions élémentaires – Cognition Spatiale
Ce sous-projet consiste en la réalisation d’expériences explorant les principes d’association audition/corps/espace en vue d’établir le potentiel d’exploitation pour les applications envisagées. L’un des enjeux est de développer le concept d’avatar sonore, et de mener différentes expériences sur la sonification du corps. La démarche reposera sur un ensemble de tests perceptifs sur l’intégration d’un avatar sonore à un espace sonore
Sous-Projet n°3- Algorithmes de traitement de la captation spatiale et posturale
L’objectif principal de ce sous-projet est de développer des outils d’analyse du mouvement et de mapping geste-son. Ces outils logiciels, adaptés aux différents dispositifs de captation, fourniront les données nécessaires aux diverses expériences, applications et démonstrateurs.
Sous-Projet n°4- Module technique pour l’interaction et la synthèse sonore
Deux objectif principaux sont visés dans ce sous-projet : la définition d’une architecture globale permettant le lien du monde avec les autres composants de l’interaction et le développement d’un système informatique pour la construction du monde et des interactions. Concernant l’architecture globale, l’enjeu principal est la cohabitation des systèmes temps réel (captation, synthèse sonore, spatialisation) et temps différé (évolution de l’environnement sonore, contrôle de la synthèse etc.).
Sous-Projet n°5- Développement des démonstrateurs et scénarii applicatifs
Ce sous projet concerne la mise en place des démonstrateurs. La cible est l’accès à la musique et sera une scénarisation de jeu musical au moyen du nouveau type d’interface définie dans le projet.
Résultats / Livrables
Les résultats attendus sont principalement de deux ordres : scientifique et logiciel.
Sur le plan scientifique, le programme d’expériences menées sur les interactions auditives et idiothétique apportera des connaissances dans le domaine des neurosciences comportementales.
Les deux développements logiciels majeurs du projet sont, d’une part, une librairie de fonctions de traitement des signaux de captation spatiale et posturale et leur analyse pour extraire des données symboliques, et d’autre part les différents modules de gestion de l’interaction.
Enfin les scenarii applicatifs permettront d’évaluer le potentiel du principe d’interaction auditif/idiothétique pour toutes les applications de la réalité virtuelle, qu’elles relèvent du domaine artistique, du jeu, du jeu sérieux ou de la réhabilitation dans les domaines de la santé.
Impact et Retombées
Les expériences élémentaires effectuées dans le Sous-Projet #2 ainsi que l’évaluation des prototypes réalisés dans le Sous-Projet #5 permettront de préfigurer de nouveaux usages et de nouveaux champs applicatifs de la réalité virtuelle dans lesquels la composante auditive jouerait un rôle majeur.
Les démonstrations publiques des prototypes développés au cours du projet constitueront également un important vecteur de communication, tant auprès des communautés audio et multimédia que du grand public et devraient permettre une valorisation dans d’autres contextes applicatifs.
Le démonstrateur lié à la scénarisation de l’accès à un catalogue musical peut déboucher sur une valorisation industrielle.
Retour