Quand l’audio sublime la réalité virtuelle

Pouvez-vous nous présenter la b<>com *Spatial Audio Toolbox* qui sera sur le stand b<>com à l’IBC ?

Le laboratoire « Nouveaux Formats Médias » explore les nouvelles modalités de l’image et du son pour permettre aux créateurs de contenus d’offrir des expériences toujours plus immersives et captivantes. Nous travaillons notamment depuis plusieurs années sur l’audio spatialisé pour la vidéo 360 et la Réalité Virtuelle (RV). L’audio est une dimension essentielle au sentiment d’immersion dans un environnement virtuel.

L’un des résultats les plus marquants de ces travaux est la b<>com *Spatial Audio Toolbox*, une suite de plugins qui permet de traiter toute la chaîne audio depuis l’enregistrement jusqu’au rendu sonore spatialisé sur casque ou haut-parleurs. Ces plugins exploitent le format HOA (Higher-Order Ambisonics), un format de représentation de scène sonore panoramique, particulièrement adapté à la RV.

Sur notre stand de l’IBC, nous faisons la démonstration que nos outils et le format HOA facilitent la création de contenus RV offrant une immersion sonore complète. Par ailleurs, nous montrons que ce type de contenu peut être diffusé de manière très efficace en termes de débit grâce au codec MPEG-H 3D audio. Deux contenus différents sont présentés sur le stand, l’un sur plateforme mobile et l’autre sur PC, encodés en MPEG-H (et décodés) avec les outils de Fraunhofer et Qualcomm, respectivement.

A qui s’adressent ces plug-ins ?

Nos outils s’adressent principalement aux ingénieurs du son qui travaillent à la production d’expériences VR et 360. Notre objectif est de créer des outils pour les différentes étapes de la production et du mixage : le traitement des signaux enregistrés à l’aide de microphones ambisoniques, le monitoring (en proposant notamment une visualisation de la scène sonore), des effets de transformation comme la rotation de la scène sonore, le rendu spatialisé sur casque et haut-parleurs...

Les deux grands principes qui ont guidé la conception de nos plugins sont la simplicité d’utilisation et une exigence sur la qualité du rendu sonore, en particulier en ce qui concerne le timbre. Pour cela, nous travaillons en étroite collaboration avec des professionnels de l’audio. Le but est bien d’assister les ingénieurs du son et non de bouleverser leurs habitudes de travail.

Quels sont les projets en cours et à venir ?

Au-delà de la 360°, l’idée est maintenant de proposer des expériences audiovisuelles au sein desquelles le spectateur peut évoluer librement. On peut par exemple imaginer vivre un spectacle musical avec la possibilité de se déplacer autour de la scène ou même au milieu des musiciens. Ce type d’expérience pose de nombreuses questions sur le plan de l’audio. Nous travaillons notamment sur la question du format de représentation sonore et sur des outils d’analyse de scène qui assisteraient la création de ce type de contenus.

Au-delà de l’univers musical, bien illustré avec le clip VR de Fanfarai * (présenté en exclusivité à l’IBC avec un nouveau mix audio), nous multiplions les collaborations autour des contenus. Les technologies doivent d’abord servir le travail des créateurs et améliorer l’expérience du spectateur. Nous travaillons notamment en partenariat avec François Klein et l’équipe de DV Group sur la narration en réalité virtuelle. L’objectif est d’aller plus loin dans l’implication émotionnelle du spectateur et de renforcer le sentiment d’immersion… une de nos réalisations communes, le court métrage « Vaudeville », sera d’ailleurs à découvrir sur notre stand.

Retrouvez les équipes b<>com à l’IBC dans la Future Zone de l’IBC Hall 8 - stand G14 !

*Le clip du groupe Fanfaraï est une coproduction Tour’n’Sol Prod et RFI Labo.