Le projet européen ARtwin imagine le futur de l’industrie et de la construction à travers la Réalité Augmentée (RA) à large échelle. Cartographie 3D, calculs déportés dans le cloud, plateforme open source : à un an de la fin des travaux, nous avons fait le point avec Jérôme Royan, Principal Architect chez b<>com et Responsable technique du projet.
Bonjour Jérôme, quelle vision de la réalité augmentée est portée par ARtwin ?
ARtwin est un projet européen de 3 ans qui associe 7 partenaires que sont Artefacto, b<>com, la Czech Technical University in Prague, Holo-light, Nokia, Q-Plan et Siemens. Nous voulons rendre possibles et praticables les applications de réalité augmentée dans des environnements complexes. Pour cela nous pensons incontournable de disposer de terminaux les plus légers possibles, d’en réduire la consommation énergétique et donc la puissance de calcul embarquée. Nous pensons que cette puissance de calcul doit être et peut être déportée dans le réseau (cloud) et même en bordure de réseau (edge) pour réaliser les différents traitements complexes nécessaires comme le calcul spatial ou le rendu 3D. Aussi, nous estimons qu’il est essentiel d’offrir des services de réalité augmentée partagés et sans couture à l’échelle d’une usine ou d’un chantier de construction en partageant une cartographie 3D de l’environnement réel entre les différents terminaux. A cette fin, le projet développe une plateforme dite « AR Cloud » qui s’appuie sur une connectivité 5G privée développée communément par Nokia et b<>com. Elle offre une très faible latence et un haut débit nécessaires pour la communication entre les dispositifs de Réalité Augmentée et ces services déportés.
Plus concrètement, un système de Réalité Augmentée permet d’afficher de l’information contextuelle calée sur l’environnement réel. Pour que cette information paraisse fixe par rapport au monde réel, il faut estimer précisément la position et l’orientation du dispositif de Réalité Augmentée dans l’espace, précision que les GPS ne sont aujourd’hui pas en mesure d’apporter. Aussi, les systèmes de RA construisent une cartographie numérique 3D de l’espace créée à partir des observations captées par les caméras tout en se servant de cette cartographie pour se localiser dans l’espace. On appelle cela le SLAM (Simultaneous Localization And Mapping).
En premier lieu, l’idée de cette plateforme AR Cloud est de distribuer en bordure de réseaux, sous la forme de micro-services, les calculs de localisation, de création et de mise à jour des cartographies 3D qui constituent le SLAM, permettant ainsi d’offrir des services de réalité augmentée à tout type de dispositif, ceux ayant peu de ressources embarquées ou encore des lunettes de réalité augmentée au facteur de forme simplifié.
En second lieu, cette plateforme AR Cloud permet de partager une cartographie 3D commune d’un même lieu réel avec l’ensemble des dispositifs de RA afin que chacun puisse en bénéficier pour se localiser, mais puisse également la mettre à jour en temps réel à partir de ses observations afin qu’elle reste valide quelque soit l’évolution de l’environnement réel. Chez b<>com, nous travaillons particulièrement sur la mise en œuvre de la plateforme AR Cloud et sur les services de calcul spatial, les services de rendu 3D déporté étant développés par holo-light.
La plateforme AR Cloud et les services qui y sont déployés sont développés avec le framework SolAR. Nos développements sont principalement open-source, d'une part pour initier une communauté européenne sur cette thématique AR Cloud, et d'autre part pour faciliter la vérification de leur conformité avec les réglementations en vigueur sur la protection des données confidentielles et de la vie privée des utilisateurs. En effet, on se retrouve aujourd’hui avec des dispositifs de RA qui filment en continu et capables d’analyser en permanence l’environnement des utilisateurs, leurs pratiques, leurs activités. Aussi, le déploiement de ces services et le stockage des données sur une infrastructure cloud privée ou souveraine plutôt que sur des infrastructures soumises à des lois étrangères contrôlant l’accès aux données (ex : Cloud Act) devient un réel enjeu visant à accroitre l’indépendance numérique de l’Europe. Cette indépendance numérique est d’autant plus essentielle lorsqu’elle concerne des domaines sensibles tels que la défense, la santé et l’industrie.
Enfin, nous contribuons activement en standardisation au sein de l’ETSI et du 3GPP afin de nous assurer que ces derniers prennent bien en compte ces calculs déportés liés à l’AR Cloud.
Quatre innovations développées dans le cadre du projet ARtwin, liées à la cartographie numérique de l’espace, ont d’ailleurs été retenues par « l’Innovation Radar » de la Commission Européenne.
Quelles sont les applications d’ores et déjà développées ?
ARtwin a pour objectif de fournir à l'écosystème européen de l'industrie et de la construction 4.0 une plateforme AR Cloud souveraine qui répond à leurs besoins croissants d'augmentation de la productivité, d'amélioration de la qualité des produits ainsi que de réduction des délais et des coûts. À cette fin, le concept développé dans ARtwin repose sur un système capable de maintenir en permanence un jumeau numérique aussi proche que possible du réel, tout en offrant des services de réalité augmentée sans couture à l’échelle de l’usine ou du site de construction.
Actuellement, deux expérimentations, dans un contexte industriel, sont menées depuis mars dans le laboratoire de Siemens à Munich. La première vise à fournir, grâce à la RA, une assistance à la maintenance auprès des opérateurs au sein de l’usine. La seconde expérimentation permet quant à elle de planifier l’évolution d’une chaine d’assemblage en simulant et en évaluant différentes configurations en réalité augmentée.
En parallèle, une expérimentation menée par Artefacto est prévue pour juin sur un chantier de construction Eiffage. Elle permettra d’afficher en Réalité Augmentée la maquette numérique du bâtiment lors de la construction pour détecter les défauts éventuels lors des travaux.
Quel est le bénéfice majeur de la technologie AR Cloud pour les industriels ?
Aujourd’hui, une adoption massive des technologies de Réalité Augmentée n’est envisageable qu’à la condition où les systèmes puissent fonctionner n’importe où (et qu’ils ne soient pas limités à un environnement restreint), n’importe quand et sur n’importe quel type de terminal, à la manière d’un smartphone. Pour que les dispositifs de RA fonctionnent n’importe où, ils doivent disposer de cette cartographie 3D potentiellement à l’échelle « mondiale », en intérieur et en extérieur, de jour comme de nuit, etc. Aujourd’hui, les dispositifs de RA ne sont pas capables d’héberger la cartographie à l’échelle d’une usine ou d’un site de construction. Aussi, la seule solution pour une adoption massive de la Réalité Augmentée est le déport de cette cartographie 3D en bordure de réseaux et sur le cloud. Finalement, sans plateforme AR Cloud, exploitant des cartographies 3D unifiées et interopérables, je ne vois pas comment une adoption massive de la RA sera possible.
Quels sont les autres services de RA pour l’industrie développés au sein b<>com ?
En complément de ces développements open-source permettant le déploiement d’une plateforme AR Cloud, nous développons au sein de b<>com des ingrédients technologiques à forte valeur ajoutée permettant d’étendre les services de localisation et de reconstruction 3D. Par exemple, nous menons des activités de recherche sur la génération de cartographies 3D sémantiques permettant non seulement d’améliorer leur précision et celle de la localisation, mais aussi d’envisager leur exploitation à des fins de contrôle de qualité et de conformité automatisé. De même, nous travaillons sur l’analyse en temps réel de l’activité des utilisateurs équipés de terminaux de réalité augmentée en s’appuyant sur des approches d’apprentissages automatiques exploitant les images acquises par les caméras embarquées. Cette analyse de l’activité de l’utilisateur permettra par exemple l’affichage en réalité augmentée de la bonne information au bon moment par rapport au besoin de l’opérateur, le contrôle du respect des procédures d’assemblage ou de maintenance, ou encore la capture des connaissances d’un opérateur expert permettant de créer à faible coût des contenus de formation en réalité augmentée pour des opérateurs plus novices.
