Présentation de la réalité étendue : RA, RV et RM

Histoire et évolution de la réalité étendue

Tout au long de l’histoire, les êtres humains ont cherché à représenter visuellement leur imaginaire, leur créativité et leur désir d’aller au-delà du monde physique. L’objectif ? Représenter des scènes, des moments et des expériences pour permettre aux autres de les vivre avec tous leurs sens. Donner aux autres la possibilité de réaliser des rêves, des objectifs et des visions – ou même de vivre dans des mondes imaginaires.

La technologie nous donne accès à des expériences réelles et concrètes d’immersion sensorielle totale. Cela est rendu possible par la virtualisation et l’augmentation de nos réalités ou par la combinaison de ces deux concepts dans un environnement mixte. Dans ce chapitre, nous allons nous pencher sur la réalité étendue (XR, acronyme anglais d'extended reality), qui recouvre la réalité virtuelle (RV), la réalité augmentée (RA) et la réalité mixte (RM). Avant de présenter leurs définitions respectives, commençons par un peu d’histoire.

De la salle des Taureaux au Sensorama, en passant par le Stéréoscope

De nombreux exemples historiques témoignent de notre désir de représentation et d’expérience visuelle. Commençons notre voyage à l’époque préhistorique, il y a environ 15 000 ans, à Lascaux, en France. Des humains y ont réalisé environ 600 peintures de grands animaux sur les murs de ce que l’on a baptisé la salle des Taureaux. C’est l’un des plus anciens vestiges de la capacité des humains à projeter la réalité d’un moment précis au-delà de l’expérience individuelle pour permettre à d’autres personnes de vivre cette réalité en s’immergeant dans ces images.

Tout au long de l’histoire, on trouve de nombreux autres exemples. L’invention du stéréoscope par Charles Wheatstone, en 1838, représente un tournant dans l’utilisation de la technologie en vue de créer un appareil spécifiquement conçu pour plonger ses utilisateurs dans une expérience virtuelle. Grâce au stéréoscope, les utilisateurs voient deux images distinctes par œil. Ils ont ainsi le sentiment de voir une image unique en 3D. Cette expérience de réalité virtuelle portable et personnalisée constitue à l’époque une avancée majeure. Certains d’entre nous se souviendront peut-être d’un jouet de leur enfance, le View-Master. Ce n’est rien de moins qu’une version modifiée du stéréoscope.

Dans cette veine, on citera également le Sensorama. Cet appareil est l’une des premières machines à avoir employé une technologie d’immersion multisensorielle. Créé en 1962 par Morton Heilig, le Sensorama projette des images dans un format stéréoscopique 3D et y associe du son en stéréo, un siège mobile inclinable, des effets de vents et un diffuseur de parfum. C’est le premier système de RV.

Au début des années 1990, le système CAVE (acronyme anglais de Cave Automatic Virtual Environment, « environnement virtuel automatique de la cave ») est créé à l’université de l’Illinois. Dans cet environnement immersif, plusieurs projecteurs sont orientés vers les murs d’une pièce. Les utilisateurs portent des lunettes 3D qui les immergent dans une expérience de réalité virtuelle. Cette avancée dans le domaine des environnements simulés est encore utilisée de nos jours, notamment par des ingénieurs produits, dans des simulateurs de vol ou dans le secteur de la planification des constructions.

Aujourd’hui, les progrès de la RA, de la RV et de la RM s’orientent vers des dispositifs plus mobiles, plus réalistes, plus personnalisés et moins coûteux visant à démocratiser la réalité virtuelle dans l’industrie et pour les particuliers. À l’avenir, ces outils et ces technologies seront aussi répandus que le sont aujourd’hui les ordinateurs personnels et les autres appareils connectés. Il sera bientôt difficile d’imaginer le monde d’avant, celui où la réalité virtuelle n’existait pas encore.

Définitions de RA, RV et RM

La réalité augmentée

D’après la Société suisse de la réalité virtuelle et augmentée (ou SSVAR, acronyme anglais de Swiss Society of Virtual and Augmented Reality), « la réalité augmentée (RA) superpose des contenus créés numériquement “par-dessus” l’environnement réel de l’utilisateur. Les expériences de RA peuvent aller de l’apposition de textes informatifs sur des objets ou des lieux, aux objets virtuels photoréalistes interactifs. La RA diffère de la réalité mixte en ce que les objets de RA (p. ex. des graphiques, des sons) ne sont pas intégrés, mais superposés dans l’environnement de l’utilisateur ».

Pour mieux comprendre le concept de réalité augmentée, prenons l’exemple de Pokémon GO. Ce jeu nous incite à capturer des créatures « numériques » (n’appartenant pas à notre monde physique). Elles sont ajoutées sous la forme de couches (des hologrammes) par-dessus le monde réel. On peut également prendre l’exemple des films Iron Man où le monde analogique est enrichi d’interfaces numériques.

La réalité virtuelle

« La réalité virtuelle (RV) est un environnement utilisateur entièrement immersif qui modifie ou altère les données sensorielles (p. ex. la vue, le son, le touché et l’odeur). Cet environnement permet aux utilisateurs d’interagir avec ces données sensorielles en fonction de leurs échanges avec le monde virtuel. L’interaction est généralement rendue possible par l’intermédiaire d’un dispositif porté sur la tête, l’utilisation de la spatialisation sonore ou d’autres sons et de contrôleurs de mouvement (avec ou sans données et retours tactiles) » (SSVAR, 2021).

Pour mieux comprendre de qu’est la réalité virtuelle, pensez au film Matrix. Ce sont des situations où nous abandonnons le monde (physique) analogique et sommes transportés dans des mondes numériques virtuels.

Quelle est la relation entre la réalité virtuelle et la réalité augmentée ? Et entre les mondes réel et numérique ? Comment nous pouvons le voir, la réalité virtuelle repose entièrement sur un environnement généré par ordinateur. La RA se trouve à mi-chemin entre un monde numérique généré par ordinateur et le monde réel.

La réalité mixte

« La réalité mixte (RM) combine harmonieusement l’environnement réel des utilisateurs et des contenus créés numériquement. Les deux environnements coexistent pour donner des expériences hybrides. Dans la RM, les objets virtuels se comportent exactement comme s’ils étaient présents dans le monde réel : ils sont cachés par des objets réels, leur couleur varie en fonction des sources de lumière réelles de l’environnement, leur son correspond à l’espace où se situent les utilisateurs... Lorsque les utilisateurs interagissent avec les objets réels et virtuels, ces derniers reflètent les changements de l’environnement exactement comme le feraient des objets réels dans ce même espace » (SSVAR, 2021).

La confusion entre RM et RA est fréquente, puisque ces deux concepts évoquent une combinaison entre les mondes réel et numérique. La différence clé réside dans le fait qu’il est possible d’interagir avec les dispositifs numériques dans les environnements de RM. Ils ne sont pas seulement superposés à la réalité. Ils deviennent une partie intégrante d’un monde où il est possible d’interagir avec eux. Dans la RM, les mondes physique et numérique sont connectés et représentés sous la forme d’une réalité unique.

La meilleure façon de comprendre toutes ces technologies dans un contexte adapté est peut-être d’employer le « continuum de la virtualité » (page en anglais), un terme inventé par Paul Milgram, Haruo Takemura, Akira Utsumi et Fumio Kishino, en 1994. Le continuum de la réalité est en substance une échelle dont les deux extrémités sont le monde réel et la réalité physique, d’une part, et la réalité virtuelle totale, d’autre part.

L’image suivante illustre également les différences entre RV, RA et RM en représentant des situations types spécifiques.

De gauche à droite : la RV, la RA et la RM

Il est important de garder à l’esprit que les notions de RV, de RA et de RM s’inscrivent dans le cadre plus large de la réalité étendue (XR). La réalité étendue est un terme général qui recouvre trois domaines spécifiques : la RA, la RV et la RM.

Le champ de vision

Le concept de champ de vision est essentiel dans le domaine de la réalité étendue, aussi bien en RV qu’en RA ou RM. Le champ de vision est ce qui définit notre expérience de la réalité étendue. Ce que l’on voit a une influence très importante sur ce que l’on ressent et sur la façon dont on intériorise l’expérience. C’est le champ de vision qui détermine cela. Le champ de vision est en quelque sorte la « quantité » de monde observable que l’on voit à un moment donné. Il se mesure en degré. Ce n’est pas qu’une question de quantité (la valeur de l’angle), mais également de qualité. Il caractérise tous les équipements de la réalité étendue, aussi bien les casques de RV que les lunettes de RM et RA. Il est donc important de connaître et de contrôler ce que proposent les différents types d’équipement de réalité étendu dans chaque domaine spécifique.

Le degré de liberté (DDL)

Il existe deux niveaux de degrés de liberté (DDL ou DoF, acronyme anglais de degrees of freedom). Ils définissent la qualité et le niveau d’immersion des expériences de RV et de RA. On parle de niveau 3 (3 DDL) et de niveau 6 (6 DDL)

Ces niveaux de libertés correspondent aux casques de RV ou plus spécifiquement à l’ensemble du système d’immersion. Lorsque l’on utilise un casque de RV ou de RA, il convient de s’intéresser à son DDL. En effet, cette valeur a un effet très important sur la qualité de l’immersion.

3 degrés de liberté (3 DLL)

Le niveau 3 reconnaît trois mouvements. Ces systèmes identifient les mouvements de rotation autour des axes x, y et z (également nommés tangage, lacet et roulis), mais pas les mouvements de translation. Seuls les mouvements de tête autour de ces trois axes sont détectés et pas les déplacements physiques des utilisateurs. Cela signifie que la marche, les sauts ou encore les déplacements latéraux des utilisateurs ne sont pas représentés dans le monde virtuel.

Exemple de casque doté de 3 DDL : Oculus GO

6 degrés de liberté (6 DDL)

Le niveau 6 reconnaît six mouvements – le système identifie non seulement les mouvements de rotation, mais également les translations d’un corps dans un espace en 3D. Une expérience virtuelle avec 6 DDL implique que les utilisateurs peuvent exécuter des mouvements de « rotation » :

• En se déplaçant entre X et Y – tangage

• En se déplaçant entre X et Z – lacet

• En se déplaçant entre Z et Y – roulis

ainsi que des mouvements de « translation » :

• En se déplaçant vers le haut et le bas, le long de l’axe Y – pilonnement

• En se déplaçant vers l’avant et l’arrière, le long de l’axe X – cavalement

• En se déplaçant vers la gauche et la droite, le long de l’axe Z – embardée

Cela signifie que non seulement les mouvements de tête, mais aussi la marche, les sauts ou encore les déplacements latéraux des utilisateurs sont reproduits dans le monde virtuel.

Exemple de casque doté de 6 DDL : Microsoft HoloLens 2

Comment la RV et la RA fonctionnent-elles ?

Comment utiliser la RV, la RA et la RM ? De quoi a-t-on besoin pour être transportés du monde physique aux mondes virtuels ? Comment superposer des objets numériques « par-dessus » le monde réel ? Comment interagir avec ces objets et les manipuler ? Autrement dit, de quels équipements et logiciels a-t-on besoin ?

La réponse dépend bien entendu de la « profondeur » et du réalisme de l’expérience. Par exemple, vous pourriez certainement créer une expérience de RV ou de RA à partir de votre mobile multifonction (pour autant qu’il soit doté de quelques capteurs de base comme un accéléromètre et un gyroscope pour la RV). Le Google Cardboard vous permet par exemple de générer une immersion en RV grâce à une application spéciale ou un dispositif de RV Web développé pour le format et l’environnement d’un site Web.

Votre mobile est un appareil puissant capable de modifier le monde physique qui vous entoure pour créer une expérience. Toutefois, il faut bien faire la différence entre la qualité des expériences sur mobile et celle des systèmes conçus et construits spécifiquement pour la RV et la RA, comme les visiocasques. Voilà, par exemple, deux images qui illustrent l’immersion en RV et en RA sur mobile.

Les équipements matériels et logiciels

Les réalités virtuelle, augmentée et mixte reposent sur l’association d’éléments matériels et logiciels. Les niveaux d’immersion, d’expérience, de sensation et de réalisme dépendent de cette combinaison. L’expérience sur mobile est moins immersive. À l’opposé, certains appareils spécifiques offrent un très haut niveau d’immersion et de sensation. Ils sont généralement employés dans le domaine commercial ou les jeux vidéo.

Les appareils de RA, de RV et de RM

Côté matériel, les expériences virtuelles s’appuient sur un certain nombre d’appareils et d’objets. Leur utilisation et leur manipulation varient selon la mise en œuvre et l’usage. L’usage personnel (visiter des lieux grâce à des vidéos à 360 degrés, par exemple) est ainsi associé à un certain niveau de complexité. Cette complexité s’accroît si l’on s’intéresse aux jeux vidéo en environnement virtuel. Et la création d’un environnement de formation commerciale requiert un niveau de complexité encore tout autre.

Les visiocasques

D’après Wikipédia, « un visiocasque est un dispositif d’affichage, porté sur la tête ou dans un casque, qui a un petit écran d’affichage en face d’un œil (visiocasque monoculaire) ou de chaque œil (visiocasque binoculaire). Les visiocasques sont utilisés dans de nombreux domaines, notamment les jeux vidéo, l’aviation, l’ingénierie et la médecine. Un casque de réalité virtuelle est un visiocasque équipé d’un dispositif de mesure inertielle. Les visiocasques optiques sont des dispositifs d’affichage portables qui reflètent des images projetées et permettent à un utilisateur de voir par transparence ».

On distingue deux types de visiocasques en fonction de leur ergonomie :

• Les visiocasques mobiles ne sont connectés à aucun autre appareil

• • C’est le cas des casques Go et Quest d’Oculus ou du Daydream de Google

• Les visiocasques filaires sont connectés à un ordinateur personnel ou une console de jeu

• • Par exemple, le Rift S d’Oculus et le Vive de HTC

Les dispositifs en carton

Des dispositifs en carton permettent d’accéder facilement à une expérience de réalité virtuelle de façon économique à partir d’un mobile et d’applications spéciales.

On citera l’exemple du Google Cardboard

Les lunettes de RA

Ce sont des lunettes dotées de fonctionnalités qui enrichissent la réalité. En fonction des caractéristiques techniques (vitesse de traitement, graphisme) et du prix de l’appareil, différentes utilisations pourront être envisagées.

On citera par exemple les Google Glass Enterprise ou les Blade Smart Glasses de Vuzix.

Les appareils de réalité mixte

Les appareils de réalité mixte fournissent une expérience immersive où les mondes réel et virtuel (numérique) sont combinés. Les utilisateurs y interagissent avec des objets virtuels dans le monde réel. Ils peuvent les toucher, modifier leurs dimensions, etc.

On citera par exemple l’HoloLens 2 de Microsoft, le ONE de Magic Leap et NReal.

L’affichage tête haute

Les appareils d’affichage tête haute sont des dispositifs transparents projetant des informations numériques qui enrichissent les informations visuelles du monde analogique.

Les dispositifs haptiques

Les dispositifs haptiques font passer l’immersion en RV ou RA au niveau supérieur. En plus du son et de la vue, ces dispositifs vous permettent de sentir et de toucher. Il existe différents appareils haptiques, notamment des gants et des sièges numériques, ainsi que des plateformes mobiles équipées d’outils de RV et de RA.

Créer des expériences virtuelles

Afin de nous plonger dans d’autres mondes et d’y interagir, nous avons besoin de dispositifs matériels (comme évoqué dans la partie précédente) et de dispositifs logiciels. Le logiciel définit les interactions et les expériences que nous vivons, aussi bien dans les mondes qui se superposent au nôtre que dans les mondes déconnectés de la réalité dans lesquels nous nous plongeons dans de nouvelles réalités numériques.

Les interfaces homme-machine

Il convient de se pencher brièvement sur l’évolution des interfaces homme-machine (IHM) pour mieux comprendre comment les humains ont progressivement commencé à interagir avec le monde numérique. Dans leur livre The 4th transformation: how AR and AI change everything (« La quatrième transformation : comment la réalité augmentée et l’intelligence artificielle vont-elles tout changer ? ») Robert Scoble et Shel Israel affirment que cette évolution est jalonnée de quatre moments clés :

1. La saisie (le texte)

2. Le pointer-cliquer (la souris)

3. Le toucher (les mobiles tactiles – méthode dominante à l’heure actuelle)

4. L’interaction naturelle (les lunettes de RM – possiblement le futur de l’interaction)

Réfléchissons un instant à l’idée suivante : notre cerveau fonctionne et interagit en 3D. C’est notre méthode d’interaction naturelle avec le monde qui nous entoure. En réalité, nous ne sommes pas des consommateurs authentiques d’écrans 2D. Nous nous y sommes juste habitués. Maintenant que nous avons la possibilité d’interagir en 3D, nous allons revenir à la source de nos interactions naturelles – même si dans ce contexte particulier, l’interaction est numérique.

L’informatique spatiale

D’après Simon Greenwold (2003), l’informatique spatiale est « une interaction entre humain et machine par laquelle la machine se souvient de référents et les manipule en direction d’objets et d’espaces réels ». L’informatique spatiale représente cette étape essentielle qui permet de passer des interactions en 2D aux interactions en 3D. Dans leur livre Spatial Computing (MIT Press, 2019) (« L’informatique spatiale ») Shashi Shekhar et Pamela Vold définissent cette notion comme « ... un ensemble d’idées et de technologies qui transforment nos vies du fait qu’elles comprennent le monde physique, connaissent et transmettent notre relation aux lieux de ce monde et naviguent en ces lieux ».

Pour revenir à la réalité étendue, cela signifie que le système a la notion de l’espace qui l’entoure. Le système utilise l’espace autour des utilisateurs comme un cadre d’interface. Il tire des informations des comportements des utilisateurs (les mouvements corporels, les gestes, entre autres sources de données) qui nourrissent les interactions numériques avec l’espace physique. L’informatique spatiale permet de mélanger le monde réel et le monde numérique. C’est le cadre logiciel et matériel qui soutient les expériences en réalité étendue.

Les progrès actuels de l’informatique spatiale ont permis de créer de nouvelles fonctionnalités et de nouveaux outils de réalité étendue grâce à l’évolution des techniques de 3D, des casques de RA et de RV (ou des appareils hybrides qui combinent les deux), des lunettes de RA et des équipements haptiques. Ils rendent nos interactions avec ces nouvelles réalités plus naturelles et authentiques.

Dépendances aux appareils et aux plateformes

Quel type de RV ou de RA souhaitons-nous créer ? Pour quelle plateforme et quels appareils créons-nous notre produit ? Voilà d’autres problématiques importantes. C’est quelque chose qu’il convient de considérer lorsque l’on doit établir ce dont on a besoin pour créer le meilleur produit (la meilleure expérience) possible.

L’intégralité du processus est complexe. Différentes compétences et différents domaines d’expertise sont nécessaires. On a ici affaire à des équipes interdisciplinaires qui travaillent selon des processus collaboratifs. Elles sont accompagnées par des experts de différents domaines de spécialisation technologique.

Voilà un aperçu de quelques outils logiciels et plateformes utilisés dans le développement des projets de RV et de RA :

• Modélisation et numérisation 3D : Blender, 3ds Max, MODO, Maya, SketchUP

• Plateforme de développement de RV et de RA : Unity, Unreal, Amazon Sumerian

• Cadres et kits de développement : ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• Environnement Web : AFrame, Web XR API, AR.js