WiMi Hologram Cloud Inc. a annoncé le développement d'un système d'interaction multicanal en réalité virtuelle. Un système d'interaction multicanal est une approche collaborative combinant deux ou plusieurs canaux d'entrée (par exemple, la voix, la vidéo, l'haptique et les gestes) dans un seul système, utilisant pleinement les différents canaux sensoriels humains pour rendre l'interaction plus naturelle et plus efficace. Dans un système d'interaction multicanal, les utilisateurs peuvent utiliser des méthodes d'interaction naturelles telles que la voix, les gestes, les yeux, les expressions, les mouvements des lèvres, etc. pour travailler en collaboration avec le système informatique.

Les humains et les ordinateurs participent activement à l'échange d'informations. Il existe différentes manières de mettre en série/parallèle et complémentaires/indépendantes les canaux d'entrée. L'interaction homme-ordinateur converge vers la forme d'interaction homme-homme, qui améliore considérablement le caractère naturel et l'efficacité de l'interaction, et qui sera la forme principale de l'interaction homme-ordinateur en réalité virtuelle à l'avenir.

L'utilisation de l'interaction multicanal dans la réalité virtuelle présente des avantages évidents. Elle réduit le couplage et la charge cognitive de l'utilisateur, améliore considérablement le taux de reconnaissance des entrées et fournit à l'utilisateur des méthodes d'entrée flexibles pour améliorer l'efficacité de l'interaction. Le système permet aux utilisateurs d'interagir simultanément en utilisant différents canaux basés sur la voix, la posture ou l'entrée haptique.

En outre, des éléments tels que la reconnaissance des expressions faciales ou la lecture labiale sont également utilisés pour la saisie multicanal. Les interfaces multicanaux peuvent combiner les avantages des différents canaux ou changer de canal en fonction du contexte de l'environnement. Étant donné que la technologie multicanal fusionne les flux d'entrée provenant de plusieurs canaux, l'utilisation de la technologie d'interaction multicanal dans la réalité virtuelle peut améliorer de manière significative les performances de contrôle du système.

Il existe deux méthodes principales de fusion multicanal : la fusion des caractéristiques et la fusion sémantique. La fusion des caractéristiques est basée sur les données d'entrée originales fusionnées au niveau du signal, et cette approche est applicable lorsque les canaux connectés sont étroitement couplés. La fusion sémantique est le processus de mise en correspondance des données d'entrée avec les interprétations sémantiques, l'acquisition du flux d'informations d'entrée à partir des canaux d'entrée et la construction d'une représentation unifiée des données par le biais d'un prétraitement préliminaire.

L'interaction homme-ordinateur est la relation interactive entre le système et l'utilisateur, qui utilise le langage du dialogue entre l'homme et l'ordinateur pour compléter le processus d'échange d'informations entre l'homme et l'ordinateur d'une manière interactive. Dans l'IHM, le comportement d'interaction naturel des humains et le changement d'état de l'espace physique sont des modèles multicanaux. L'apprentissage profond rendra le système établi plus intelligent pour l'IHM dans les scènes de RV, qu'il s'agisse de la reconnaissance vocale, de la reconnaissance des émotions ou du dialogue homme-machine.

Le système d'interaction de WiMi peut améliorer la capacité des modèles informatiques à reconnaître, classer et analyser les comportements déroutants. Il conduit le mode HCI dans la RV à évoluer progressivement vers l'intelligence, l'humanisation et le scénario et construit un environnement humain-ordinateur harmonieux et naturel dans la réalité virtuelle.