Quand les personnages virtuels communiquent avec l'environnement réel

Par 16 avril 2010

Twinkle projette sur un mur un avatar capable d'interagir avec cette surface : il repère les aspérités, contourne un obstacle... Embarqué dans un mobile, il permettra le développement d'applications de réalité augmentée.

L’université de Tokyo travaille sur la possibilité pour un personnage animé d'interagir avec les surfaces sur lesquelles il est projeté. L'une de ses équipes a mis au point un projecteur mobile baptisé Twinkle. Le but est d'intégrer le dispositifs aux mobiles pour proposer des applications de jeu en réalité augmentée. "Beaucoup de mobiles sont d'ores et déjà équipés de caméra et de capteur", explique à L’Atelier Takumi Yoshida, responsable du projet. "Ce système pourra donc être rapidement intégré". Et ouvrira un champ de créativité pour des usages personnels. Le projecteur mis au point affiche un avatar qui reconnaît les différents éléments présents sur un mur (aspérités, dessins, présence d'obstacles…), et les prend en compte dans ses déplacements. Le système combine un rétro-projecteur, une caméra et un capteur d'accélération.
La caméra enregistre les formes et surfaces rencontrées
Auxquels s'ajoute une technique de traitement d'images qui permet l'interaction. Et qui est, selon le responsable du projet, plus efficace que les actuels programmes de captation du mouvement. Concrètement, lorsque l’utilisateur dirige le faisceau de lumière de l’appareil vers une surface plate, la caméra intégrée dans le système enregistre les différentes formes et surfaces rencontrées. Par des calculs sur les formes géométriques de l’environnement réel, l’appareil parvient à différencier et classer les pixels. D’un coté, ceux de l’image projetée, et de l’autre ceux de la surface choisie (le dessin d’un arbre, par exemple). Le rétroprojecteur va ensuite se charger de calquer les pixels du contour du personnage à ceux de la surface choisie.
Un capteur d'accélération pour les mouvements rapides
Le personnage projeté pourra alors interagir avec son environnement et suivre le tracé des surfaces. Lors de mouvements rapides, un capteur d’accélération aidera le système à reconnaître plus facilement le chemin à suivre pour le personnage. Une seconde application a été ajoutée au système. A chaque fois que le faisceau de lumière détecte une surface, un son est généré par l’appareil. "Le volume du son et les mélodies sont déterminées respectivement par la taille et la couleur de l’objet", précise le chercheur. Chaque couleur correspond à une mélodie, et la taille de l’objet à un volume sonore. A terme, l'équipe souhaite permettre à différents personnages diffusés par Twinkle d’interagir.

Mentions légales © L’Atelier BNP Paribas