Contrôler à distance son smartphone, sa télévision, ou tout autre appareil électronique ? Selon une équipe de l'université de Newcastle et de Microsoft Research Cambridge (MSR), cela tient dans un bracelet. Ils ont en effet mis au point un système capable de suivre les mouvements de la main en trois dimensions. Cela, en analysant les gestes via des capteurs, et en les traitant en temps réel, le tout depuis le dispositif. Ainsi plus besoin de télécommande ni de manette de jeux pour contrôler n'importe quel appareil, un simple geste de la main suffit. L'un des usages pouvant être de répondre à son téléphone sans le sortir de sa poche, ou régler le son de son podcast. La seule obligation étant de programmer le système pour qu'il comprenne quel geste correspond à quelle action, et de le connecter à l'appareil requis. Le bracelet, nommé Digits "ne repose pas sur une infrastructure externe de sorte qu'il est complètement mobile", explique David Kim, étudiant en doctorat à l'Université de Newcastle.

Comprendre tous les gestes du poignet

"C’est-à-dire que les utilisateurs ne seront pas reliés à un espace fixe. Ils pourront ainsi interagir tout en se déplaçant de pièce en pièce ou même en courant dans la rue". Pour activer des interactions spatiales 3-D n'importe où, les scientifiques ont dû faire face à plusieurs difficultés : celui-ci devait être léger, consommer peu d'énergie, et être aussi petit et confortable qu’une montre. En même temps, il devait capter précisément les gestes, "comprendre" la main de l'homme depuis l'orientation du poignet jusqu’à l'angle de chaque articulation d'un doigt, afin que l'interaction ne soit pas limitée à des points 3-D dans l'espace. En fait, comprendre ce que la main essaie d'exprimer, même si elle est dans une poche.

Des applications dans le jeu vidéo

Le prototype actuel, présenté lors de la 25ème conférence Association for Computing Machinery Symposium on User Interface Software and Technology de 2012 intègre une caméra infrarouge (IR), un générateur laser IR, un illuminateur IR diffus, et une piste d’unité de mesure inertielle (IMU). L'un des principaux apports du projet est un signal de traitement en temps réel, qui prélève les parties principales de la main, tels que le bout et les régions inférieures de chaque doigt. Les autres réalisations majeures de la recherche sont deux modèles cinématiques qui permettent la reconstruction complète de la main seulement grâce à cinq points clés. Selon l'équipe, le plus difficile a été d'extrapoler des mouvements naturels de la main à partir d'un échantillonnage des points clés détectés par la caméra.
Le premier usage pourrait être dans le domaine des jeux vidéo.

*David Kim, Otmar Hilliges, Shahram Izadi, Alex Butler, et Jiawen Chen, Iason Oikonomidis de la Fondation grecque pour la recherche et la technologie, et le professeur Patrick Olivier du Culture Lab de l'Université de Newcastle

Voir une vidéo du prototype