Les moteurs de recherche interconnectent les médias

Par 22 octobre 2007
Mots-clés : Smart city

Un système informatique effectue des interconnexions entre des médias de nature et de forme différentes pour proposer une recherche multimédia. Cette approche synesthésique s'appuie sur la structure des contenus pour repérer les analogies.

(cliquez pour agrandir)Un moteur de recherche transdérivationnel* est désormais capable de réaliser des associations entre plusieurs types de fichiers basé sur le principe de la synesthésie, un phénomène qui fait se mêler plusieurs sens. Il permet de proposer des interconnexions entre un texte, un fichier audio, une image en 2D ou des données en 3 ou 4D. Le moteur, actuellement développé par deux scientifiques du Stevens Institute of Technology, s'adresse en priorité aux artistes. Il s'appuie sur plusieurs algorithmes qui repèrent des analogies dans les structures de contenus de différente nature. Objectif : élaborer une technologie à l'intersection de l'art, de la synthèse d'images, de l'apprentissage automatique - l'un des champs d'étude de l'intelligence artificielle -, de la psychologie cognitive et de l'interaction homme-machine.

Comparer la structure des contenus multimédias

"La recherche d'analogies entre différents médias n'a pas encore été explorée, ni n'a encore réellement intéressé les moteurs de recherche non sémantiques", souligne H. Quynh Dinh, professeur au Département des sciences informatiques et co-fondatrice du projet. Selon lui, les moteurs réalisent généralement une recherche en fonction du sens et de la catégorie du mot tapé pour déterminer certaines similitudes. Le nouveau moteur opère quant à lui une comparaison de la structure, c'est-à-dire qu'il passe par plusieurs approches analytiques telles que des analyses fréquentielles, des lois de probabilité ou de techniques d'apprentissage automatique pour découvrir des relations entre des contenus de plusieurs dimensions.
 
Des algorithmes en open source
 
Le moteur sera mis au point en collaboration avec deux artistes et sera introduit au sein des cours de design multimédia du programme Stevens Art & Technology de l'Institut. Il permettra aux artistes de réaliser des compositions interactives et multimédias. Il devrait également servir de banc d'essai pour explorer le rôle des algorithmes dans l'apprentissage automatique, la vision cognitive – qui permet à une machine de comprendre les objets perçus via une ou plusieurs caméras – et la synthèse d'images. Le projet a obtenu un prix de 150 000 dollars par la National Science Foundation pour son développement. Les algorithmes qui le constituent seront publiés sous une licence open source et les prochains résultats seront publiés.
 
* Le terme, qui appartient au vocabulaire psychologique, s'applique aussi en informatique. Il représente la possibilité de définir le sens possible d'un mot ou d'une expression exprimé d'une manière confuse ou inachevée.
 

L'Atelier groupe BNP Paribas

Mentions légales © L’Atelier BNP Paribas