La sémantique précise la recherche d'images

Par 18 octobre 2007

Les différents éléments présents sur une photo peuvent désormais être identifiés individuellement et retranscris sémantiquement. Ce, via un système de recherche contextuelle qui limite les erreurs d'interprétation.

(cliquez pour agrandir)
Un système informatique développé par une équipe de l’université de San Diego est capable de détecter automatiquement les différents éléments d’une image. Mais l'innovation n'est pas là. Cette identification des éléments se fait en fonction du contexte. Si l'outil identifie dans une image un joueur de tennis, une raquette, et un court, le logiciel, qui aurait pu confondre la balle avec un citron, fait le bon choix en qualifiant l’objet en fonction des autres éléments identifiés. Autre exemple : un bateau identifié comme étant - faussement - une vache peut être reconsidéré selon les éléments qui l’entourent, comme un arbre et de l’eau. Cette reconnaisance automatique fait donc un usage intensif de sémantique et de dictionnaires thématiques.
Des tags toujours plus fiables
L’intérêt est donc de rendre la décomposition de l’image intelligente pour obtenir des fichiers illustrés par des tags exacts. Le logiciel repose notamment sur Google Sets, un widget de la firme de Mountain View qui génère des listes de noms d’objets et de personnes relatifs à un terme préalablement tapé. Pour identifier les objets, il scinde les photos en plusieurs zones pour mieux repérer les éléments présents, avant de fournir des noms pouvant les déterminer. Ce, en considérant toujours les objets dans leur ensemble pour comprendre le contexte de la photo et tenter de mieux déterminer individuellement chaque pièce du puzzle.
Déterminer les relations entre les éléments
Selon les scientifiques, le système d’identification visuelle améliore jusqu’à 10 % le référencement des résultats présentés lors d’une requête. Ce qui peut sembler encore anecdotique. Ils étudient désormais des moyens d’introduire la compréhension des éventuelles relations entre les objets représentés dans la recherche contextuelle, et de prendre en compte les notions de « dedans » ou "dessus". Un animal sur lequel une personne est assise serait ainsi interprété comme étant un cheval plutôt qu’un chien. 
A ce sujet lire aussi :

Les tags évoluent pour faciliter la recherche d’images (17/10/2007)

L’Atelier groupe BNP Paribas

Mentions légales © L’Atelier BNP Paribas