TubeTagger automatise la catégorisation des vidéos

Par 20 mai 2008 2 commentaires

Ce logiciel de reconnaissance vidéo apprend à reconnaître les images en analysant des extraits sur YouTube et les tags qui y sont associés. Ce qui à terme pourrait lui permettre de se passer d'une intervention extérieure pour fonctionner.

TubeTagger a pour objectif de supprimer toute intervention humaine dans le processus de catégorisation des vidéos et de l'attribution des mots-clefs nécessaires. Le programme développé par l'équipe de l'Université de Kaiserslautern en Allemagne modifie "l'entraînement" habituellement effectué par ce type de logiciel : les produits dédiés à la reconnaissance vidéo s'optimisent habituellement en parcourant une bibliothèque d'échantillons de films. Ce qui jusqu'à maintenant sous-entendait de titrer chacun d'entre eux à la main. Un travail laborieux qui réduit de fait le nombre de vidéos utilisées pour cette nécessaire optimisation. TubeTagger quant à lui apprend à ajouter des mots-clefs à des vidéos en regardant YouTube. Le fonctionnement est le suivant : les chercheurs donnent le mot-clef "football" à TubeTagger. Ce dernier télécharge alors automatiquement cinquante vidéos sur YouTube que les internautes ont déjà étiquetées de ce tag, et il examine les couleurs et les mouvements de chacun de ces contenus.
Plus d'un tiers de réussite
Dans les expériences menées par l'équipe de recherche, ce procédé d'apprentissage a été répété pour vingt-deux mots-clefs sur YouTube, avec par exemple les tags "émeute" ou "interview". Après son entraînement, TubeTagger a dû analyser un échantillon de vidéos issues du site communautaire qu'il n'avait jamais visionnées auparavant. A chaque fois qu'il regardait un film, le système lui attribuait trois mots-clefs parmi les vingt-deux qu'il avait intégrés, les rangeant par ordre de pertinence. Il ressort que TubeTagger a choisi le tag le plus approprié dans plus de deux tiers des cas. Mais le taux de réussite est plus bas lorsque les vidéos proviennent d'autres sources que YouTube. Il varie aussi considérablement en fonction du tag : le logiciel fonctionnait bien avec le mot-clef "football" mais était beaucoup moins efficace avec le mot "plage" par exemple.
Bientôt la reconnaissance audio
Reste que selon Adrian Ulges, instigateur du projet, ces premiers résultats sont encourageants et prouvent que TubeTagger peut apprendre depuis les vidéos du "monde réel", ce qui rend son application plus extensible que celle des systèmes concurrents. A noter : Alexander Hauptmann, de la Carnegie Mellon University de Pittsburgh, est sceptique quant à l'application de la solution. Selon lui, bien que des chercheurs travaillent sur des systèmes de reconnaissance vidéo depuis 2001, "ils n'ont jamais obtenu plus de 20 % de réussite. La reconnaissance vidéo reste une tâche difficile à résoudre". Adrian Ulges admet que son système en est encore à ses premiers pas : les utilisateurs ont recours habituellement à des dizaines de milliers de mots-clefs, ce qui est bien au-delà des capacités de TubeTagger. Mais il prévoit d'ajouter à sa solution un logiciel de reconnaissance audio ainsi que la capacité de localiser le texte se trouvant dans la vidéo. Autant d'améliorations qui, espère-t-il, gonfleront les performances de TubeTagger.

Haut de page

2 Commentaires

et les tags sur YouTube, c'est pas de l'indexation humaine ? en fait, il exploite l'annotation faite par des humains. Bonne tactique mais abus de langage. DalbNous sommes d'accord. Il s'agit de déporter le travail sur les utilisateurs finaux. L'indexation en entreprise ou dans les médias deviendrait elle automatique.

Soumis par Dalb (non vérifié) - le 21 mai 2008 à 13h01

Le système utilise effectivement l'indexation faite initialement par les utilisateurs (humains), mais si j'ai bien compris, en considérant qu'au bout d'une certaine période, toute nouvelle vidéo ajoutée dans la base aurait des "semblables" déjà taggées, alors effectivement l'indexation pourrait être automatisée. En tout cas c'est ce que j'ai compris.

Soumis par Stéfan (non vérifié) - le 29 août 2008 à 12h07

Mentions légales © L’Atelier BNP Paribas