Yahoo! veut domestiquer les grilles de machines

Par 19 novembre 2007
Mots-clés : Digital Working

Complémentaire d'Hadoop, le projet Zookeeper veut aider les développeurs à mettre en place des applications capables de s'exécuter dans des environnements distribués.

Grilles de calculs, cluster… À de rares exceptions près, il n'y en a que pour les environnements distribués. Sauf que dans le domaine, beaucoup de choses restent à faire. En particulier dans la gestion des multiples machines sur lesquelles s'exécutent les programmes. C'est dans ce cadre que le laboratoire de R&D de Yahoo! dévoile Zookeeper, soit le gardien de zoo, chargé d'orchestrer la prise en charge des logiciels par de multiples serveurs et ordinateurs. Le petit groupe - moins d'une dizaine de personnes - qui se charge du projet est parti d'un constat simple.

Le codage d'un scheduler prend du temps

Dans un environnement de calcul distribué, les différentes parties d'une application fonctionnent simultanément sur des milliers de machines. Sans gardien pour gérer ces machines, le chaos peut vite s'installer. C'est pour cela que les applications distribuées sont en général accompagnées d'un outil - appelé manager ou scheduler - chargé d'attribuer les tâches aux machines et de les coordonner. Mais, selon Yahoo! Research, le codage d'un tel programme prend du temps. Résultat : les développeurs ont le choix entre créer un outil basique, et coder une œuvre d'art qui les écarte de leurs objectifs initiaux.

Se concentrer sur les objectifs

Yahoo! se propose de supprimer le dilemme, en mettant à leur disposition son scheduler. Cette interface est capable de configurer l'exécution des programmes, mais aussi de détecter les pannes et d'aider au redémarrage matériel. En cas d'arrêt d'un serveur, Zookeeper est ainsi capable d'alerter les autres pour qu'ils prennent le relais. Dans un futur proche, Yahoo! Research devrait mettre le code de ce projet en open source. C'est déjà ce qu'il avait fait avec Hadoop. Ce programme se charge lui de transformer un programme classique un logiciel capable de s'exécuter dans un environnement distribué.
 

L'Atelier, groupe BNP Paribas

Mentions légales © L’Atelier BNP Paribas