Ne plus payer à l'aveugle sur les services de crowd-sourcing

Par 02 mars 2012 Laisser un commentaire
Crowdsourcing

Il peut être intéressant de faire appel à la foule pour effectuer un travail. Or, la manière de travailler est inégale d’une personne à l'autre, d'où la qualité aléatoire du résultat. C'est pourquoi il est préférable de payer en plusieurs étapes.

Pour orienter sa stratégie, une entreprise a besoin de savoir quels sont les 100 meilleurs fabricants de ciment dans le monde. Elle décide de s’en remettre à une plateforme payante de crowd-sourcing où les résultats de sa requête lui seront fournis par une multitude de personnes remontant chacune des bribes d’informations. Mais les uns et les autres ne travaillent pas tous de la même manière, pas avec le même sérieux ni la même implication et la qualité finale de la tâche peut s’en ressentir : manque d’exhaustivité, redites, pauvreté des informations, contradictions. On imagine la déception de l’entreprise demandeuse. Des chercheurs* de l’université de Berkeley ont étudié les mécanismes du crowd-sourcing en observant la plate-forme Amazon Mechanical Turk (AMT). Ils ont identifié deux comportements qui influencent la qualité du résultat final, rendant plus risquée le paiement du service à l'aveugle. Le premier, c'est la façon dont les personnes effectuant les micro-tâches répondent. Certaines apportent beaucoup de réponses car le sujet les intéresse ou fait partie de leur domaine d'expertise, mais d'autres peuvent, par manque de temps ou d'intérêt, n'en apporter que très peu.

Un résultat décevant

Le second comportement concerne la façon dont certaines personnes se procurent les réponses fournies. Il peut s'avérer que, pour remplir une tâche, certains membres du réseau effectuant les micro-tâches utilisent des listes de réponses déjà constituées sur internet. Or, si plusieurs de ces personnes réutilisent les mêmes listes, l'entreprise aura payé pour un service à faible valeur ajoutée et décevant. D'autant plus que les réponses fournies par les contributeurs suivent un modèle de rendement décroissant, notent les chercheurs. Autrement dit, beaucoup de réponses sont apportées au début de l'opération, mais leur nombre diminue au fur et à mesure que le travail sur la requête initiale progresse, rendant de plus en plus difficile l'obtention d'un résultat respectant les critères préétablis par l’entreprise demandeuse.

Payer en fonction de ses besoins

C’est pourquoi les chercheurs préconisent l’utilisation par les plateformes de crowd-sourcing de systèmes de paiement en plusieurs étapes : un mécanisme dit de « pay-as-you-go ». C'est-à-dire que l'entreprise paye en fonction des résultats obtenus, non pour le simple fait d’accéder à la plateforme. L'entreprise qui soumet la requête paye une première somme pour être mis en contact avec le réseau qui effectuera sa tâche et pour l’obtention d’un premier résultat. Une fois celui-ci livré, l'entreprise juge si elle a besoin de réponses supplémentaires et, si oui, paie une somme supplémentaire pour augmenter la qualité ou l'importance du résultat obtenu. Faire effectuer une tâche complexe par un réseau de contributeurs reste donc une solution intéressante, à condition de négocier un paiement en plusieurs étapes, pour limiter, sinon éviter, toute déception et mauvaise surprise.

 

*Beth Trushkowsky, Tim Kraska, Michael J. Franklin, Purnamrita Sarkar

Mentions légales © L’Atelier BNP Paribas