La coopération et la transparence essentielles au monde scientifique

Par 14 novembre 2011 1 commentaire
peer accuracy review

Mettre en place un système d'échange d'informations ouvert entre les scientifiques qui proposent des publications et ceux qui les acceptent améliorerait la qualité des évaluations. Un système à étendre dans le secteur privé ?

La coopération et la transparence dans le monde scientifique entre les auteurs de travaux et ceux chargés de les accepter ou non améliore la qualité de ces évaluations. C’est le constat auquel sont arrivés des chercheurs de la John Hopkins Bloomberg School of Public Health. Ces évaluations sont au centre du fonctionnement de la communauté puisqu'elles décident de la publication dans les revues universitaires et spécialisées, mais également l'attribution des bourses ou encore les promotions académiques. Pour démontrer les avantages d’un système ouvert et public, les auteurs de l'étude ont mis en place un jeu en ligne au sein de 6 laboratoires de leur université.

Des choix multiples

Chaque groupe, composé de 7 à 10 personnes, devait répondre à des questions à choix multiples mathématiques. Leurs réponses étaient ensuite redistribuées aléatoirement entre les participants qui pouvaient valider ou non la solution trouvée. Chaque individu faisait donc à la fois office de chargé de résolution d'un problème et d’évaluateur. L’expérience durait 40 minutes et chacun pouvait utiliser son temps comme il l'entendait entre les deux activités. Dans la moitié des laboratoires, le système était dit "fermé" : la personne proposant une réponse ne connaissait pas l'identité de celui qui avait été chargé de l'évaluer.

Des évaluateurs plus concernés et plus efficaces

Dans le système "ouvert", cet anonymat était supprimé. En revanche, dans les deux cas, l'évaluateur était au courant du nom de celui chargé de répondre. Les chercheurs se sont ainsi rendus compte que les participants à des évaluations "fermées" avaient tendance à privilégier grandement la résolution de problèmes à l’analyse des réponses de leurs collègues. Dans le mode "ouvert", le temps passé sur chacune des deux activités était équivalent. De plus, dans ce système, les participants coopéraient davantage, c'est-à-dire que deux personnes acceptaient plus volontiers leurs réponses respectives. En outre, la qualité des évaluations était supérieure de 11% (valider une réponse juste ou rejeter une réponse fausse).

Haut de page

1 Commentaire

Hé oui, ça paraît pourtant évident lorsqu'on est dans le milieu scientifique / académique, et pourtant, la majorité des revues dites de qualité se vantent de fonctionner selon des process dits de révision en double aveugle (l'évaluateur ne connaît pas l'évalué, et inversement). Ces processus sont longs, absolument pas transparents et loin d'être aussi objectifs que l'on voudrait nous le faire croire... Ils entravent la progression scientifique, sont limitatifs dans les réflexions puisqu'il y a plus de chances d'être publié en étant mainstream, et aboutissent à des articles qui ressemblent plus à ce que les reviewers veulent en faire que ce que les auteurs voulaient initialement publier. Enfin, l'hyperfocalisation au profit de la méthode (ou de son habillage, hélas) et au détriment du fond se fait elle aussi à l'encontre du progrès scientifique et de l'innovation la plupart du temps...

Bref, vivement le développement et surtout l'acceptation par la communauté de réseaux sociaux réels qui permettront une évaluation des papiers par les pairs, avec possibilité de publication dans la foulée... Mais nous en sommes hélas loin (je parle, à nouveau, des revues dites de qualité ou de haut calibre...), alors que ces travaux montrent clairement l'intérêt de tels dispositifs...

Soumis par Looking for something... (non vérifié) - le 14 novembre 2011 à 19h59

Mentions légales © L’Atelier BNP Paribas