Les publications scientifiques ont rarement fait autant parler d’elles qu’en ces temps de pandémie mondiale de Covid-19. La demande d’expertise face à une menace inconnue est énorme et met en lumière la situation complexe d’un secteur peu connu mais pourtant l’un des plus rentables de l’économie moderne : l’édition scientifique.
Le long parcours d’une publication scientifique
Lorsqu’une équipe dispose de suffisamment de données nouvelles, elle se lance dans la rédaction d’un article pour présenter ses résultats à la communauté (et incidemment augmenter sa visibilité pour améliorer ses chances d’obtenir de nouveaux financements). Une fois le manuscrit achevé, elle le soumet à une revue (choisie en fonction de sa ligne éditoriale et son prestige) : et là, il y a le choix ! D’après le dernier rapport de STM paru en 2018, il existe environ 42 500 revues scientifiques à comité de lecture, dont les trois-quarts sont anglophones. Une fois le manuscrit envoyé à l’éditeur de la revue, celui-ci le soumet, après accord de son comité éditorial composé de chercheurs du domaine, à plusieurs reviewers, le plus souvent anonymes, qui vont examiner le manuscrit. Ce système, appelé peer-review ou évaluation par les pairs, vise à garantir la qualité des publications : respect des normes éthiques, prise en compte des travaux antérieurs, qualité de l’analyse, rigueur et pertinence des conclusions, etc. Ainsi, chaque reviewer détermine si l’article qu’il a épluché peut être publié en l’état (ce qui est assez rare), s’il requiert des modifications (pouvant aller de reformulations à l’ajout de nouvelles données pour étayer les arguments présentés) ou s’il est rejeté. Dans le second cas, les auteurs soumettent de nouveau le manuscrit revu, qui repasse sous les fourches caudines des reviewers, avant un accord final d’acceptation, puis une publication dans le journal. Ce processus est long : une étude publiée en 2015 estimait, sur la base de l’analyse de 2 700 publications, qu’il fallait attendre en moyenne 12 mois entre la soumission d’un article et sa publication, ce délai allant de 9 mois pour les revues de chimie à 18 mois pour celles d’économie.
Dans un contexte d’urgence tel que nous le connaissons en ce moment, ces délais semblent contraires à l’éthique : peut-on se permettre d’attendre 12 mois pour savoir si un essai clinique a obtenu des résultats positifs ? Choqués eux-mêmes par ces délais, les chercheurs ont mis au point ces dernières années des plateformes dites de preprint : la pionnière arXiv, créée en 1991 par des physiciens, a depuis été rejointe par bioRxiv en 2013, ChemRxiv en 2017 et medRxiv en juin 2019. L’intérêt de ces plateformes ? Un partage rapide des travaux, avant qu’ils n’aient été revus par les fameux reviewers. En toute logique, les médecins et chercheurs se sont emparés de ces nouveaux outils avec avidité pendant cette crise sanitaire : au moment de la rédaction de cet article, 2 690 articles relatifs au Covid-19 sont hébergés sur les plateformes medRxiv et bioRxiv ! Mais comme l’indique un encart rougeoyant sur la première page du site medRxiv : “Les preprints sont des documents préliminaires qui n’ont pas été révisés par des pairs. Ils ne devraient ni être utilisés pour guider la pratique médicale ni cités par les médias comme une source d’information établie.” Cette mise en garde s’adresse ainsi en premier lieu au grand public et aux pouvoirs publics. Si les plateformes de preprints permettent de partager rapidement des pistes de recherche avec les autres équipes, d’identifier culs-de-sac et voies plus prometteuses, elles présentent des travaux qui n’ont pas encore été validés par d’autres chercheurs, étape indispensable pour s’assurer de la qualité de la méthodologie employée pour acquérir et analyser les résultats présentés. Étape encore plus importante lorsqu’il s’agit d’informer le grand public sur le succès ou non d’un essai clinique ou de guider les politiques de santé publique face à la pandémie.
Les pairs n’évitent pas l’impair
L’évaluation par les pairs est ainsi une étape cruciale dans la dissémination des résultats afin d’en garantir la qualité. Elle n’est pas toutefois pas exempte de reproches. Une récente étude publiée dans BMC Medicine a par exemple testé la qualité de ce processus en envoyant pour soumission à plus de 600 revues un article déjà publié : si la grande majorité a refusé à raison l’article (mais moins d’une sur deux car elle a détecté le plagiat), quelques unes ont demandé des modifications et une petite part a même accepté de publier l’article en l’état (1,3 % des journaux testés).
Ainsi, l’évaluation est, comme toute entreprise humaine, perfectible. Les revues ont pour cela envisagé la possibilité de retirer un article après publication, en raisons d’erreurs qui ont échappé à l’attention des reviewers ou de fraudes. En 2016, environ 1 400 publications ont ainsi été retirées, selon Ivan Oransky, co-fondateur du site Retraction Watch, contre 40 en 2000. Cette augmentation est en partie liée à l’augmentation de la production scientifique et à l’attention accrue des éditeurs sur ces sujets, une étude de 2015 indiquant que deux tiers des plus grandes revues se sont dotées d’une politique de retrait des articles litigieux. Au final, la proportion d’articles retirés reste relativement faible, de l’ordre de 4 sur 10 000 (si le sujet vous intéresse, je vous conseille cet article de 2018 paru dans Science).
Internet a permis d’accélérer ce mouvement de façon indéniable en cassant le piédestal sur lequel les revues étaient placées. En 2010, deux éditeurs, Ivan Oransky et Adam Marcus, lancent Retraction Watch afin d’améliorer la transparence du système d’édition scientifique. Un travail complémentaire de plateformes communautaires comme PubPeer, où la communauté scientifique s’engage dans une discussion critique des articles déjà publiés, sur le modèle des journal clubs régulièrement organisés dans les laboratoires. Ce site s’est fait connaître en interrogeant les pratiques de certains chercheurs, amenant au retrait d’articles frauduleux.
Pendant ce temps-là, à Marseille…
Petit exemple en temps de pandémie mondiale avec, au hasard, une étude marseillaise sur l’efficacité de l’hydoxychloroquine, un anti-paludéen aujourd’hui administré pour traiter la polyarthrite rhumatoïde et le lupus, associée à l’azithromycine, un antibiotique, parue dans la revue International Journal of Antimicrobial Agents.
Dès la mise en ligne de l’article sur le site Internet du journal, les plateformes PubPeer et medRxiv reçoivent les premiers commentaires de chercheurs et médecins mobilisés contre le Covid-19, et à l’écoute de tous les résultats qui pourraient s’avérer positifs face au virus. Et ceux-ci ne s’avèrent pas aussi enthousiastes que le président des États-Unis sur l’intérêt de l’hydroxychloroquine.
Premier élément troublant : la rapidité du processus d’évaluation par les pairs. L’article est soumis le 16 mars, accepté pour publication le 17 et mis en ligne le 20, soit un délai de 4 jours comparé aux 12 mois évoqué précédemment… Cette célérité étonne, d’autant plus que le laboratoire a mis en ligne sur son site un preprint dès le 17 mars : les résultats étant d’ores et déjà mis à la disposition de tous, le journal pouvait prendre quelques jours pour mener une évaluation attentive, comme le note sur PubPeer Elisabeth Bik, microbiologiste américaine, qui s’attirera au fil des jours les foudres de Didier Raoult sur Twitter.
Par la suite, les chercheurs, tout en prenant soin pour la plupart de reconnaître la difficulté de travailler face à l’urgence, font part sur PubPeer de nombreuses interrogations sur le protocole de l’essai clinique (sur le choix des cas témoins par exemple ou des problèmes de date sur l’avis éthique du Comité de protection des personnes), la précision des résultats présentés… et formulent, à l’image de ce que font classiquement les reviewers, des demandes de précision pour valider la qualité de la publication. Car malgré ces interrogations nombreuses, l’article est bien en ligne et fait beaucoup de bruit en dehors des sphères académiques.
Le 3 avril 2020, soit 22 jours après avoir accepté l’article pour publication, la Société internationale de chimiothérapie antimicrobienne (International Society of Antimicrobial Chemotherapy), qui publie la revue, envoie un communiqué : si, pour elle, le processus d’évaluation par les pairs a respecté les règles habituelles (certains avaient pointé un potentiel conflit d’intérêt pour le rédacteur en chef de la revue, membre de l’équipe ayant publié l’article), elle reconnaît que la publication « ne répond pas aux normes prévues par la Société ». Toutefois, dans ce communiqué, publié sur le site de la société et non sur celui de la revue, consulté par les médecins et chercheurs, rien ne laisse présager à ce stade un éventuel retrait de l’article en question.
Huit jours plus tard, un second communiqué parait en date du 11 avril, cosigné cette fois-ci par Elsevier, le puissant éditeur scientifique : « Une évaluation complémentaire et indépendante est mise en place pour déterminer si les interrogations sur le contenu de l’article sont fondées. Il serait prématuré à ce stade de commenter une processus d’évaluation post-publication en cours. Les auteurs de l’étude ont été contactés afin qu’ils puissent répondre à ces interrogations. En fonction de la teneur de leurs réponses, une correction pourra être envisagée. » En effet, au lieu d’envisager un retrait d’un article litigieux, les éditeurs peuvent préférer la solution moins drastique (et stigmatisante) d’une révision ou correction de l’article déjà publié. Trois semaines plus tard, l’enquête interne est toujours en cours.
Pendant ce temps-là, Retraction Watch a déjà listé 7 publications retirées, au moins temporairement, par leurs éditeurs ayant trait au Covid-19…
