Le récent retrait de l’étude du Lancet met en lumière la fragilité du système de publication scientifique face aux fraudes, surtout dans un contexte épidémique qui met le système sous pression. Retour sur un phénomène rare, mais ici très médiatisé.
Sommaire
Retrait éclair de l’étude du Lancet
Dans la course scientifique pour tenter de savoir si oui ou non, un mélange de chloroquine ou de son dérivé (hydroxychloroquine, HCQ) avec de l’azithromycine (AZ), serait efficace pour prévenir les hospitalisations et les décès à cause du Covid-19, le Lancet défraie la chronique.
À la suite des premières publications prometteuses in vitro de la chloroquine contre le nouveau coronavirus, l’équipe du professeur Raoult à Marseille a publié des études positives – mais très discutables – sur ce mélange.
Des études qui ont déclenché une vague de travaux scientifiques et d’essais cliniques pour tenter d’apporter une réponse, en espérant avoir des travaux solides et indépendants.
C’est bien dans cette veine de publications scientifiques que le Lancet s’est fait l’écho d’une publication retentissante, par Mandeep Mehra et trois autres collaborateurs, qui vantait l’inefficacité du protocole HCQ + AZ avec des risques très forts de surmortalité.
Une étude qui n’est à ce jour plus soutenue par ses propres auteurs. Le Lancet a finalement rétractée cette étude explosive à cause d’une impossibilité de vérifier les données brutes acquises par la sulfureuse et obscure société Surgisphère.
Dans les colonnes de Dur à Avaler, j’avais préféré dès le départ mettre cette étude de côté tant elle était parsemée de doutes et de bizarreries. Il était bien difficile d’en faire une critique scientifique correcte avec autant de soupçons de falsification des données.
Une prudence payante, car la société Surgisphère au centre de cette controverse n’a pas donné d’accès aux reviewers indépendants pour réaliser un audit sur la fiabilité et la véracité des données. Devant ce refus, les trois auteurs indépendantes de la société Surgisphère se sont donc désolidarisées de leur travail et ont présenté leurs excuses dans le Lancet.
C’est évidemment un cas de fraude scientifique exceptionnel, et ravageur pour la confiance de la population envers l’édition scientifique fortement malmenée dans cette crise sanitaire inédite.
Dans la lignée de l’étude du Lancet, celle publiée dans le New England Journal of Medicine utilisant la même base de données de Surgisphère a subi logiquement le même sort : une rétractation de l’étude en question.
La responsabilité des auteurs
L’étude du Lancet a été publié par 4 personnes, dont une, Sapan Desai, qui est le directeur de la société Surgisphère à l’origine du jeu de donnée manifestement frauduleux – du moins qu’il n’a pas souhaité être examiné par des auditeurs indépendantes – et de la désolidarisation des trois autres auteurs.
Il est difficile de savoir exactement ce qu’il s’est passé. Peut-être que des révélations et des témoignages prochains de ces auteurs nous permettront d’en savoir plus, mais il y a fort à parier que ces trois chercheurs ont été en quelque sorte piégés par les données de Sapan Desai.
Peut-être n’ont-ils pas manifesté assez de recul critique sur ces données-là, peut-être ont-ils tout simplement fermé les yeux sur des bizarreries avec la possibilité de publier dans le Lancet.
L’appât du gain, et surtout de la renommée de publier dans un tel journal peut faire partie de l’équation bien sûr.
Quoi qu’il en soit, le retrait des trois auteurs envoie un signal fort en faveur d’une supercherie qui aujourd’hui semble pour eux suffisamment forte pour ne plus garantir l’intégrité de cette étude et la fiabilité des résultats.
De nombreuses suspicions de corruption de la part des auteurs avaient été émises, sans preuve sérieuse. Les auteurs ont, à des degrés très divers, des liens d’intérêts avec différentes firmes pharmaceutiques, mais rien qui pourrait justifier une manipulation vicieuse de Big Pharma dans cette affaire.
Fraudes scientifiques : des demandes fréquentes et alarmantes de falsifications.
Des chercheurs américains viennent pour la première fois de mesurer la fréquence des demandes de falsifications scientifiques de la part des chercheurs aux consultants en statistiques. Les demandes graves se révèlent être fréquentes. Stupeur.
La responsabilité des journaux
Dans cette affaire incroyable de fraude scientifique, la responsabilité éditoriale des journaux scientifiques est pointée du doigt. Logiquement, les accusations de collusions avec l’industrie pharmaceutique ont plu de toute part, avec comme principale justification, le fait d’avoir pu laisser passer une telle étude, faussée et “bidonnée”.
La responsabilité des journaux est ici évidente, ce sont bien eux, par le biais de tout le processus de l’édition scientifique qui vont avaliser les recherches scientifiques et les mettre en lumière dans la presse.
Mais il faut connaître un peu mieux le fonctionnement de ces journaux scientifiques pour comprendre comment une fraude pareille peut passer les mailles du processus de relecture par les pairs (reviewing).
Les journaux scientifiques ne sont pas des sociétés philanthropiques. Ce sont des entreprises qui doivent faire du chiffre pour continuer d’exister. L’édition scientifique rapporte beaucoup d’argent aux éditeurs (Elsevier, Wiley, etc.)
Dans le processus de validation d’une étude scientifique, l’éditeur va accepter les études qu’il estime à la fois de bonne qualité et intéressante pour son journal, pour être cité, vu et relayé aussi bien dans la presse que dans d’autres études scientifiques.
Une bonne étude pourra être refusée par un éditeur, car elle ne sera pas assez exceptionnelle ou que le résultat n’attirera pas grand monde. Au contraire, une étude bien plus moyenne, mais avec des résultats plus spectaculaire se fraiera un chemin plus facile vers l’acceptation et la publication.
Au moment du passage par l’éditeur, le papier n’est pas évalué méthodologiquement au sens strict du terme. Ce n’est qu’après cette première acceptation formelle que l’étude sera analysée par une, deux ou trois personnes (mais c’est rare) bénévolement.
C’est le principe de relecture par les pairs, bien connu aujourd’hui notamment grâce à cette crise sanitaire. Ce sont d’autres chercheurs qui doivent se farcir, gratuitement et sur leur temps de travail, la relecture critique du travail.
Dans ces conditions, il semble impossible qu’un ou deux reviewers comme on les appelle puissent (et encore moins en cette période de crise) repérer des falsifications de données, enquêter sur une société de base de données médicale et émettre des avis détaillés sur la fiabilité de l’étude.
Le procédé est loin d’être parfait, et repose principalement sur 1) des intérêts économiques sur le partage du savoir et 2) sur des garde-fous bénévoles qui sont au centre d’une machine scientifique infernale.
Ces relecteurs vérifient surtout la cohérence du travail avec la littérature scientifique, et peuvent trouver des erreurs si leurs compétences le permettent. Tous les reviewers ou relecteur n’ont pas le même niveau de compétence et d’exigence. Et jamais ces scientifiques n’auront le temps de refaire des analyses et vérifier la véracité des données.
Cela n’excuse pas les fraudes comme celle-ci, mais cela permet de comprendre comment ce genre de cas peuvent arriver. Car les fraudes, les véritables falsifications de données sont relativement rares, fort heureusement. Même si la tendance est inquiétante.
Les grands journaux scientifiques ne sont pas à l’abri de ces erreurs, qui peuvent avoir des répercussions internationales, comme ont pu le démontrer des études qui visaient justement à faire passer des études bidon.
De nombreux journaux scientifiques, malgré des processus de validation par les pairs, ont échoué à bloquer ces études falsifiées et imaginaires. Le système mise sur une certaine confiance, et certains abusent le système en parfaite connaissance de cause.
La procédure est d’autant plus fragile et imparfaite en période de crise comme celle que nous avons vu où des études sont publiées en quelques semaines, voire quelques jours, alors que ce processus peut prendre 6 mois, 1 an voir plus en période normale.
Une pression importante a été mise sur les journaux et les reviewers. Quoi qu’il en soit, les journaux scientifiques les plus prestigieux sont régulièrement épinglés pour méconduite scientifique, avec le NEJM qui s’en sort le mieux.
La science est loin d’être parfaite. Voici des raisons sourcées pour se méfier sainement des résultats de la science et comment les améliorer.
La responsabilité des politiques et des centres de recherches
On entre dans un domaine plus obscur et qui s’éloigne des prétentions sanitaires et scientifiques de ce blog, mais il faut tout de même aborder ce sujet.
Dès la publication de l’étude négative du Lancet, qui faisait miroiter des risques de mourir avec le mélange HCQ et AZ, les réactions des politiciens et des équipes scientifiques ont été plus que différentes.
Globalement, la réaction a été – plutôt comme la mienne – sceptique et mesurée. Les principaux centres de recherche en train d’investiguer sur l’effet de la chloroquine ont émis de communiqués prenant note de cette publication et des résultats.
Dans la majorité des cas, les essais cliniques n’ont pas été interrompus. Seule l’OMS s’est illustrée par un arrêt rapide de son bras HCQ dans Solidarity dans l’attente d’éclaircissement. Une semaine plus tard, et avant le retrait de l’étude, le bras HCQ de Solidarity était remis sur les rails. C’était de mon point de vue la meilleure décision, et même le souhait des auteurs de l’étude du Lancet.
En revanche, le ministre de la Santé s’est illustré par une réponse rapide et ferme après la publication de cette étude. Il a ainsi interdit la prescription d’hydroxychloroquine pour sa seule utilisation en hôpitaux pour les cas graves, sauf essai clinique (ce qui est un moindre mal).
J’aurais bien du mal à juger de la pertinence de cette décision, bien isolée dans le paysage politique international, et ma foi en désaccord avec de nombreuses autres études observationnelles qui ne montraient pas d’événement cardiaque grave dans les groupes sous HCQ.
Il faudra attendre la réaction du ministre de la Santé à la suite de la rétractation et ses arguments pour défendre sa position. Peut-être invoquera-t-il le fait qu’aucune étude sérieuse randomisée et contrôlée n’a montré de bénéfice sur la mortalité et les hospitalisations. En l’absence de bénéfice claire, l’étude du Lancet faisait irrémédiablement pencher la balance bénéfice-risque du mauvais côté… Nous verrons bien.
Le scandale de l’édition scientifique et comment lire (presque) tous les articles scientifiques.
L’édition scientifique place les chercheurs au centre d’un système pervers où ils doivent payer les éditeurs pour publier leurs travaux, et payer une seconde fois ces mêmes éditeurs pour les lire.
Est-ce l’échec ou la réussite du système de publication ?
On peut voir ces événements comme un verre d’eau à moitié plein ou à moitié vide. Des auteurs malhonnêtes qui tentent de publier des études frauduleuses existent, et ont toujours existé, et cet épisode révèle que le système a pu se rattraper et limiter la casse.
Mais cet épisode reste exceptionnel. De nombreux citoyens, scientifiques et médecins de par le monde scrutent avec attention les nouvelles publications. Cette attention – qui n’atteint généralement jamais ce niveau – a permis de mettre à jour les nombreuses incohérences et zones d’ombre de cette étude, relativement rapidement.
On peut bien sûr saluer la prise de position précoce du professeur Didier Raoult contre cette étude, soulignant les incohérences ou plutôt l’excès de cohérence des données entre les différents continents.
Toutefois, Didier Raoult n’accepte aucune étude, même de qualité scientifique supérieure aux siennes, qui apportent des résultats en contradiction avec son idée de l’efficacité et l’innocuité de la chloroquine et de l’azithromycine.
LancetGate ou ChloroquineGate ?
D’une promesse thérapeutique est partie une controverse scientifique et médicale hors norme. Du jamais vu de mon côté. De plus en plus de scientifiques s’inquiètent des conséquences de cette controverse sur la création du savoir.
La controverse est tellement forte qu’elle monopolise de nombreuses équipes médicales à travers le monde, des moyens financiers et humains importants, pour tenter de répondre à une question alors que nombreuses autres molécules et recherches doivent pourtant être menées.
Cette controverse est d’autant plus dommageable que l’idée d’obtenir des réponses claires et nettes s’éloigne de plus en plus à mesure que l’épidémie se tarit dans le monde entier. Les essais cliniques en cours sont d’ores et déjà court-circuités par un protocole différent que celui imposé à tous par l’IHU de Marseille, pourtant sans preuve d’efficacité rigoureuse et indépendante. Les critiques de déni s’accrocheront probablement à ces différences pour expliquer des résultats négatifs.
À l’heure où j’écris ces lignes, nous avons 4 essais cliniques randomisés, avec différent niveau de preuve et de qualité méthodologique, sur la controverse de la chloroquine et du Covid-19.
Sur ces 4 essais cliniques :
- 3 rapportent l’absence d’effet de l’hydroxychloroquine
- 1 rapporte un effet bénéfique. C’est l’essai clinique de Didier Raoult très contesté et désavoué par la société éditrice du journal, comme pour l’étude du Lancet.
- Sur les 8 études observationnelles publiées, seulement deux rapportent un effet positif contre 6 qui ne rapportent aucun effet positif ni négatif.
Pour certains, la controverse est déjà close et persister à étudier cette molécule serait une perte de temps considérable pour d’autres sujets, autrement plus importants, de la recherche biomédicale.
10 commentaires
Votre lecture de la controverse sur l’HCL est tout à fait déficiente ; en effet, l’IHU Marseille promeut son protocole sur les patients aussi vite que possible et bien avant l’hospitalisation ( durant la phase virale de la maladie, phase 1). Tous les essais sur cette phase convergent positivement ( Chine, Corée, USA, Espagne…)
Les études défavorables sont toutes faites à l’hopital sur patients en phase 2 ou 3 de la maladie : phase immunitaire puis phase de réanimation. Ces études étaient en fait inutiles et démontraient une incompréhension totale de la preco de l’IHU. Une telle incompréhension est in fine « dure à avaler »
Bonjour Daniel,
Merci de ce commentaire. Ce qui me chiffonne le plus dans cette controverse, c’est que nous n’avons aucune étude publiée qui montre l’efficacité de la bithérapie en phase précoce sur l’aggravation de la maladie ou la mortalité.
J’ai beau chercher, je ne trouve pas ces études qui pourraient apporter une crédibilité scientifique aux préconisations de l’IHU.
Si vous avez ces études, je suis preneur.
Pas d’étude publiée sur l’efficacité de l’hydroxychloroquine ?
Je suppose que vous plaisantez. Regardez par exemple la liste des etudes pour et contre insérée dans la meta analyse de l’IHU Marseille. Regardez egalement l’article du professeur americain de Yale dans l’AJI
Je me demande aussi si vous ne confondez pas “preuve scientifique” avec “etude correspondant parfaitement aux canons de la methode des RCT”.
Il n’y a aucun besoin de respecter la methode RCT pour correspondre à une demarche scientifique, et tout particulièrement dans le domaines des maladies infectieuses puisque le tempo d’une epidemie, qq mois fait que les resultats d’essais RCT sont disponibles apres la fin de la bataille. Il vaut mieux, lorsque l’on se situe dans une demarche de soins des malades, adopter des démarches – tout à fait scientifiques – correspondant à l’urgence, à la “guerre” décrétée contre le virus.
In fine du reste, presque personne en occident (il y en a eu en Chine et Corée, mais aussi en Espagne, positifs) n’a realisé de tests RCT sur aucun traitement.
La demarche Recovery du UK ou Discovery en France semblent s’être enlisés dans les sables.
Une bonne raison, me semble-t-il, est que personne de raisonnable et bien informé par un medecin traitant n’a de raison d’accepter de recevoir un placebo contre HCL+AZT
In fine, les RCT sont adaptés a des essais où l’on essaie de montrer qu’un nouveau medicament (cher) a qq chances d’être un peu plus efficace en % qu’un autre existant (moins cher) – c’est là que les promoteurs (et payeurs) principaux de RCT (les pharma) sont legitimes (avec les limites qui s’attachent a des essais menés de facto par une pharma structurellement en conflit d’interet)
Bien cordialement
Bonjour Daniel,
Mon message sur les preuves scientifiques était précis. J’ai dit que nous n’avons aucune étude scientifique publiée qui a montré le moindre bénéfice de l’association HCQ et AZI sur l’aggravation de la maladie ou la mortalité, avec un groupe contrôle off course, et initié en phase précoce, RCT ou non d’ailleurs. Sur ce point précis, celui qui nous intéresse le plus, la mortalité ou l’aggravation de la maladie, nous n’avons aucune preuve. Donc non, malheureusement, je ne plaisante pas et n’y prend pas de plaisir particulier : je parle juste des faits, de l’état de la science à l’heure actuelle. Mais je peux me tromper et avoir oublié des études rigoureuses, si c’est le cas, je serais ravie de pouvoir les lire si tu as des références !
Pour la liste des études de la méta-analyse de l’IHU, elle ne montre justement aucune étude publiée qui parle de bénéfice sur les deux critères que je te parle, et surtout, au stade précoce de l’infection, comme l’avance bien entendue l’équipe de l’IHU de Marseille. Je pense qu’il faut que tu relises attentivement cette méta-analyse pour faire le tri entre les documents internets et les pré-print, des études réellement publiées.
Pour les RCT en épidémie, le débat est plus qu’intéressant. Et je trouve donc assez paradoxale que l’équipe de l’IHU de Raoult ait réalisé un RCT en tout premier lieu (mais de très mauvaise qualité) alors que cette mêmeéquipe dénonce l’utilisation des RCT dans ce contexte. J’ai du mal à comprendre. Surtout que cette équipe avait donc les moyens, et le temps, de faire un RCT de qualité avec plus de monde, mais cela n’a pas été fait et nous n’aurons probablement jamais la réponse à cette question (même les députés de la commission d’enquête parlementaire n’ont pas eu de réponses).
Au plaisir de te lire
Et depuis Raoult a reconnu que ces études n’étaient pas valides.
Bonjour,
Ah bon ? Je n’ai pas vraiment vu cela passer, mais plutôt que ces études sont toujours aussi valides !
Tiens, puisque tu ne les a pas vu, je t’envoie les liens :
https://www.lequotidiendumedecin.fr/specialites/infectiologie/covid-19-lihu-de-marseille-reconnait-pour-la-premiere-fois-labsence-defficacite-clinique-de
https://www.lequotidiendupharmacien.fr/formation/specialites-medicales/infectiologie/lihu-de-marseille-reconnait-labsence-defficacite-de-lhcq
https://covid19-pressepro.fr/categorie/hydroxychloroquine/
Ah oui, ce passage de l’histoire m’avait échappé mais je ne l’avais pas loupé non plus.
Je trouve qu’on a fait beaucoup de bruit sur cette fameuse étude dont j’ai écrit un article parlant de “faux aveux”. Elle soulève surtout de grave problèmes méthodologiques et éthiques de la recherche clinique…
Ça c’est clair, cela pose des problèmes quand Raoult demandait à ses collègues de modifier leurs résultats pour qu’ils collent à son article !
https://www.capital.fr/economie-politique/des-membres-de-lihu-accusent-didier-raoult-davoir-falsifie-des-resultats-sur-lhydroxycholoroquine-1420582
Une dizaine de collaborateurs de l’IHU Méditerranée Infection de Marseille affirment avoir été contraints de modifier les résultats des études sur l’efficacité de l’hydroxycholoroquine.
https://actu.fr/provence-alpes-cote-d-azur/marseille_13055/les-collegues-de-didier-raoult-l-accusent-d-avoir-fausse-ses-etudes-sur-l-hydroxychloroquine_46583211.html
Justement, le “LancetGate” montre que la “lecture par les pairs” fonctionne puisque l’escroquerie du directeur de Surgisphère a été repéré par les lecteurs !