5 raisons de se méfier de la science, ses résultats et son fonctionnement

La science est loin d’être parfaite. Voici des raisons sourcées pour se méfier sainement des résultats de la science et comment les améliorer.

Première partie de cette série : les 5 raisons de faire confiance à la science…

Si vous avez eu l’occasion de lire le premier article de cette mini-série sur les 5 raisons de faire confiance à la science, vous savez désormais que je vais aborder des points moins glamours, plus trash, et qui viennent ternir l’image de la science.

Forcément, la science et ses petits rejetons (les études scientifiques) peuvent être bien élevés, droits dans leurs bottes et veiller à faire le bien autour d’eux… Mais ils peuvent aussi se ranger du côté obscur de la force dirons-nous, et cumuler les problèmes et les biais qui désinformeront en bout de course.

Oui, la science est un outil précieux, qui possède ses forces et ses faiblesses. Des faiblesses bien plus nombreuses que l’on veut bien le croire et qui vont bien au-delà de ces seuls 5 points (heureusement ou malheureusement ?)

Je pense que cet article donnera du grain à moudre à la fois aux complotistes qui y verront l’incarnation même de la perversion et les autres en recherche d’avis plus contrastés sur la question. N’oublions pas, au final, d’éviter de jeter bébé avec l’eau du bain, car oui, ça peut lui faire mal avec ou sans eau.

Mais pourquoi faut-il aussi se méfier de la science ?

Elle n’est pas toujours indépendante et sert aussi des intérêts privés

La belle science désintéressée réalisée par une équipe vivant dans un sous-sol se nourrissant exclusivement d’amour, d’eau fraîche et du fruit des résultats de leurs recherches n’est pas vraiment la norme. Loin de là.

La science est désormais une question d’argent et de business. Pour faire de la recherche, mener des essais randomisés, enrôler des participants, engager des statisticiens pour faire tourner la machine mathématique il faut de l’argent, beaucoup d’argent.

De l’argent qui peut venir d’organisme public de recherche, comme l’INRA, le CNRS, l’Inserm et bien d’autres, mais aussi du privé. Les firmes pharmaceutiques et l’industrie agroalimentaire ont vite compris l’intérêt de financer la recherche scientifique. Produire du savoir, cela permet de rouler des mécaniques dans les couloirs de l’Assemblée Nationale, auprès des décideurs politiques ou dans tout autre organisme décisionnel pour valoriser son produit, son idée, sa thérapie.

Le privé est donc aujourd’hui l’un des principaux moteur de cette grande valse d’études scientifiques, au point où les scientifiques s’intéressent énormément aux effets – souvent pervers – de ces financements privés. On sait désormais qu’un produit qui passera sous les scanners de l’analyse scientifique aura plus de chance d’avoir un avis positif et favorable si le sponsor est aussi le fabricant dudit produit.

Je sais, c’est triste mais surtout logique. Exiger l’indépendance – ou a minima la transparence – dans la production du savoir académique n’est pas qu’une demande des complotistes. Je souhaite, et de nombreux autres chercheurs, médecins et scientifiques que la science puisse fonctionner avec plus de fonds publics. Un voeu pieux dans un monde où seules certaines universités ou équipes prestigieuses peuvent accumuler suffisamment d’argent pour faire tourner la boutique scientifique.

Après, pour que l’on soit bien d’accord, je ne remets pas en cause l’essai clinique de 4 milliards d’euros pour lancer un nouveau médicament X contre une maladie Y. Heureusement que les laboratoires ont cette charge financière, mais il devrait y avoir plus de contrôle, des protocoles plus stricts, la fin des exceptions, etc.

En fait, cette production de savoir venant d’intérêt privé devient extrêmement dérangeante, pour ne pas dire dangereuse, quand elle sert à tromper sciemment des décideurs ou créer de la confusion scientifique pour éviter les consensus et donc les lois un peu trop contraignantes. Ils sont malins. On pourra citer les tristement célèbres méta-analyses sponsorisées par l’industrie agroalimentaire pour jeter le doute sur le lien entre sodas, boissons sucrées avec diabète et obésité.

Ces travaux sont généralement bons, ce n’est pas le problème (les grandes firmes se payent les services de bons rédacteurs et analystes ne vous en faites pas), mais ils tordent la réalité dans tous les sens : ils choisissent certaines études, en écartent d’autres, usent de certaines méthodes et outils statistiques, des classes d’âges ou des sous-groupes particuliers pour faire émerger une conclusion qui leur plaît (et à leurs actionnaires).

Cette science-là est moche. Elle est notamment à l’origine de la terrible situation des traitements contre le cancer, avec plus d’une nouvelle thérapie sur deux qui n’a aucune efficacité en condition réelle. Pourtant, les autorités médicales ont donné le feu vert… sur la base d’études peu rigoureuses qui s’enchaînent dans un cadre très permissif aux dépends des malades.

L’industrie du sucre a fait la même chose. On prend des pointures dans le domaine, on les arrose de quelques milliers de dollars, et hop, une synthèse fantastique de la littérature scientifique vient blâmer les graisses et le cholestérol, tandis que le sucre passe sous les radars du législateur (l’industrie du tabac est pionnière dans le domaine).

La limite intellectuelle et complotiste à ne pas franchir : toutes les études sponsorisées par des intérêts privés sont mauvaises, biaisées, à jeter… Sûrement pas (elles sont d’ailleurs généralement de meilleure qualité). Le financement intervient dans la lecture critique, mais pas uniquement.

La relecture par les pairs n’est pas une garantie de qualité

Le peer-review ou la relecture du travail scientifique par les pairs – d’autres scientifiques qui le font gratuitement (c’est abusé oui) – est aujourd’hui un gage de qualité d’un journal, d’une étude et donc de sa validité.

Les relecteurs scientifiques d’un journal interviendront une fois que l’éditeur aura donné son feu vert. Ensuite, le temps des corrections viendra, et des va-et-vient entre les auteurs et les correcteurs pour disons améliorer le tout.

• Combien de relecteurs avons-nous par étude ? Généralement deux, parfois moins, parfois plus.
• Est-ce qu’ils ont du temps pour le faire ? Généralement pas.
• Est-ce qu’ils ont une rémunération ? Pas du tout, c’est un privilège en science d’être reviewers (surtout d’un grand journal, ne nous le cachons pas), quand bien même c’est une charge supplémentaire pour le plus grand bonheur des éditeurs (voir le scandale de l’édition scientifique.)

Donc, est-ce que le peer-review est un gage de qualité ? Oui et non. C’est un garde fou, le seul, et il est bien faible pour éviter de publier un nombre incalculable de bêtises ou d’études de très mauvaise qualité.

Dans ce domaine, des scientifiques s’amusent beaucoup. Vraiment beaucoup. Certains aiment prendre le système scientifique à son propre jeu pour montrer les faiblesses du peer-reviewing.

Le point God Win dans ce domaine a probablement était atteint en 2013 par un journaliste scientifique, John Bohannon, qui a généré aléatoirement des études scientifiques sur le cancer. Des études complètement bidons, avec des résultats invraisemblables et parfois inexistants, mais qui conseillaient quand même de soigner les patients le plus rapidement possible.

Sur les 106 journaux où les articles ont été soumis, et où la fameuse relecture par les pairs a eu lieu, 70% ont accepté les travaux, complètement bidon avec des faux noms, de fausses institutions. Plos One faisait partie de ces rares journaux a avoir refusé l’article après un peer-reviewing efficace.

On a de nombreux exemples qui montrent les limites évidentes du peer-reviewing dans l’univers académique, avec une étude sur le pénis conceptuel qui franchi la relecture sans le moindre problème, ou sur les bienfaits de consommer une tablette de chocolat par jour que je détaille dans mon dernier livre…

Il est donc important à garder en mémoire que le système actuel est loin d’être idéal, qu’il est perfectible et possède de nombreuses faiblesses (dont la variation dépend beaucoup des reviewers du moment et du journal, aussi).

Le pénis conceptuel : je vous l’ai dit, mais des chercheurs ont réussi à faire publier une étude – complètement incohérente – sur le pénis conceptuel dans un journal très sérieux avec une relecture par les pairs. Mais lisez vous-même la traduction du résumé, c’est collector !

“Des pénis anatomiques peuvent exister, mais comme les femmes transgenres préopératoires ont également des pénis anatomiques, le pénis vis-à-vis de la virilité est une construction incohérente. Nous soutenons que le pénis conceptuel est mieux compris non pas comme un organe anatomique mais comme une construction sociale isomorphe à la masculinité toxique performative. À travers une critique discursive poststructuraliste détaillée et l’exemple du changement climatique, cet article remettra en question le trope social dominant et dommageable selon lequel le pénis est mieux compris comme l’organe sexuel masculin et lui réaffectera un rôle plus approprié en tant que type de performance masculine.”*

*traduction Google Translate. Source : Lindsay, J., & Boyle, P. (2017). The conceptual penis as a social construct. Cogent Social Sciences, 3(1).

Elle est parfois frauduleuse, et faites par des chercheurs malhonnêtes

Le scientifique n’est clairement pas le chevalier blanc des temps modernes prêt à découvrir le dernier remède pour sauver des millions de personnes. Comme j’ai pu vous le dire dans le premier article de cette série, la majorité des études scientifiques sont conduites par des chercheurs de bonne foi qui essayent de produire un savoir le plus sérieux possible. Quand même.

Mais il y a un mais. La tendance aujourd’hui est à la hausse. Les cas de fraudes ou suspicions de fraude dans la rédaction scientifique et médicale ne cessent de grimper. Les causes sont multiples, mais la pression exercée sur les chercheurs ou médecin-universitaires pour publier toujours plus, et dans les meilleurs journaux possibles, est colossale. Dangereuse pour les chercheurs, pour la qualité des travaux scientifiques et le système tout entier (nous, les patients aussi !)

Les investigations sur les cas et la prévalence des fraudes en science ne sont pas une chose facile à mener. On peut le comprendre, les scientifiques coupables de fraudes ont bien du mal à répondre de leurs actes, et ne dénoncent pas si facilement des collègues. La pirouette consiste donc à passer par les statisticiens professionnels, largement sollicités par les scientifiques pour faire tourner les modèles et sortir les fameuses analyses statistiques – que l’on espère “significative” – pour être publié.

Et les professionnels des mathématiques en voient passer des vertes et des pas mûres concernant les demandes des chercheurs. Si les demandes les plus graves, comme de la pure falsification de donnée et d’analyses, sont rares (3% des sondés), d’autres doléances moins graves sont anormalement fréquentes.

Par exemple, 30% des statisticiens de l’étude ont eu au cours des 5 dernières années des demandes répétées d’interpréter les résultats des analyses statistiques en fonction des attentes des chercheurs, plutôt que sur la base des résultats eux-mêmes. Cocasse ou effrayant. À vous de choisir.

On retrouve dans ces études tous les comportements déviants des scientifiques pour obtenir les résultats les plus éclatants, les plus clairs et nets, dans l’unique objectif d’être publié dans les journaux les plus prestigieux (Lancet, NEMJ, BMJ, etc.)

De nombreux statisticiens (entre 30 et 45%) ont eu des demandes en ce sens. On fait retirer des catégories pour avoir des résultats plus “positifs”; on décrit les résultats sur la base de données non validée et non “propre”; on réalise de nombreuses analyses “post-hoc” pour “avoir des résultats plus impressionnants qu’ils ne le sont vraiment” d’après Min Wang de l’université de Maryland aux États-Unis (voir pourquoi il faut faire des lectures critiques des méta-analyses).

Je vous disais que la tendance actuelle n’était pas rassurante, à la hausse pour les fraudes et les demandes inacceptables, et notre équipe américaine à l’origine des questionnaires sur les biostatisticiens le confirme dans un suivi de ces mêmes professionnels, en 2019¹.

Durant les cinq dernières années, voici le genre de demandes ubuesques qu’ont pu recevoir les biostatisticiens (et le pourcentage d’entre eux concernés qui ont eu entre 1 et 9 demandes) :

• Modifier l’hypothèse nulle de départ quand cette dernière n’est pas soutenue par les données récoltées (40%)

• Supprimer les résultats de l’étude, car ils contredisent les résultats de précédentes études de l’équipe de recherche (32%)

• Ne pas signaler à l’éditeur du journal que l’étude publiée contient des résultats trompeurs ou mensongers (25%)

• Arrêter la conduite en aveugle de l’étude, mais ne pas le signaler (15%)

En bref, on imagine la tête déconfite des auteurs de ces sondages devant l’ampleur et la fréquence de certaines demandes. Malgré les résultats déconcertants, l’équipe de l’université du Maryland propose des solutions.

1. Développer des modules d’éducations à la recherche pour les scientifiques en biomédicale

2. Améliorer l’environnement de ces chercheurs afin de réduire la pression pour obtenir ou conserver son travail et le besoin de publier (le fameux publish or perish que l’on adore tant…)

3. Inclure dès la conception des études médicales des biostatisticiens professionnels pour limiter les dégâts avec des protocoles légers comme l’air et des demandes frauduleuses pour faire passer la tambouille

Funny fact (ou pas) : les hommes sont impliqués dans plus de 2/3 des cas avérés de fraudes scientifiques². Une raison peut-être pour faire davantage confiance aux études publiées par des femmes ?

Les fraudes au peer-review, à ne pas oublier. C’est à la mode dans le monde académique chinois, où la pression de publication est telle que les chercheurs franchissent toutes les limites pour conserver leur statut, leur financement et leur notoriété. Par exemple, quand des éditeurs manquent de reviewers (les gars qui font le peer-review), les scientifiques qui souhaitent publier conseillent des reviewers à l’éditeur.

Problème, soit ce sont des amis ou des étudiants du chercheur, et le papier va passer crème, soit le reviewer est effectivement indépendant et très bon, mais le chercheur va envoyer une adresse mail bidon dont il aura l’accès et assurera lui-même les réponses et sa propre relecture. Là, on est quand même dans le bas du panier. Mais ça existe…

Elle n’est pas transparente à tous les niveaux

La transparence dans le recherche scientifique, surtout en biomédicale, n’est pas du goût de tout le monde. La faute aux comportements des chercheurs d’une part, qui omettent au mépris de la loi de déclarer leur lien d’intérêt, et d’autre part au système, qui autorise un flou artistique – notamment dans la non-publication des essais négatifs^{3 4}.

Ce dernier point est fondamental. Il n’est pas si connu que ça, et pourtant, ses implications dans la vie (et la santé) des patients sont majeurs. Pourquoi ? Car les firmes pharmaceutiques qui élaborent un médicament abandonneront la publication des résultats s’ils nuisent à la firme (pas d’effet positif avec des effets secondaires graves et fréquents par exemple).

En choisissant quels résultats seront publiés et quels autres seront mis dans un placard à tout jamais, les investigateurs et leurs sponsors biaisent la recherche biomédicale, et tendent à minimiser ou cacher des thérapies dangereuses, inutiles, non éthiques et chères à la communauté scientifique et aux décideurs.

Mais comment cela arrive-t-il ? Car les journaux scientifiques – les éditeurs qui sont aux commandes – préfèrent publier des études statistiquement positives. En bref, on veut du P<0.05 pour les intimes. C’est mieux pour le journal qui pourra espérer obtenir plus de citations, et donc accroître son facteur d’impact, le plus misérable des indicateurs de la “qualité” d’un journal (qui est pourtant la norme…)

La solution a ce problème grave est pourtant simple : rendre obligatoire la publication de tous les essais menés, même ceux avec des résultats négatifs ou neutres. Une équipe de recherche italienne et anglaise s’en alertait en 2015 et nous rappelait que “la clé pour éviter la sous-déclaration et les études hyper-affirmatives devrait être de motiver les investigateurs à soumettre toutes les études de bonne qualité pour publication et de contribuer à l’éducation des éditeurs, des examinateurs (reviewers) et des investigateurs, que les résultats nuls ou négatifs sont aussi importants que les résultats positifs.”⁵

Heureusement, des garde-fous existent, mais ne permettent pas non plus de lutter efficacement contre cette dérangeante tendance. Les essais cliniques doivent être maintenant déclarés – si vous voulez avoir toutes les chances d’être publié – dans des grandes bases de données comme ClinicalTrial.gov venues des USA ou la European union Drug Regulating Authorities Clinical Trials – (EudraCT) venue elle d’Europe.

La démarche reste sur la base du volontariat. Pas de quoi fouetter un chat ou révolutionner cet univers impitoyable. Dans le genre bonne initiative, un journal scientifique veut combler la brèche des études négatives non publiée. Avec un nom ô combien révélateur, le Journal of Negative Results in BioMedicine a pour mission et but “d’encourager la publication de résultats nuls, en corrigeant les biais dans la littérature.”

Un autre point, que je vais rapidement aborder avec vous, concerne le non-respect d’un standard scientifique dit CONSORT. Un standard qui vise à améliorer la transparence des essais cliniques, ainsi que leur qualité, avec par exemple la déclaration des paramètres principaux et le respect du protocole scientifique (quand ce dernier a été donné…)

Oui, les journaux scientifiques, parmi les plus prestigieux dans le domaine de la santé, sont de bien mauvais élèves dans le respect de ce standard international. La transparence et l’éthique en prennent pour son grade. Grâce au travail dérangeant de Ben Goldacre, à l’université d’Oxford, on s’est rendu compte que parmi les 5 journaux médicaux les plus cités, 87% des essais cliniques ne respectaient pas les règles CONSORT dans la période d’analyse⁶.

Ce travail a aussi mis en lumière la piètre réactivité des journaux pour publier les lettres de rectification quand des investigateurs changent leur plan en cours de route⁷. Pire, les scientifiques peinent à l’accepter quand leurs défauts sont exposés au grand jour. Le déni est souvent la réponse préférée de ces chercheurs, avec les attaques personnelles ou les diversions rhétoriques.

Elle peut dégrader des recommandations médicales ou nutritionnelles

Bien sûr, à l’inverse de l’amélioration possible des connaissances médicales et des pratiques cliniques (ou des conseils en nutrition par exemple), les publications scientifiques peuvent entraîner l’exact opposé.

L’ensemble des points précédents doivent déjà vous alerter sur les menaces réelles dans la qualité des recommandations médicales. Si la transparence est mise à mal, les conflits d’intérêts de plus en plus présent et sous-déclaré, avec des bidouillages statistiques et des études négatives mises au placard… ça commence à faire beaucoup.

Justement, des synthèses et des analyses critiques de certaines de grandes recommandations cliniques montrent la légèreté et la mauvaise qualité des études scientifiques à la base desdites recommandations.

L’enfumage scientifique de grandes compagnies, avec au hasard celle du tabac et du sucre (vraiment au hasard), a permis de diluer dans le temps la dangerosité du tabagisme et du sucre ajouté avec les boissons et soda sucrés. Les résultats contradictoires, alimentés par ces firmes malveillantes, ont permis de court-circuiter les consensus scientifiques défavorables aux industriels. Car qui dit consensus très défavorable pour un tel, dit nouvelle législation et série d’interdictions. Les industriels n’en veulent pas et jouent la montre, en se payant le luxe de publier quelques méta-analyses très favorables. J’en détaille de nombreuses dans mon ouvrage sur ce sujet, c’est sidérant.

La science et la recherche scientifique sont-elles malades ?

En écrivant ces lignes, je découvre que la Food and Drug Administration (FDA) aux États-Unis, qui régule les médicaments notamment, vient tout récemment de rendre les conditions de mises sur la marché encore plus simple : un seul essai clinique demandé contre deux avant le 19 décembre 2019.

Cette situation extrêmement laxiste sur les conditions de mise sur le marché, aussi bien aux USA qu’en Europe, permet d’avoir des thérapies au mieux inutile et au pire dangereux, avec une illustration particulièrement mortifère pour le traitement du cancer.

La production du savoir scientifique est donc bien malade aujourd’hui. Elle reste notre meilleure carte dans ce monde complexe où l’on essaye de prendre les meilleures décisions, afin de préserver la santé des patients (et la sauver surtout), mais les dés sont de plus en plus pipés.

Régler le problème de la transparence et des financements n’aura pas un effet salvateur et magique sur le système académique et médical, tellement il y a de facettes et d’anormalités qui doivent être corrigées. Le système de publication et de relecture par les pairs en fait également partie.

Cet article, contrairement à son aîné publié quelques jours plus tôt et autrement plus positif, montre les limites de notre système actuel. Il est clairement défaillant, et rempli de brèches entretenues par les sociétés privées et parfois l’administration publique qui ne montre aucune intention de colmater ces dangereuses fissures. Car parfois des pans du mur s’effondrent : ce sont les scandales sanitaires.

J’ai bien sûr “oublié” d’aborder de nombreux autres aspects de ce système médical et scientifique comme l’influence et l’impact – souvent très négatif – des leaders d’opinion (key opinion leader en anglais) qui font la pluie et le beau temps dans les congrès et les pratiques médicales. Je pourrais aussi vous parler plus en détail des nombreux problèmes méthodologiques qui se concentrent dans les études cliniques ou en nutrition et qui altèrent la fiabilité et la qualité de nos recommandations.

En bref, cet article pose sur la table des arguments qui plaident indéniablement pour la méfiance. Une méfiance qui doit être saine et qui permet à tout un chacun de mieux appréhender le grand tableau de la science d’aujourd’hui, ses implications et ses limites.

• A lire : comment évaluer la qualité des sources ?

Et vous, quels problèmes ou soucis particuliers vous voyez dans le système actuel (et l’inverse aussi !) ?