Les méta-analyses sont le symbole de l’argument ultime en science. Si ça peut sembler vrai, elles sont loin d’être parfaites, elles peuvent être biaisées, sujettes aux conflits d’intérêts et doivent être interprétées avec précaution.
Sommaire
Le Saint Graal en science
Les méta-analyses, mais qu’est-ce que c’est ? Ce sont des analyses globales de toutes les évidences ou études scientifiques publiées sur un sujet donné, pour faire ressortir un effet global avec une puissance statistique plus importante et une capacité d’aide à la décision plus importante.
Les méta-analyses permettent de prendre en compte les études positives, les négatives ou encore celles qui ne trouvent aucun effet. En théorie, elles nous permettent de nous affranchir d’un biais de sélection ou cherry picking.
C’est quoi le Cherry Picking ? C’est le fait de choisir certaines études qui ne vont aller que dans un sens et ignorer toutes les autres études, surtout celles qui invalident l’idée de départ. On peut faire du cherry picking par inadvertance, et ça peut être excusable, ou bien sciemment, et là, c’est beaucoup moins cool.
C’est bien pour ça qu’on fait des méta-analyses, pour trancher sur l’effet négatif, positif ou nul d’une pratique, peu importe la discipline.
C’est devenu aujourd’hui la méthode d’analyse des données la plus sérieuse pour statuer sur l’efficacité d’une pratique.
En général, et moi le premier, on repose énormément sur ces méta-analyses qui permettent à la fois de faire un état de l’art de la situation (une revue systématique) et une analyse globale (la méta-analyse à proprement parler).
Elle représente donc un formidable outil qui permet d’asseoir la pertinence d’une pratique clinique, d’en créer une nouvelle ou d’essayer d’en arrêter une inutile.
On se rend de l’importance d’en réaliser pour des laboratoires pharmaceutiques qui voudrait démontrer sans l’ombre d’un doute l’importance d’un médicament par exemple.
Sauf que les méta-analyses peuvent nous jouer des tours. Et parfois, elles peuvent desservir la première cause de leur réalisation : aider les professionnels de santé pour mieux traiter les patients. Car une méta-analyse, c’est une tambouille où tous les ingrédients se mélangent selon une recette très particulière.
Mais qui nous garantit que les bons ingrédients ont été mis dans la marmite ? Qui nous garantit que la recette suivie est la meilleure pour ce plat-là ?
Voici un article pour mieux comprendre les subtilités des méta-analyses, simplement, sans modèle mathématique ou fonctions algébriques incompréhensibles.
Cet article donne les bases pour critiquer constructivement une méta-analyse et ne pas les ériger en preuves absolues sans scepticisme.
Les problèmes avec les méta-analyses
Le choix des études
Une méta-analyse, c’est plusieurs études. Mais comment les choisir ? Déjà, c’est le premier point sensible de ce genre d’analyse globale qui est en réalité fortement dépendante de son jeu de donnée de base.
Pour faire une méta-analyse, les auteurs établissent des critères d’exclusions et d’inclusions qui leur sont propres pour choisir ou inclure une étude. Il en ressort un pool d’études qu’on va ensuite torturer statistiquement.
Mais si votre sélection vous permet d’ignorer certaines études (défavorables à votre opinion) et d’en choisir d’autres (favorables à votre opinion), vous n’allez pas refléter la réalité.
C’est un problème majeur des méta-analyses en partie encadrer par une analyse minutieuse de la qualité de toutes les études qui ont été choisies.
Autrement dit, si vous n’avez que des études de mauvaises qualités, la puissance de votre méta-analyse en sera d’autant plus faible et ses conclusions moins crédibles.
Au contraire, une méta-analyse a des conclusions puissantes si elle se base sur les meilleures études, les plus indépendantes, qui reflètent au mieux la réalité.
Bien souvent, les intérêts cachés derrière une méta-analyse entraînent une sélection biaisée des études scientifiques qui iront valider votre hypothèse, ou celle de votre sponsor. C’est un piège qu’il est important à garder en mémoire quand on lit une méta-analyse.
On retrouve bien entendu cette stratégie dans la guerre du sucre. Les fabricants de soda riche en sucres payent régulièrement des chercheurs pour invalider le lien entre la consommation de soda et le risque de diabète ou d’obésité, grâce à des méta-analyses biaisées.
…Alors que toutes les méta-analyses indépendantes retrouvent bien une association avec le diabète et l’obésité.
On retrouve cette guerre des méta-analyses pour les médicaments les plus vendus, comme les statines. Des chercheurs soutenus financièrement par l’industrie pharmaceutique publient régulièrement des méta-analyses dans les journaux médicaux les plus prestigieux, afin de démontrer l’utilité et l’innocuité des statines.
Donc, avant de faire intuitivement confiance à une méta-analyse, il faut bien prendre en compte la nature des études choisies, comment ont-elles été choisies et pourquoi certaines bonnes (ou mauvaises études) auraient été écartées.
- Exemple des mammographies de dépistage
Cet exemple est désormais connu, mais les plus récentes méta-analyses de la collaboration Cochrane ne trouvent aucun bénéfice sur la mortalité grâce à la mammographie, si on se restreint aux meilleures études.
En revanche, si on intègre toutes les études sur ce sujet, même celles sujettes à de sérieux problèmes, un bénéfice est trouvé.
- Exemple des oeufs et des maladies cardiovasculaires
Un exemple récent, mais dans mon dernier article sur l’impact d’une consommation régulière d’oeuf sur notre risque de diabète, une méta-analyse trouvait un risque de 13% en analysant toutes les études.
Un risque qui disparaît quand les auteurs se bornent aux meilleures études.
Forcément, cela nous conduit à également faire attention aux intérêts derrière les méta-analyses. C’est le point suivant.
Les intérêts derrière les méta-analyses
Vous l’avez compris, une méta-analyse va peser lourd dans le poids d’une prise de décision pour ou contre un médicament. Il est donc important, surtout pour les laboratoires, que les méta-analyses apportent un résultat positif.
L’indépendance des auteurs et les sources de financement doivent donc faire partie de la lecture critique d’une méta-analyse.
Il ne faut pas non plus se jeter dedans sans réfléchir. Un conflit d’intérêts ne disqualifie pas une méta-analyse, mais invite à la précaution. Comme celles qui sont indépendantes d’ailleurs.
Ces deux points nous montrent clairement que des intérêts orientés peuvent facilement faire pencher arbitrairement, et frauduleusement, la balance d’un résultat d’un côté plutôt qu’un autre.
À ce titre, on préféra les méta-analyses publiées par des groupes sérieux et plus ou moins indépendants (du moins qui s’en protègent beaucoup), comme la collaboration Cochrane, Mayo Clinique, ou encore l’école de santé publique de Harvard.
Les différences entre les études (hétérogénéité)
Toutes les études analysées ensemble ne sont pas strictement identiques. Les protocoles peuvent changer légèrement, les variables mesurées, la durée de l’étude et bien d’autres encore.
Du coup, il est important de regarder les résultats d’une méta-analyse à la lumière de son hétérogénéité (i²) entre les études. Plus cette hétérogénéité sera élevée, plus les différences entre les études seront importantes, et moins les résultats seront crédibles.
On considère qu’une hétérogénéité est :
- faible si < à 25%,
- modéré si vers 50%
- forte à partir de 75%.
Les différences entre les études peuvent également être appréhendées par des analyses supplémentaires dites de sensibilité. Elles servent à faire varier des paramètres, à prendre en compte des erreurs, et vérifier si nos résultats passent le cap.
Donc, concernant nos méta-analyses, il est important de regarder l’importance de l’hétérogénéité (i²) et de vérifier si les auteurs ont réalisé une analyse de sensibilité.
L’analyse des biais
Aujourd’hui, une bonne méta-analyse contient forcément une analyse critique des études choisies. A l’exemple du tableau suivant, les études sont passées au crible pour savoir où sont les problèmes et les forces.
Les (+) vert indiquent un faible risque de biais, inversement pour les (+) rouge. Les (?) jaune indiquent un risque de biais inconnu.
Ce genre d’analyse est indispensable pour mesurer la puissance du jeu de données, et pour savoir si les résultats seront crédibles ou sujets à caution.
À retenir
Les méta-analyses sont importantes pour synthétiser un grand nombre d’études scientifiques, pour valider ou invalider une pratique clinique et faire évoluer (notamment) les soins médicaux.
Ce n’est pas évident de faire des critiques des méta-analyses, surtout quand 20 ou 30 études sont incluses. C’est pour cette raison que l’on peut faire confiance à certains groupes qui produisent des méta-analyses que l’on sait de qualité, comme la collaboration Cochrane (même s’il faut conserver son esprit critique).
Elles restent néanmoins comme toutes les autres études sujettes à des biais et des particularités à prendre en compte dans l’interprétation des résultats.
N’oubliez pas de :
- vérifier les liens d’intérêts des auteurs et du financeur des méta-analyses
- vérifier le niveau d’hétérogénéité des études et le résultat des analyses de sensibilité
- vérifier la sélection des études et la qualité de ces dernières (analyse des biais)
Références
Riley, R. D., Higgins, J. P., & Deeks, J. J. (2011). Interpretation of random effects meta-analyses. Bmj, 342, d549.
Higgins, J. P., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ: British Medical Journal, 327(7414), 557.