Une nouvelle étude vient jeter le trouble sur la qualité des études cliniques parues dans les journaux scientifiques les plus prestigieux.
© Dur à Avaler
CONSORT : le respect des règles
Cinq journaux scientifiques parmi les plus prestigieux viennent d’être épinglés par une nouvelle étude pour non-respect des règles de bonne conduite scientifique, précisément dans la conduite des essais cliniques et la gestion des paramètres étudiés (outcomes en anglais).
Cette étude rapporte une nouvelle faille dans le processus de création du savoir scientifique et médical, et affaiblit une nouvelle fois la rigueur que l’on peut attendre des essais cliniques publiés dans les revues scientifiques les plus prestigieuses.
Aucune revue n’a été épargnée.
- Le New England Journal of Medicine (NEJM), le Lancet
- les Annals of Internal Medicine
- le Journal of the American Medical Association (JAMA)
- le British Medical Journal (BMJ)
Elles ont toutes publié des essais cliniques sans respecter un standard international : le CONSORT.
Ces règles internationales permettent de garantir une qualité dans la conduite des essais cliniques, dans l’obtention et la présentation des résultats. Ou au moins de vérifier ceux qui s’y éloignent.
Grâce à l’analyse de nombreuses règles par une équipe de l’université d’Oxford, et son auteur principal, Ben Goldacre, tire la sonnette d’alarme.
Cette équipe a analysé les erreurs et les manquements aux règles de déclaration des paramètres mesurés dans les essais cliniques, avant la réalisation de l’étude et à la fin de l’étude.
Autrement dit, avant de débuter une étude – par exemple sur l’effet de la consommation de beurre sur la santé cardiovasculaire – les chercheurs doivent coucher sur papier les paramètres qu’ils vont mesurer.
Dans notre exemple, le critère principal sera probablement la mortalité toutes causes confondues et/ou la mortalité cardiovasculaire, avec autant de paramètres secondaires qu’ils désirent (les accidents cardiovasculaires, les attaques, les angines de poitrine, etc. ,etc.)
Les chercheurs doivent ensuite – et c’est important – se tenir à ce plan de route. Ils ne doivent pas changer de paramètres principaux, en rajouter de nouveau ou en supprimer, ou si c’est le cas, cela doit être spécifié dans l’étude.
C’est bien l’une des règles de bonne conduite acceptée par nos prestigieux journaux médicaux.
9 essais cliniques sur 67 (seulement) respectent les règles
Les auteurs ont donc analysé les paramètres suivants :
- Le nombre d’études avec des protocoles disponibles AVANT de réaliser l’étude
- Le nombre d’études avec des paramètres principaux non déclarés
- Le nombre d’études avec des paramètres principaux erronés
- Le nombre d’études avec des paramètres secondaires erronés
- Le nombre d’études qui ont rajouté des paramètres à étudier sans les mentionner
Les résultats sont loin d’être flatteurs et sont résumés dans ce tableau avec un code couleur et le pourcentage associé.
| Journaux médicaux | Annals | BMJ | JAMA | Lancet | NEJM | Total |
| Pourcentage de protocole non disponible avant la réalisation de l’essai | 1 | 1 | 0,46 | 0,88 | 0,14 | 0,69 |
| Pourcentage des essais avec des paramètres principaux non déclarés | 0,8 | 0,67 | 0,15 | 0,17 | 0,05 | 0,37 |
| Pourcentage des essais avec des paramètres principaux erronnés | 0,56 | 0,75 | 0,18 | 0,29 | 0,04 | 0,36 |
| Pourcentage des essais avec des paramètres secondaires erronnés | 0,69 | 0,28 | 0,3 | 0,35 | 0,53 | 0,43 |
| Pourcentage des nouveaux paramètres sans avoir fait l’objet d’une déclaration | 0,06 | 0 | 0,39 | 0,09 | 0,03 | 0,12 |
| Moyenne des journaux | 0,62 | 0,54 | 0,3 | 0,36 | 0,16 | 0,39 |
“0” ou”0%” que toutes les études ont respecté le code CONSORT et les règles sous l’oeil des chercheurs d’Oxford (c’est la meilleure situation en vert).
“1” ou”100%” signifie l’inverse, aucun respect des règles. C’est la pire des situations (en mauve). La grille de couleur est arbitraire, c’est moi qui l’ai choisi pour que l’information soit plus visuelle.
Mais voici le détail des résultats.
- Premier point. 69% des études cliniques n’avaient pas déclaré de protocole avant d’être conduites. Annals, BMJ et le Lancet sont les pires. Le NEJM se démarque par son respect de cette règle.
- Second point.37% des études cliniques ont étudié des paramètres principaux non déclarés. Les plus mauvais élèves sont Annals et le BMJ. Le JAMA, le Lancet et le NEJM ont bien respecté cette règle.
- Troisième point. 36% des études cliniques n’ont pas correctement rapporté les résultats des paramètres principaux. C’est le BMJ qui obtient la palme du mauvais élève, avec 75% des études concernées. Le NEJM et le JAMA ont le plus respecté cette règle.
- Quatrième point. 43% des études cliniques n’ont pas correctement rapporté les résultats des paramètres secondaires. Tous les journaux sont plus ou moins concernés par ce point.
- Cinquième point. 12% des études cliniques ont eu de nouveaux paramètres sans avoir été déclaré dans le respect des règles CONSORT.
En résumé, et si on se borne à ces cinq paramètres, c’est bien le NEJM qui tire son épingle dujeu, suivi par le JAMA, puis le Lancet, le BMJ et finalement les Annals.
Mais ce n’est pas tout.
40% des lettres de correction sont publiées
C’est la seconde partie de cet article détonnant. Si les règles CONSORT ne sont pas respectées, le journal médical doit publier une lettre de correction pour avertir les lecteurs des erreurs et des manquements au respect des règles en vigueur.
Les auteurs ont donc minutieusement envoyé des lettres de correction pour les 58 essais cliniques qui n’avaient pas respecté les règles.
Les résultats sont très contrastés. Deux journaux, le BMJ et les Annals, ont publié toutes les lettres de corrections. Facile, il n’y en avait que 7 au total.
Le Lancet a publié 80% des lettres, soit 16 lettres sur 20. En revanche, ni le JAMA ni le NEJM n’ont publié de lettre de correction. Cela représentait 31 essais cliniques.
Des résultats qui viennent donc tempérer la relative bonne note du NEJM puisque ce dernier tant à ne publier aucune correction dans les erreurs manifeste des essais cliniques et le respect des règles CONSORT.
Mais si je vous disais que les auteurs étaient allés encore plus loin ?
Après avoir envoyé les lettres de correction, l’équipe de l’Université d’Oxford sous la supervision de Ben Goldacre a analysé les réponses des investigateurs des essais cliniques.
La mauvaise foi des investigateurs
Là aussi, les résultats interpellent. L’équipe de l’université d’Oxford a scrupuleusement noté tous les arguments invoqués par les investigateurs pour défendre leur travail. Et tout y passe.
La diversion en assénant que conduire des études scientifiques est un travail difficile, ou bien en précisant qu’il y a bien d’autres chats à fouetter autrement plus important que ça. Souvent, les investigateurs répondent à côté, et pire, faisaient des attaques personnelles ad hominem.
D’autres méthodes ont été utilisées, comme décrédibiliser ce travail d’investigation qui n’aurait pas de valeur contrairement à celui d’un comité de lecture (ou peer-review en anglais) ou bien jouer la confiance qu’on devrait leur accorder au lieu du respect des règles CONSORT.
Bien sûr, certains n’ont tout simplement pas accepté les erreurs soulevées par les lettres de correction. Les découvertes de l’étude COMPare ont été reniées dans leur ensemble par certains investigateurs… et bien d’autres.
Cette étude corrobore ce que je disais il y a peu dans un récent billet. Les publications scientifiques des journaux prestigieux comme le Lancet ou le BMJ ne doivent pas être en sacro-sainte vérité médicale, sans vice et méconduite scientifique.
Cette étude prouve que même ces fameux journaux médicaux qui font référence contreviennent aux propres règles auxquelles ils ont adhéré, et ne publient pas toujours (40% des cas) des lettres de correction.
Plus grave peut-être, mais les investigateurs de ces essais cliniques font preuve d’une forte mauvaise foi quand leur erreur sont mises en évidence. Toutes les stratégies sont bonnes (attaques personnelles, diversions, rhétoriques, etc.) pour recrédibiliser leur travail et rejeter les critiques.
Cette alerte doit être prise plus qu’au sérieux, et s’ajoute aux nombreuses déjà publié sur ce sujet.
Lisez par exemple les dernières révélations sur la faiblesse de la qualité des recommandations cliniques. C’est effrayant.
