Comment j’ai piégé une revue scientifique

J’ai réussi à faire accepter après relecture par les pairs un papier complètement bidon et incompréhensible dans une revue scientifique. Ce piège met en lumière les méthodes peu scrupuleuses de ces revues pour faire de l’argent au détriment de la science et de la connaissance.

Le Graal du scientifique

Publier des études scientifiques dans des journaux, c’est le Graal du chercheur. Pour sa réputation, pour sa carrière ou tout simplement pour de la reconnaissance, parfois pour de l’argent.

Un scientifique doit publier dans des revues scientifiques pour exister. Mais toutes les revues ne sont pas logées à la même enseigne.

Il faut trier le bon grain de l’ivraie.

Et parmi l’ivraie, on retrouve les fameuses revues prédatrices.

Ces revues utilisent la précarité et la pression qui repose sur les épaules des scientifiques qui doivent absolument publier pour continuer de travailler. Elles proposent souvent de publier facilement des études de très mauvaise qualité, sans relecture critique (on parle du peer-review ou relecture par les pairs) ni avis sérieux, en contrepartie d’une belle somme d’argent.

C’est archi-connu dans le monde de la recherche, à tel point que des sites se sont spécialisés pour répertorier ces revues aux comportements prédateurs.

Et c’est là que l’histoire devient très intéressante.

Car je vais vous raconter comment j’ai piégé une revue prédatrice en faisant accepter une étude complètement bidon, générée aléatoirement il y a plusieurs années par une équipe du MIT.

Une « étude » qui ne veut strictement rien dire, du début à la fin. Il n’y a aucune logique, aucune démonstration.

Tout est absolument faux. Pourtant cela n’aura pas empêché ce papier de passer la sacro-sainte étape du peer-reviewing en moins d’un mois.

Je vais tout vous raconter, et surtout pourquoi j’ai fait ça. Car je n’ai pas choisi une revue au hasard.

La revue que j’ai choisi appartient à un éditeur bien particulier, sélectionné par un groupe de français qui souhaite faire reconnaître des traitements miracles contre le cancer. Ces personnes ont pu faire publier un travail d’une qualité scientifique très basse où la qualité et l’exactitude des recherches n’est pas la priorité.

Mais l’argent oui.

L’objectif était bien sûr de montrer à quel point ce groupe d’édition n’est pas sérieux et comment il peut piéger des chercheurs, ou servir de marchepied scientifique pour faire valoir des idées farfelues ou scientifiquement infondées.

Les rouages du piège

La cible et l’appât

JScholar Journals, voilà le nom de ma cible.

Un éditeur scientifique qui propose des dizaines et des dizaines de journaux dans toutes les disciplines possibles et imaginables.

On parle de maladies mentales, métaboliques en passant par l’informatique ou l’urbanisme.

Tout y passe.

Pour être publié chez eux, on vous demandera entre 900 et 2400 $, rien que ça !

Mais pour que mon piège fonctionne, je dois avoir un appât parfait.

Une étude qui…

• tienne un peu la route
• respecte les standards de la communauté scientifique (introduction, matériels et méthode, résultats, discussion, etc)
• présente des résultats étonnants, très techniques
• doit être grossièrement fausse, ou ne voulant strictement rien dire pour que la démonstration soit édifiante.

Justement, je connais un site d’anciens étudiants du prestigieux MIT qui propose un logiciel en accès libre de génération d’études scientifiques aléatoires « SCIgen ».

Des études grammaticalement correctes, qui respectent tous les standards de la communauté scientifique mais qui ne veulent rien dire !

Malheureusement le générateur ne fonctionne plus.

J’ai donc dû récupérer un ancien papier déjà généré aléatoirement. Une étude en informatique au titre incompréhensible pour le commun des mortels (mais aussi pour les spécialistes) « Rooter: A Methodology for the Typical Unification of Access Points and Redundancy ».

Le PDF est accessible ici.

Le papier est signé de trois auteurs, Jeremy Stribling, Daniel Aguayo et Maxwell Krohn qui s’avèrent être les étudiants à l’origine de ce projet pour piéger des revues scientifiques peu regardantes.

Ce papier a déjà été accepté en 2005 dans une conférence en informatique mais sans avoir été relu par les pairs.

Maintenant que nous avons un appât parfait, il ne manque plus qu’à choisir le bon journal chez notre éditeur, tendre notre piège et voir si ça mord.

Je me crée donc une adresse mail au nom de Jérémy Stribling et décide de soumettre cette étude au journal le plus adapté de notre éditeur…

Trouvé !

Journal of Computer Science and Software Development.

Une cible parfaite. C’est près de 1.000 $ qu’il me faudra payer pour être officiellement publié. Je ne vais bien entendu pas le faire. L’objectif est de passer toutes les étapes d’acceptation, sans donner un seul centime.

J’ai donc soumis mon article avec ma fausse identité.

La suite est magistrale.

Jeter l’appât

Il faut bien comprendre que ce papier sur l’informatique ne veut strictement rien dire. 22 références totalement fictives sont citées dans l’étude.

Il est impossible de trouver ces études et les PDF en ligne. Elles n’existent tout simplement pas.

Les figures sont totalement inventées, elles ne signifient rien si ce n’est un charabia incompréhensible mais qui sonne juste et semble être extrêmement scientifique et pointu.

Autrement dit : le papier parfait pour piéger des éditeurs peu regardants.

Je vous laisse admirer la traduction en français du résumé de cette « étude » fictive, c’est du caviar :

« De nombreux physiciens seraient d’accord pour dire que, sans le contrôle de la congestion, l’évaluation des navigateurs web n’aurait peut-être jamais eu lieu. En fait, peu de hackers dans le monde seraient en désaccord avec l’unification essentielle de la voix sur IP et de la paire de clés publique/privée. Afin de résoudre cette énigme, nous confirmons que les SMPs peuvent être rendus stochastiques, cachables et interchangeables. »

Et je ne résiste pas à l’envie de vous partager un autre paragraphe :

« Nous considérons un algorithme composé de n sémaphores. Toute synthèse non prouvée de méthodologies introspectives nécessitera clairement d’exiger que l’algorithme fiable bien connu pour la recherche d’algorithmes randomisés par Zheng soit en Co-NP ; Notre application n’est pas différente. La question est de savoir si Rooter satisfait-il à toutes ces hypothèses ? Non. »

Et je n’ai d’ailleurs respecté AUCUNE règle de soumission du journal.

• Je n’ai envoyé aucune lettre à l’éditeur pour justifier de la qualité de ce papier
• Je n’ai respecté aucune règle sur l’organisation des paragraphes…
• Rien sur le nombre de mots autorisés, les détails de mes « collègues »…
• J’ai inventé des numéros de bourse de recherche ainsi que les noms de certains collègues dans les remerciements.

Bref, rien ne va. Absolument rien.

Quand le piège se referme

Pourtant, le jour même de ma soumission, je reçois officiellement ma première réponse d’un éditeur du journal en question pour me remercier d’avoir soumis mon travail chez eux.

Mais l’éditeur n’est pas né de la dernière pluie.

Ils ont fait une recherche en ligne avec le titre de ce papier pour vérifier qu’il n’existe pas ailleurs.

Et là c’est le drame.

Car ce papier est en ligne partout avec des milliers de résultats Google !

L’éditeur me prévient sans surprise qu’il a trouvé le même papier en ligne ici, et que ce dernier ne doit pas être publié ailleurs.

Très honnêtement, avec un tel résultat sur Google, je pensais que le piège n’allait jamais marcher… Et pourtant.

Je lui réponds pour le rassurer en lui prétextant que ce site est notre serveur interne de préprint qui a uniquement un but éducatif, et que nous supprimerons le lien et l’étude une fois qu’ils auront accepté notre étude.

Plus c’est gros, plus ça passe.

Car trois jours plus tard, et seulement trois jours après ma soumission avec toutes les alertes qu’on puisse imaginer, l’éditeur m’annonce la merveilleuse nouvelle !

Le papier est accepté et ils seront « heureux de le publier dans leur journal » !

Le papier vient donc de passer la première vérification de qualité (pre-quality check) et va désormais subir une relecture par les pairs.

Passer cette première étape est déjà un miracle en soi.

La preuve de l’absence de la moindre relecture critique de ce travail alors que l’on peut rapidement se rendre compte de l’incohérence totale de l’étude.

Il me demande bien sûr de supprimer l’article que l’on peut trouver en ligne – et qui mène pourtant directement à la page de génération aléatoire d’articles scientifiques !

Je précise que la demande a été faite à nos administrateurs réseaux, mais que cela risque de prendre du temps mais qu’ils ne doivent pas s’inquiéter.

Je vous le dis, plus c’est gros, plus ça passe.

La « rigoureuse » relecture par les pairs

Après ces échanges rapides, et un premier miracle avec l’acceptation du papier, il faudra faire preuve de patience.

La plateforme en ligne de publication me précise que les commentaires critiques de mon étude seront bientôt envoyés.

J’ai reçu le 30 juin, soit 24 jours plus tard, la fameuse réponse des relecteurs ou reviewers en anglais.

Quiconque a déjà soumis un article scientifique dans une véritable revue scientifique sait que les retours des reviewers peuvent être terribles… et longs. Des dizaines et des dizaines de questions, des analyses à refaire, des points entiers à revoir, des paragraphes à réécrire… cela peut prendre des mois et des mois, quand l’étude n’est pas tout bonnement rejetée.

Un casse-tête qui permet justement d’améliorer la qualité des papiers et d’éviter de – trop – publier n’importe quoi.

Cela prend généralement plusieurs mois, voire des années dans certains cas.

Mais pour moi, rien de tout cela. Il m’aura fallu moins d’un mois pour avoir une acceptation post review officielle. Le retour du ou des relecteurs est lunaire.

Lu-naire.

On m’écrit noir sur blanc que mon papier, qui n’a pourtant ni queue ni tête est « intéressant et mérite d’être publié dans le journal ».

J’ai le droit à des « révisions mineurs ». Dans le jargon, c’est quand on a fait un papier plutôt extraordinaire ou bien que le journal ciblé n’est pas très regardant.

En gros, ils me demandent d’expliquer plus « clairement » la méthode, et je veux bien les croire car elle ne veut strictement rien dire, comme tout le reste.

Ils me demandent aussi de déplacer un paragraphe, avec des références qui seraient manquantes dans le texte, et que je devrais améliorer la qualité des images.

C’est tout.

Rien d’autre.

Aucune remarque sur le fait que les références sont toutes inventées, ou que les expériences n’ont aucune signification particulière. Rien que la première référence est extrêmement louche.

« Aguyao, D.,  Aguyao, D., Krohn, M., Stribling, J., Corbato, F., Harris, U., Schroedinger, E.,  Aguyao, D., Wilkinson, J., Yao, A., Patterson, D., Welsh, M., Hawking, S., and Schroedinger, E. A case for 802.11b. Journal of Automated Reasoning 904 (Sept. 2003), 89–106. »

Le titre de cet article « A case for 802.11b » ne signifie rien. On retrouve 3 fois le même auteur dans la description de la référence.

Et que dire de la conclusion de l’article traduite en français ?

« Nous avons motivé ici Rooter, une analyse de la rastérisation. Nous laissons de côté une discussion plus approfondie en raison des contraintes de ressources. Dans le même ordre d’idées, les caractéristiques de notre heuristique, par rapport à celles d’applications plus méconnues, sont nettement plus malheureuses. Ensuite, notre algorithme a créé un précédent pour les modèles de Markov, et nous pensons que les théoriciens exploiteront Rooter dans les années à venir. En clair, notre vision de l’avenir des langages de programmation inclut certainement notre algorithme. »

Une vaste blague.

Il y a pourtant une page Wikipédia qui parle spécifiquement de cet article bidon, et de son acceptation (mais non relu par les pairs) lors d’un congrès en 2005.

C’est donc la première fois dans l’histoire de ce papier créé artificiellement par des chercheurs du MIT, qu’il obtient officiellement le précieux sésame d’une acceptation après un peer-reviewing.

Le grand n’importe quoi

A ce stade je me suis retrouvé un peu embêté. J’ai envie d’aller plus loin mais cela signifie que je dois faire les modifications demandées par le journal.

Et je n’ai qu’un PDF. Ni une ni deux je trouve un logiciel gratuit pas trop mal pour convertir un PDF en fichier texte.

Mais je décide d’aller encore un peu plus loin dans cette édifiante démonstration.

Car je ne vais rien faire de ce qui m’est demandé, et même l’inverse dans certains cas !

• Je dégrade la qualité des images au lieu de l’améliorer.
• Je change le titre de certains paragraphes sans les changer de place comme ils me le demandent.
• Je ne clarifie absolument pas la méthode. Et j’en serais bien incapable. Ni les références, et je ne vois d’ailleurs pas où est le problème…
• Je rajoute deux, trois trucs inutiles comme une adresse fictive au Royaume-Uni.
• Il reste de très nombreuses fautes de syntaxe, ou de mise en page…

Je soumets ensuite le nouveau manuscrit tout neuf en PDF. Mais problème : l’interface de soumission en ligne ne fonctionne pas.

Pas grave, j’envoie un mail à mon dernier correspondant… qui me répond quelques heures plus tard !

Et que me dit-il ? Il me félicite pour cet envoie et m’informe que je recevrais prochainement les fameuses « épreuves » de mon travail, sans même avoir relu mon nouveau manuscrit.

Les « épreuves », c’est la version quasi-définitive avant publication.

On se rapproche de plus en plus vers la finalisation du manuscrit et la fameuse demande de payer.

Seulement 24h après l’envoie de mon manuscrit « révisé », je reçois enfin le précieux sésame, et la publication mise en forme par l’éditeur du journal.

Je viens officiellement de faire publier une étude totalement bidon dans une revue scientifique qui défend pourtant utiliser une « rigoureuse relecture par les pairs ».

Voici l’épreuve finale en PDF.

En plus d’avoir accepté un travail déjà mis en ligne depuis plus de 15 ans, qui n’a ni queue ni tête, ce journal a publié ce « travail » sans que je fasse les modifications demandées.

J’ai royalement ignoré les remarques des éditeurs.

L’article est désormais en ligne et accessible sur le site de l’éditeur.

Une blague qui pourrait faire rire, mais qui peut rapidement faire déchanter quand on s’intéresse à des sujets bien plus sérieux… comme les traitements contre le cancer.

Le pourquoi du piège

Comme je l’ai dit au début de cet article, je n’ai pas choisi JCScholar au hasard.

L’éditeur est officiellement dans la Beall list des revues prédatrices. Mais il a surtout été choisi par une équipe de français pour faire publier une très mauvaise étude censée montrer l’intérêt d’un traitement naturel pour soigner le cancer.

Pour ceux qui ne le savent pas, c’est le Youtubeur Guy Tenenbaum qui est à l’origine de cette publication, avec un ancien chercheur affilié au CNRS, Maurice Israël.

Nous sauver de tous les cancers grâce à des compléments alimentaires et des extraits naturels, c’est la promesse faite par le youtubeur en pleine rémission d’un cancer de la prostate, découvert avec des métastases.

Le « samouraï » comme il s’appelle détaille sur sa chaîne Youtube son parcours médical et sa bataille contre le cancer. Une bataille rythmée par des « jeûnes » entre-coupés de poulet entier, d’avocat ou d’autres légumes et d’absolument tous les compléments alimentaires que l’on puisse trouver sur le marché.

Une bataille tronquée puisqu’il aura fallu attendre la publication de mon enquête complète et détaillée sur lui pour découvrir que ce dernier a bénéficié des traitements de référence pour son cancer.

Des hormonothérapies (firmagon, zytiga) et une opération chirurgicale (orchidectomie) qui n’est rien d’autre qu’une castration médicale pour bloquer la production de testostérone.

Mais le salut dans la rémission de son cancer et des métastases ne viendrait que d’une longue liste de compléments alimentaires, des phases de jeûnes chaotiques et d’un régime cétogène pauvre en sucre.

Maurice Israël et Guy Tenenbaum sont persuadés avoir trouvé des ingrédients naturels et sans danger pour lutter efficacement contre tous les cancers.

Ils y croient dur comme fer. Tellement qu’ils ont lancé il y a plusieurs mois une expérience sur des souris afin d’évaluer le potentiel thérapeutique de leurs remèdes.

Je ne reviendrai pas en détail sur cette publication de très mauvaise qualité qui s’appuie sur l’inhibition d’une enzyme en particulier (SCOT, dont je parle en détail ici) mais sur les rouages qui ont amené cette équipe a choisir l’un des pires éditeurs scientifiques.

Dans une ancienne vidéo, Guy Tenenbaum précise avoir choisi le journal édité par JCScholar, « Japanese Journal of Oncology and Clinical Research » car il est indexé sur Pubmed. Il est donc « connu et référencé ».

Il précise ainsi que la publication scientifique sur les souris a été acceptée par « une revue sérieuse à comité de lecture » signifiant que des « experts scientifiques ont contrôlé, accepté, vérifié nos dires dans cette publication et l’on considéré comme étant réaliste, réelle… »

Mais ils ne pouvaient pas se tromper plus.

Comme je l’ai montré dans la première partie de cette enquête, on peut faire publier absolument tout et n’importe quoi avec l’éditeur de ces journaux.

Plus grave, mais Guy Tenenbaum nous précise aussi avoir choisi ce journal car ils les « suivent depuis le début » et « ont beaucoup insisté » pour qu’ils publient chez eux.

C’est une méthode classique des revues prédatrices : ils font une sorte de harcèlement par mail pour pousser à la publication et misent sur la négligence des chercheurs qui se font avoir par des journaux qui copient des noms d’autres plus prestigieux.

C’est exactement notre cas ici.

Car le journal édité par JCScholar « Japanese Journal of Oncology and Clinical Research » n’est absolument pas référencé sur Pubmed et se rapproche comme deux gouttes d’eau d’un autre journal, lui connu et référencé, le « Japanese Journal of Clinical Oncology »

Mais ce n’est pas la première fois que cette équipe de français se fait avoir.

J’ai déjà montré dans une précédente enquête détaillée, comment Maurice Israel a pu faire publier trois articles quasiment identiques sur les dangers du régime cétogène dans trois différentes revues prédatrices. Des articles parfois identiques à plus de 70 %, mais acceptés par ces revues prédatrices en contrepartie d’une coquette somme d’argent.

Pour notre étude sur le traitement du cancer chez des souris, c’est la bagatelle de 2 280 $ qui a été déboursée pour voir sa publication acceptée et publiée en moins d’un mois !

L’objectif de ces personnes ? Avoir le précieux sésame scientifique qui atteste de la validité de leurs recommandations médicales pour soigner le cancer, à coup de compléments alimentaires.

C’est exactement de la même manière que certaines personnes ont pu faire publier dans des journaux avec comité de lecture la téléportation de l’ADN humaine grâce à la mémoire de l’eau.

La négligence de revues peu regardantes qui commercialisent des gages scientifiques.

Le but essentiel de ce piège était de montrer qu’il était possible de faire publier absolument n’importe quoi par ces revues peu scrupuleuses. Une méthode que certains ne vont pas hésiter à utiliser pour obtenir un crédit scientifique, et défendre ensuite des idées dangereuses, en agitant le précieux papiers « relu par les pairs ».

La ligne rouge

Ce piège met en évidence l’absence totale de relecture critique rigoureuse de cette étude avant publication dans une revue scientifique officielle.

Comme je pouvais m’y attendre, ce piège pourra être utilisé pour discréditer l’ensemble du système de publication scientifique, avec l’exemple le plus récent et le plus médiatisé du LancetGate.

Pourtant, ce piège est d’une toute autre nature qu’une fraude ou un maquillage de données brutes. Car la relecture par les pairs est un travail bénévole fait par d’autres chercheurs dans le domaine. Les chercheurs ont la double peine de devoir travailler pour faire publier leurs travaux, et une seconde fois (gratuitement) pour en faire une relecture critique.

Mon piège se rapproche d’autres canulars célèbres. Le fameux article sur l’hydroxychloroquine qui prévient les accidents de trottinnettes est devenu un classique pour démontrer le peu de sérieux des revues prédatrices, et surtout pour dénoncer d’autres travaux, notamment celui sur l’azithromycine pour soigner le Covid-19.

John Bohannon a également par le passé pu piéger une revue scientifique avec une fausse étude sur le chocolat qui fait perdre du poids. Tous les sujets sont bon pour évaluer la rigueur de la relecture par les pairs des revues scientifiques.

La publication scientifique n’est pas un système parfait. Il tente de s’auto-évaluer et s’auto-corriger avec les rétractations scientifiques, mais avec des études et des chercheurs de bonne foi dans la majorité des cas.

On peut difficilement attendre de la relecture par les pairs de dénicher des fraudes qui se cachent dans des analyses très détaillées des données brutes ou en enquêtant sur les pratiques d’une équipe scientifique.

Mais ce n’était pas le but de mon piège. Car l’article ne cache aucune fraude. Il est la fraude. Du titre, à l’introduction jusqu’aux références qui n’existent pas.

Cacher la bavure

1ère mise à jour du 23/08/2022.

Après quelques mois à faire le mort auprès des éditeurs de la fameuse revue piégée, j’ai décidé de lâcher le morceau. Car ils m’ont relancé au moins 5 ou 6 fois pour payer la somme astronomique de publication, toujours dans des tons très respectueux.

J’ai donc finalement rappelé à la personne qui échange avec moi que cet article était totalement bidon.

Que s’est-il passé en l’espace de 48h ? L’article n’est plus accessible.

La page n’existe plus. Ce n’est pas une rétractation faite dans les règles de l’art avec une notice explicative de la fraude. C’est une dissimulation, purement et simplement.

Encore plus incroyable, mais l’éditeur prédateur, JScholar, a supprimé le journal dans la foulée.

Un article est gênant ? Supprimons la revue ! Tous les autres papiers publiés dans cette revue ont donc été supprimés par la même occasion. C’est la première fois que je vois une revue agir de la sorte, apportant une nouvelle preuve de ces comportements de voyous dans le domaine de la recherche scientifique.