Peut-on encore croire les études scientifiques?

L'affaire "Test-Achats et les médicaments" a jeté le trouble sur la fiabilité de certaines études. Ou quand le scientifiquement prouvé ne l'est pas tant que cela...

1045122

C'est sûr, la récente étude de l'association de défense des consommateurs Test-Achats sur nos médicaments aura fait doublement parler d'elle. D'abord par ses résultats, inquiétants, qui concluent que seules 57 % des molécules présentes sur le marché belge ont clairement révélé leur utilité, que 12 % sont d'une "utilité contestable" et 3 %, carrément à déconseiller. Mais aussi par la volée de critiques que cette étude a suscitées, tant auprès des autorités sanitaires que des experts, qui l'ont jugée simpliste et non pertinente, contestant la méthode…

Sans juger du fond de l'affaire, cette polémique renvoie à un questionnement plus fondamental, sous-jacent. Pas un jour en effet sans que les journaux ne nous abreuvent des résultats de telle ou telle étude effectuée par tel ou tel laboratoire, et parue dans un grand titre de la presse scientifique. Mais sont-elles toutes vraiment fiables? Pas franchement, paraît-il…

Il faut le savoir, des milliers de laboratoires dans le monde publient régulièrement leurs résultats dans ces revues scientifiques.Avant sa parution, chaque article doit obligatoirement passer entre les mains de"relecteurs" (reviewers en anglais), des chercheurs d'autres labos qui connaissent bien la matière et sont donc les seuls à pouvoir véritablement juger de la valeur du travail. Certaines de ces revues scientifiques sont mieux cotées que d'autres. On en trouve des gratuites et des payantes. N'entrons pas dans les détails, retenons seulement qu'il existe des garde-fous qui empêchent normalement que l'on écrive n'importe quoi.

Quoi de neuf, docteur?

Chaque année, ce système s'applique à environ 1,4 million d’articles scientifiques qui paraissent dans le monde. La plupart de ces travaux resteront confinés dans un cercle restreint de spécialistes. Il arrive néanmoins que l'un d'eux fasse irruption dans la presse généraliste. Surtout s'il porte sur des matières facilement compréhensibles comme le sexe, la mémoire, le changement climatique ou les maladies de l’environnement. Une telle étude peut alors espérer obtenir un écho mondial pendant quelques heures, voire quelques jours, avant de céder la place à une autre, et une autre, et une autre.

De prime abord, on aurait tort de se plaindre d'un tel foisonnement. Au contraire, il constitue un gage de dynamisme. La science progresse plus vite que jamais. Cette déferlante d'articles répond aussi aux investissements énormes consentis dans le secteur. À l'échelle mondiale, on constate que deux fois plus d'argent est consacré à la recherche tous les douze ans. Malheureusement, cette surproduction s'effectue parfois au détriment de la qualité.

On souhaiterait évidemment que toutes ces études soient rigoureuses et bien ficelées. Or, c’est loin d’être le cas. Trop de fraudes, trop d’erreurs, trop de complaisance. Le label "scientifiquement prouvé" n'est pas digne de la confiance qu'on lui accorde. Plus exactement, il ne l'est plus. En septembre 2013, John Bohannon, biologiste à l'Université de Harvard, a ainsi écrit un article sur les vertus du lichen pour combattre le cancer. Il l'a envoyé à 304 journaux scientifiques libres d'accès par Internet qui se targuent de faire appel à un comité de relecture. 157 l'ont accepté pour publication, soit plus de la moitié! Le problème, c'est que cet article était totalement faux…

Recalé!

Les journaux payants sont-ils à l'abri d'un tel manque de clairvoyance? Rien n'est moins sûr! En 1998, une expérience similaire avait été tentée par Fiona Godlee, l'éditrice du célèbre British Medical Journal (connu aussi sous ses initiales BMJ). Elle avait envoyé à quelque 200 relecteurs habituels du journal un article dans lequel elle avait intentionnellement glissé huit erreurs de procédure et d’interprétation qui auraient normalement valu à un étudiant de se faire recaler pour n’importe quel travail universitaire. Personne n'a relevé les huit erreurs. La moyenne des corrections s'établissait autour de deux. Certains relecteurs n'en avaient même pas noté une seule!

Les raisons de cette légèreté sont faciles à comprendre. "Des chercheurs qui cherchent, on en trouve. Des chercheurs qui trouvent, on en cherche", disait le général de Gaulle. L'expression est jolie. Elle a même été mise en musique par Julos Beaucarne. Mais elle est dangereuse aussi car cette pression exercée sur les chercheurs peut les pousser à publier n'importe quoi. Et c'est ce qui se passe… Comme le souligne cette autre expression, "Publish or perish" ("Publiez ou périssez!"), qui résume la vie de millions de chercheurs dans le monde. "On n’est pas puni de produire des choses fausses, écrit Brian Nosek, professeur de psychologie à l’Université de Virginie. En revanche, on est puni de ne rien produire du tout."

Est-ce à dire que les études publiées dans ces revues sont toutes sujettes à caution? Non, certes. Mais cela permet de mieux en comprendre les limites. La publication d'un article scientifique poursuit en effet plusieurs objectifs. Chaque laboratoire peut apporter sa pierre à la progression de la connaissance. Puis, cela donne aux collègues la possibilité de reconduire les expériences et, si le travail a été bien fait, de retomber logiquement sur les mêmes résultats. Sauf qu'en réalité, c'est rarement le cas! Exemple avec le chercheur Glenn Begley. Pendant dix ans, ce scientifique qui travaillait pour l'entreprise américaine Amgen a refait des études considérées comme très sérieuses sur le cancer. Et sur 53 tentatives, les résultats initiaux ne furent vérifiés qu’à 6 reprises. Un travail similaire a été effectué par Florian Prinz, de chez Bayer HealthCare. Il a sélectionné 67 travaux émanant de grands laboratoires, tous publiés dans des revues prestigieuses, et confirmé leurs premières conclusions dans seulement un quart des cas. Deux exemples qui montrent que le nombre de conclusions erronées dépasse – et de loin – celui des études crédibles. Et comme il est pratiquement impossible de distinguer les unes des autres, c’est toute la recherche qui se trouve en passe d’être discréditée.

Gratuit avec votre Moustique ce 26 février: 32 pages sur la Guerre 14-18

 

Sur le même sujet
Plus d'actualité