En quête d’une science meilleure : entretien avec John Ioannidis

Le Laboratoire d’informatique de l’X et le Centre interdisciplinaire Hi! PARIS ont conjointement organisé la venue à l’École polytechnique le 10 novembre de John Ioannidis, professeur de médecine et d'épidémiologie et de santé de la population à la faculté de médecine de l'université de Stanford. Dans une conférence intitulée « La méta-recherche et la quête pour une science meilleure » le chercheur a mis l’accent sur des éléments du monde de la recherche qu’il estime perfectibles. Par exemple, si 95% des papiers de recherche publiés depuis 1990 affirment avoir des résultats statistiquement significatifs, la plupart d’entre eux ont une crédibilité statistique faible, le plus souvent à cause de jeux de données réduits et méthodes non reproductibles, diminuant ainsi la fiabilité de ces résultats.

John Ioannidis questionne également le rapport des scientifiques avec le système actuel de publications. Il cherche à sensibiliser au refus de réfutation de certains papiers de recherche, aux faux positifs et négatifs liés aux petits échantillons, à la prise en compte de biais inhérents aux différents domaines de recherche… Ses travaux portent notamment sur le développement d’outils de mesure de fiabilité des publications, et sur la réinvention des critères d’évaluation des chercheurs. En effet, le principal critère actuel est la quantité de citations et de papiers de recherche publiés. Il en propose donc d’autres qui viendraient s’y ajouter, tels que la reproductibilité des résultats et le partage des données.

> Découvrir la conférence en vidéo

Afin de développer et de mieux comprendre son propos, découvrez trois questions posées à John Ioannidis :

Comment la méta-recherche est-elle devenue le centre de vos travaux ?
La méta-recherche est indissociable de la recherche, elle fait partie intégrante de la méthode scientifique : il s’agit de se prévoir les écueils auxquels l’étude peut faire face et quels biais peuvent affecter ses résultats. Je pense que la méthode d’un travail de recherche est plus importante que ses conclusions, et je considère d’ailleurs que les scientifiques qui critiquent mes études sont mes bienfaiteurs ! Chercher à rendre l’ensemble des papiers de recherche plus fiables, à commencer par les miens, a été l’un de mes premiers objectifs en tant que chercheur.

Votre papier de recherche le plus cité est « Why Most Published Research Findings Are False », comment en êtes-vous arrivé à ce constat ?
Ce travail est le fruit de plusieurs années de recherche et d’analyse de données sur les différents biais et facteurs qui érodent la qualité des recherches. C’est un cadre qui prend en compte les processus de découverte et de validation scientifique des études, avec des bases empiriques. Certains champs de recherche ont des publications devant être présentées comme des histoires, mais ce genre de procédés peut mener à des simplifications, notamment en enlevant les parts d’incertitudes qui ne servent pas l’histoire.

En appliquant deux protocoles différents au même jeu de données, on peut avoir des résultats entièrement différents. Peut-on faire dire aux données ce que l’on souhaite ? Comment rétablir la confiance dans les études scientifiques ?
S’il est vrai que des analyses variées peuvent donner des résultats différents, cela souligne l’importance de montrer toutes les options testées dans un papier de recherche, et non pas uniquement celles qui ont été probantes. Il ne faut pas accuser les scientifiques, mais être prudents et ne pas prendre comme stricte vérité des déclarations affirmatives. La confiance en la science se situe à deux niveaux différents : d’une part entre scientifiques et d’autre part entre les scientifiques et le grand public. Pour le premier niveau, je crois que la transparence, le partage des savoirs et des connaissances permettent de donner la meilleure compréhension possible de l’étude et ainsi donner confiance dans le travail réalisé. Pour le second niveau, être en mesure de dire « nous ne savons pas » me paraît essentiel. Il faudrait être en mesure de séparer l’environnement scientifique de l’environnement politique et culturel, pour laisser la science aussi impartiale que possible.