Reproductibilité de la recherche scientifique : un guide pratique

La reproductibilité de la recherche scientifique est la capacité d’un chercheur indépendant, disposant des mêmes données, du même code et du même environnement informatique, à obtenir les mêmes résultats — une norme formalisée par les National Academies en 2019 et opérationnalisée grâce à des pratiques telles que le contrôle de version, la conteneurisation et les identifiants persistants. La reproductibilité diffère de la réplicabilité, qui nécessite une nouvelle collecte de données.

Qu’est-ce que la reproductibilité dans la recherche scientifique ?

La reproductibilité dans la recherche scientifique occupe une niche spécifique au sein d’une famille de concepts connexes souvent confondus. Le rapport 2019 des National Academies Reproducibility and Replicability in Science établit une distinction désormais largement adoptée : la reproductibilité de la recherche scientifique signifie calculer le même résultat à partir des mêmes entrées, tandis que la réplicabilité signifie obtenir des résultats cohérents à partir d’une nouvelle étude avec de nouvelles données. Un troisième terme, la répétabilité, décrit le fait pour le même analyste de réexécuter la même analyse sur les mêmes données.

Pour les informaticiens, cette taxonomie est importante car les modes de défaillance diffèrent. Une simulation de dynamique moléculaire (MD) qui ne peut pas être reproduite échoue généralement pour des raisons environnementales : une version différente de GROMACS ou LAMMPS, un fichier de paramètres de champ de force différent, une architecture GPU différente ou une graine aléatoire non enregistrée. Une étude qui ne peut pas être répliquée échoue pour des raisons scientifiques : un échantillon différent, un instrument différent ou un effet réel qui ne se généralise pas.

Cette distinction a des conséquences pratiques sur la manière dont vous documentez votre travail. La reproductibilité exige que vous capturiez l’intégralité de la chaîne de provenance informatique : données d’entrée, version du code, versions des dépendances, matériel, indicateurs du compilateur et séquence de commandes exécutées. La réplicabilité exige que vous décriviez le protocole expérimental ou d’échantillonnage avec suffisamment de détails pour que quelqu’un d’autre puisse concevoir une étude équivalente.

Pourquoi la reproductibilité échoue-t-elle dans la pratique ?

Les échecs de reproductibilité dans la recherche scientifique se regroupent autour d’un petit nombre de causes récurrentes, et la plupart sont banales plutôt que frauduleuses. Comprendre ces causes est la première étape pour les prévenir.

La dérive de l’environnement est le coupable le plus courant dans le travail informatique. Une analyse Python qui s’est exécutée correctement en 2021 peut échouer en 2024 parce que NumPy a modifié son comportement par défaut, parce qu’une dépendance transitive a été supprimée de PyPI ou parce que la bibliothèque système BLAS a été mise à jour. Le code n’a pas changé ; c’est le sol qui a bougé sous lui.

Connexes : DataCamp — Cours interactifs Python et science des données que vous codez directement dans le navigateur.

Le caractère aléatoire non documenté affecte aussi bien les simulations que l’apprentissage automatique. Les simulations MD utilisant des thermostats de Langevin ou d’Andersen tirent des nombres de générateurs dont les graines sont fréquemment omises. Une trajectoire qui semble statistiquement identique peut différer dans chaque coordonnée atomique après quelques picosecondes.

L’état caché et les étapes manuelles — une cellule de notebook exécutée dans le désordre, une feuille de calcul modifiée à la main, un paramètre ajusté dans une interface graphique — brisent la chaîne entre les entrées et les sorties. Si une étape n’existe que dans la mémoire de quelqu’un, elle n’est pas reproductible.

Les lacunes dans le versionnement des données créent une ambiguïté sur l’ensemble de données ayant produit telle ou telle figure. Les référentiels publics tels que Zenodo et Figshare attribuent des DOI à des instantanés figés, mais de nombreux projets font toujours référence à des URL mutables ou à des chemins locaux.

Coup de cœur des lecteurs : Dataquest — Parcours de science des données basés sur des projets avec un terminal guidé et des ensembles de données réels.

L’insuffisance des métadonnées sur le matériel et les bibliothèques numériques est plus problématique que ne le pensent de nombreux chercheurs. Les résultats en virgule flottante peuvent différer selon les architectures CPU, les modèles de GPU et même les niveaux d’optimisation du compilateur, c’est pourquoi la reproductibilité bit à bit est un objectif plus strict que la reproductibilité statistique.

Les pratiques fondamentales qui rendent le travail reproductible

Un projet informatique reproductible pour la recherche scientifique repose sur une poignée de pratiques qui se renforcent mutuellement. Aucune d’entre elles n’est suffisante seule, mais ensemble, elles comblent la plupart des lacunes décrites ci-dessus.

Contrôle de version pour le code et le texte

Git reste la norme pour le code source, les scripts d’analyse et les manuscrits écrits en Markdown ou LaTeX. La discipline clé consiste à effectuer des commits fréquents et à taguer les versions correspondant aux résultats publiés. Un tag tel que v1.0-paper permet au lecteur de récupérer l’état exact du code utilisé pour une figure.

Capture des dépendances et de l’environnement

La capture de l’environnement a considérablement mûri. Des outils tels que les fichiers d’environnement Conda, les fichiers pip requirements avec versions épinglées, renv pour R et les lockfiles pour de nombreux écosystèmes de langages enregistrent les versions exactes des dépendances.

La conteneurisation avec Docker, Podman ou Singularity/Apptainer va plus loin en capturant le système d’exploitation, les bibliothèques système et les compilateurs. Pour les environnements HPC où Docker n’est pas disponible, Apptainer (anciennement Singularity) est le choix courant car il fonctionne sans démon et s’intègre aux ordonnanceurs comme Slurm.

Gestionnaires de workflow et provenance

Les gestionnaires de workflow tels que Snakemake, Nextflow et Make encodent le graphe de dépendances entre les entrées et les sorties, de sorte qu’une seule commande régénère chaque artefact dérivé. Ils enregistrent également les étapes exécutées et leur ordre. Pour une provenance plus fine, des outils comme Data Version Control (DVC) suivent les versions des données et des modèles parallèlement au code dans Git.

Connexes : Udemy — Achetez des cours individuels de Python scientifique, souvent avec des remises importantes.

Identifiants persistants et archivage

L’archivage d’un instantané avec un DOI via Zenodo, Figshare ou un référentiel institutionnel garantit que l’artefact exact survive au-delà du site web d’un laboratoire. Le DOI offre également aux évaluateurs et aux futurs lecteurs une cible de citation stable.

Documentation des paramètres et des graines

L’enregistrement des graines aléatoires, des paramètres du thermostat et du barostat, du pas de temps d’intégration, des rayons de coupure et des versions de champ de force est essentiel pour le travail en MD. Un court README ou un fichier de métadonnées structuré (par exemple, un fichier JSON sidecar) répertoriant ces valeurs transforme une trajectoire opaque en une trajectoire reproductible.

Liste de critères pour choisir les outils de reproductibilité

Différents projets nécessitent différents niveaux de rigueur pour la reproductibilité de la recherche scientifique. Les critères suivants vous aident à décider dans quelle infrastructure investir.

Notre sélection : O'Reilly Learning Platform — Une bibliothèque technique approfondie de livres, de vidéos et de formations en informatique scientifique.

Critère	Choix léger	Choix lourd
Capture de l’environnement	Fichier requirements épinglé	Image de conteneur complète
Versionnement des données	Git LFS ou instantanés manuels	DVC ou référentiel de données avec DOI
Orchestration du workflow	Script Shell ou Makefile	Snakemake ou Nextflow
Provenance	Messages de commit et README	Journaux de provenance automatisés
Archivage	Release GitHub	Instantané Zenodo DOI
Aléatoire	Graines enregistrées dans la config	RNG amorcé avec état journalisé

Le compromis est simple : un outillage plus lourd coûte du temps de configuration et de maintenance, mais s’avère rentable lorsqu’un projet doit survivre au roulement du personnel, à la révision par un journal ou à une tentative de réplication sur plusieurs années. Une analyse exploratoire réalisée par un seul auteur nécessite rarement un conteneur ; un pipeline de laboratoire qui alimente trois publications et une thèse en nécessite généralement un.

Reproductibilité en dynamique moléculaire et pipelines numériques

La dynamique moléculaire dans le génie logiciel de recherche présente un problème de reproductibilité particulièrement exigeant car les résultats dépendent à la fois du logiciel et du matériel. Le même jeu d’entrées GROMACS peut produire des trajectoires légèrement différentes selon les générations de GPU en raison de différences dans l’ordre de réduction des virgules flottantes et des optimisations fast-math.

Les mesures d’atténuation pratiques incluent la fixation explicite de la graine aléatoire, la documentation de la build exacte (compilateur, version CUDA, indicateurs SIMD) et la précision sur le fait que les résultats sont reproductibles bit à bit ou statistiquement. De nombreuses revues et évaluateurs acceptent la reproductibilité statistique — moyennes d’ensemble et quantités thermodynamiques dans les barres d’erreur — comme la norme appropriée pour la MD, car la reproductibilité bit à bit sur du matériel hétérogène est souvent inatteignable.

Pour les pipelines NumPy et HDF5, les problèmes analogues sont l’ordre des tableaux, la précision des types (dtype) et les versions de la bibliothèque HDF5. Un pipeline qui écrit des tableaux float32 sur une machine et les lit comme float64 sur une autre peut modifier les résultats silencieusement. L’enregistrement des dtypes et l’utilisation d’une conversion explicite aux limites d’E/S empêchent cette classe de bugs.

Reproductibilité dans la recherche scientifique : normes, revues et incitations

La pression institutionnelle en faveur de la reproductibilité de la recherche scientifique a crû régulièrement. Les principes FAIR — Findable, Accessible, Interoperable, Reusable — publiés dans Scientific Data en 2016, fournissent un cadre largement cité pour la gestion des données. Des revues telles que Nature, Science et de nombreux titres spécialisés exigent ou encouragent fortement désormais des déclarations de disponibilité des données et du code.

Le Center for Open Science et le projet ReproNim proposent des formations et des outils pour la neuroimagerie reproductible et au-delà. The Turing Way, maintenu par l’Alan Turing Institute, est un manuel communautaire couvrant les pratiques de recherche reproductibles à travers les disciplines.

Les incitations restent imparfaites. Le partage de code et de données prend du temps, rarement récompensé lors de l’embauche ou de la promotion, et les évaluateurs vérifient rarement si un référentiel fonctionne réellement. Néanmoins, des bailleurs de fonds tels que le NIH et la NSF exigent de plus en plus de plans de gestion des données, et certaines revues emploient désormais des évaluateurs de reproductibilité qui exécutent le code soumis.

Objections courantes et mises en garde honnêtes

Les défenseurs de la reproductibilité survendent parfois l’objectif de reproductibilité de la recherche scientifique. Quelques mises en garde honnêtes méritent d’être formulées.

La reproductibilité bit à bit n’est pas toujours réalisable ou nécessaire. Sur du matériel hétérogène, le non-déterminisme des virgules flottantes est une réalité. L’objectif réaliste est la reproductibilité statistique avec des tolérances documentées.

Les logiciels propriétaires et les données sous licence limitent ce qui peut être partagé. Lorsqu’un outil ou un ensemble de données ne peut pas être redistribué, la documentation des versions, des paramètres et des procédures d’accès est le meilleur substitut disponible.

La reproductibilité ne garantit pas l’exactitude. Une analyse boguée peut être parfaitement reproductible. La reproductibilité est une condition nécessaire mais non suffisante pour une science fiable.

La surcharge (overhead) est réelle. Conteneuriser un petit script peut prendre plus de temps que l’analyse elle-même. Adaptez l’investissement aux enjeux et à la durée de vie attendue du travail.

Points clés à retenir

• La reproductibilité signifie obtenir le même résultat à partir des mêmes données, du même code et du même environnement ; la réplicabilité signifie obtenir des résultats cohérents à partir de nouvelles données — les National Academies ont formalisé cette distinction en 2019.
• La dérive de l’environnement, le caractère aléatoire non documenté, les étapes manuelles cachées et les métadonnées manquantes causent la plupart des échecs de reproductibilité dans les travaux de recherche scientifique informatique.
• Le contrôle de version, les dépendances épinglées, les conteneurs, les gestionnaires de workflow et les instantanés archivés par DOI constituent la boîte à outils de base ; choisissez le niveau de rigueur correspondant aux enjeux de votre projet.
• La dynamique moléculaire et les pipelines numériques sont confrontés à un non-déterminisme dépendant du matériel, donc la reproductibilité statistique avec des tolérances documentées est souvent la norme réaliste.
• Les principes FAIR, les politiques de disponibilité des données des revues et les exigences des bailleurs de fonds augmentent régulièrement le niveau d’attente pour des artefacts partagés et exécutables.

Sources et lectures complémentaires

• Méthode scientifique — Wikipédia : La méthode scientifique est une méthode empirique permettant d’acquérir des connaissances par une observation attentive, un scepticisme rigoureux, des tests d’hypothèses et une validation expérimentale…

Questions fréquemment posées

Qu’est-ce que la reproductibilité dans la recherche scientifique ?

La reproductibilité dans la recherche scientifique est la capacité de recalculer les résultats d’une étude à partir des mêmes données, du même code et du même environnement informatique. Elle se distingue de la réplicabilité, qui implique la collecte de nouvelles données et la vérification de la généralisation des résultats. Le rapport 2019 des National Academies a établi cette terminologie comme une norme largement utilisée pour la reproductibilité de la recherche scientifique.

En quoi la reproductibilité est-elle différente de la réplicabilité ?

La reproductibilité concerne le fait que les mêmes entrées produisent les mêmes sorties, typiquement dans le travail informatique. La réplicabilité concerne la question de savoir si un résultat se maintient lorsque l’étude est répétée avec de nouvelles données ou un nouvel échantillon. Les deux sont importants, mais ils échouent pour des raisons différentes et nécessitent une documentation différente.

Quels outils aident à rendre la recherche informatique reproductible ?

Les outils courants incluent Git pour le contrôle de version, les lockfiles Conda ou pip pour la capture des dépendances, Docker ou Apptainer pour la conteneurisation, Snakemake ou Nextflow pour l’orchestration du workflow, DVC pour le versionnement des données, et Zenodo ou Figshare pour les instantanés archivés par DOI. La bonne combinaison dépend de la taille du projet et de sa durée de vie prévue.

Pourquoi la dynamique moléculaire est-elle difficile à reproduire exactement ?

La dynamique moléculaire dépend des graines aléatoires, des versions de champ de force, des paramètres d’intégration et du comportement des virgules flottantes spécifique au matériel. Différentes générations de GPU et optimisations de compilateur peuvent modifier l’ordre de réduction, rendant la reproductibilité bit à bit entre machines souvent inatteignable. La reproductibilité statistique dans des barres d’erreur documentées est la norme pratique.

Les revues exigent-elles un code et des données reproductibles ?

De nombreuses revues, dont Nature et Science, exigent ou encouragent fortement des déclarations de disponibilité des données et du code, et certaines emploient des évaluateurs de reproductibilité. Les exigences varient selon l’éditeur et le domaine ; vérifiez donc la politique spécifique de la revue avant la soumission. Des bailleurs de fonds comme le NIH et la NSF exigent également de plus en plus de plans de gestion des données.

Une recherche reproductible peut-elle tout de même être erronée ?

Oui. La reproductibilité garantit qu’une analyse peut être réexécutée, pas qu’elle est correcte. Une méthode défectueuse ou un script bogué peut être parfaitement reproductible. La reproductibilité est un fondement nécessaire pour une science fiable, mais elle doit être couplée à une méthodologie solide et à un examen par les pairs.