Reproduzierbarkeit wissenschaftlicher Forschung: Ein praktischer Leitfaden

Reproduzierbarkeit wissenschaftlicher Forschung ist die Fähigkeit eines unabhängigen Forschers, mit denselben Daten, demselben Code und derselben Rechenumgebung dieselben Ergebnisse zu erzielen – ein Standard, der 2019 von den National Academies formalisiert und durch Praktiken wie Versionskontrolle, Containerisierung und persistente Identifikatoren operationalisiert wurde. Reproduzierbarkeit unterscheidet sich von Replizierbarkeit, die eine neue Datenerfassung erfordert.

Was ist Reproduzierbarkeit in der wissenschaftlichen Forschung?

Reproduzierbarkeit nimmt in der wissenschaftlichen Forschung eine spezifische Nische in einer Familie verwandter Konzepte ein, die oft miteinander vermischt werden. Der Bericht der National Academies Reproducibility and Replicability in Science aus dem Jahr 2019 zieht eine Unterscheidung, die sich weithin durchgesetzt hat: Reproduzierbarkeit wissenschaftlicher Forschung bedeutet, dasselbe Ergebnis aus denselben Eingaben zu berechnen, während Replizierbarkeit bedeutet, konsistente Ergebnisse aus einer neuen Studie mit neuen Daten zu erhalten. Ein dritter Begriff, Wiederholbarkeit, beschreibt, dass derselbe Analyst dieselbe Analyse mit denselben Daten erneut durchführt.

Für Computational Scientists ist diese Taxonomie wichtig, da die Fehlermodi unterschiedlich sind. Eine Simulation der Molekulardynamik (MD), die nicht reproduziert werden kann, scheitert normalerweise aus Umgebungsgründen – ein anderer GROMACS- oder LAMMPS-Build, eine andere Kraftfeld-Parameterdatei, eine andere GPU-Architektur oder ein nicht aufgezeichneter Zufallsstartwert (Random Seed). Eine Studie, die nicht repliziert werden kann, scheitert aus wissenschaftlichen Gründen – eine andere Stichprobe, ein anderes Instrument oder ein echter Effekt, der sich nicht verallgemeinern lässt.

Die Unterscheidung hat praktische Konsequenzen für die Art und Weise, wie Sie Ihre Arbeit dokumentieren. Reproduzierbarkeit erfordert, dass Sie die gesamte rechnerische Provenienzkette erfassen: Eingabedaten, Codeversion, Abhängigkeitsversionen, Hardware, Compiler-Flags und die Reihenfolge der ausgeführten Befehle. Replizierbarkeit erfordert, dass Sie das Versuchs- oder Probenahmeprotokoll so detailliert beschreiben, dass jemand anderes eine gleichwertige Studie entwerfen kann.

Warum die Reproduzierbarkeit in der Praxis versagt

Reproduzierbarkeitsfehler in der wissenschaftlichen Forschung lassen sich auf eine kleine Anzahl wiederkehrender Ursachen zurückführen, und die meisten sind eher banal als betrügerisch. Das Verständnis dieser Ursachen ist der erste Schritt, um sie zu verhindern.

Umgebungsdrift (Environment Drift) ist der häufigste Grund bei rechnerischen Arbeiten. Eine Python-Analyse, die im Jahr 2021 korrekt ausgeführt wurde, kann im Jahr 2024 fehlschlagen, weil NumPy das Standardverhalten geändert hat, weil eine transitive Abhängigkeit von PyPI entfernt wurde oder weil die BLAS-Bibliothek des Systems aktualisiert wurde. Der Code hat sich nicht geändert; der Boden unter ihm hat sich verschoben.

Verwandte: DataCamp — Interaktive Python- und Data-Science-Kurse, bei denen Sie direkt im Browser programmieren.

Undokumentierte Zufälligkeit wirkt sich gleichermaßen auf Simulationen und maschinelles Lernen aus. MD-Läufe mit Langevin- oder Andersen-Thermostaten nutzen Zufallszahlengeneratoren, deren Seeds häufig nicht aufgezeichnet werden. Eine Trajektorie, die statistisch identisch aussieht, kann sich nach einigen Pikosekunden in jeder Atomkoordinate unterscheiden.

Versteckter Zustand und manuelle Schritte – eine Notebook-Zelle, die nicht in der richtigen Reihenfolge ausgeführt wurde, eine von Hand bearbeitete Tabelle, ein in einer GUI angepasster Parameter – unterbrechen die Kette zwischen Eingaben und Ausgaben. Wenn ein Schritt nur im Gedächtnis einer Person existiert, ist er nicht reproduzierbar.

Lücken in der Datenversionierung führen zu Unklarheiten darüber, welcher Datensatz welche Abbildung erzeugt hat. Öffentliche Repositories wie Zenodo und Figshare weisen eingefrorenen Snapshots DOIs zu, aber viele Projekte verweisen immer noch auf veränderbare URLs oder lokale Pfade.

Einen Blick wert: Coursera Plus — Ein Abonnement für von der Universität unterstützte Python- und Data-Science-Zertifikate.

Unzureichende Metadaten über Hardware und numerische Bibliotheken sind von größerer Bedeutung, als viele Forscher erwarten. Gleitkommaergebnisse können je nach CPU-Architektur, GPU-Modell und sogar Compiler-Optimierungsstufen variieren, weshalb Bit-für-Bit-Reproduzierbarkeit ein strengeres Ziel ist als statistische Reproduzierbarkeit.

Die Kernpraktiken, die Arbeit reproduzierbar machen

Ein reproduzierbares Rechenprojekt für die wissenschaftliche Forschung basiert auf einer Handvoll Praktiken, die sich gegenseitig verstärken. Keine davon allein ist ausreichend, aber zusammen schließen sie die meisten der oben beschriebenen Lücken.

Versionskontrolle für Code und Text

Git bleibt der Standard für Quellcode, Analyseskripte und Manuskripte, die in Markdown oder LaTeX geschrieben wurden. Die Schlüsseldisziplin besteht darin, häufig Commits durchzuführen und Releases zu taggen, die den veröffentlichten Ergebnissen entsprechen. Ein Tag wie v1.0-paper ermöglicht es einem Leser, den exakten Codestatus hinter einer Abbildung auszuchecken.

Erfassung von Abhängigkeiten und Umgebungen

Die Umgebungserfassung ist erheblich ausgereift. Tools wie Conda-Umgebungsdateien, pip-Requirements mit fixierten Versionen, renv für R und Lockfiles für viele Sprachökosysteme zeichnen exakte Abhängigkeitsversionen auf.

Die Containerisierung mit Docker, Podman oder Singularity/Apptainer geht noch einen Schritt weiter, indem sie das Betriebssystem, Systembibliotheken und Compiler erfasst. Für HPC-Umgebungen, in denen Docker nicht verfügbar ist, ist Apptainer (ehemals Singularity) die gängige Wahl, da es ohne Daemon läuft und sich in Scheduler wie Slurm integrieren lässt.

Workflow-Manager und Provenienz

Workflow-Manager wie Snakemake, Nextflow und Make kodieren den Abhängigkeitsgraph zwischen Eingaben und Ausgaben, sodass ein einziger Befehl jedes abgeleitete Artefakt neu generiert. Außerdem wird aufgezeichnet, welche Schritte in welcher Reihenfolge ausgeführt wurden. Für eine feingranularere Provenienz verfolgen Tools wie Data Version Control (DVC) Daten- und Modellversionen zusammen mit dem Code in Git.

Verwandte: O'Reilly Learning Platform — Eine umfassende technische Bibliothek mit Büchern, Videos und Live-Schulungen zum Thema wissenschaftliches Rechnen.

Persistente Identifikatoren und Archivierung

Die Archivierung eines Snapshots mit einem DOI über Zenodo, Figshare oder ein institutionelles Repository stellt sicher, dass das exakte Artefakt über eine Labor-Website hinaus überlebt. Der DOI bietet Rezensenten und zukünftigen Lesern zudem ein stabiles Zitierziel.

Dokumentation von Parametern und Seeds

Die Aufzeichnung von Zufalls-Seeds, Thermostat- und Barostateinstellungen, Integrationszeitschritten, Cutoff-Radien und Kraftfeldversionen ist für MD-Arbeiten unerlässlich. Eine kurze README-Datei oder eine strukturierte Metadatendatei (z. B. ein JSON-Sidecar), die diese Werte auflistet, verwandelt eine undurchsichtige Trajektorie in eine reproduzierbare.

Eine Kriterienliste für die Auswahl von Reproduzierbarkeits-Tooling

Unterschiedliche Projekte erfordern unterschiedliche Maßstäbe an Strenge für die Reproduzierbarkeit wissenschaftlicher Forschung. Die folgenden Kriterien helfen Ihnen bei der Entscheidung, wie viel Infrastruktur Sie investieren sollten.

Leserfavorit: Dataquest — Projektbasierte Data-Science-Pfade mit geführtem Terminal und realen Datensätzen.

Kriterium	Leichtgewichtige Wahl	Schwergewichtige Wahl
Umgebungserfassung	Fixierte Requirements-Datei	Vollständiges Container-Image
Datenversionierung	Git LFS oder manuelle Snapshots	DVC oder ein Datenrepository mit DOIs
Workflow-Orchestrierung	Shell-Skript oder Makefile	Snakemake oder Nextflow
Provenienz	Commit-Nachrichten und README	Automatisierte Provenienz-Logs
Archivierung	GitHub Release	Zenodo DOI-Snapshot
Zufälligkeit	Aufgezeichnete Seeds in Config	Seeded RNG mit protokolliertem Status

Der Kompromiss ist einfach: Schwereres Tooling kostet Zeit für Einrichtung und Wartung, zahlt sich jedoch aus, wenn ein Projekt Personalfluktuationen, Journal-Reviews oder einen mehrjährigen Replikationsversuch überstehen muss. Eine explorative Analyse eines einzelnen Autors benötigt selten einen Container; eine Labor-Pipeline, die drei Publikationen und eine Dissertation speist, normalerweise schon.

Reproduzierbarkeit in der Molekulardynamik und numerischen Pipelines

Die Molekulardynamik in der Forschungssoftwaretechnik stellt ein besonders anspruchsvolles Problem der wissenschaftlichen Reproduzierbarkeit dar, da die Ergebnisse sowohl von Software als auch von Hardware abhängen. Das gleiche GROMACS-Input-Deck kann aufgrund von Unterschieden in der Gleitkomma-Reduktionsreihenfolge und Fast-Math-Optimierungen auf verschiedenen GPU-Generationen leicht unterschiedliche Trajektorien erzeugen.

Praktische Abhilfemaßnahmen sind die explizite Fixierung des Zufalls-Seeds, die Dokumentation des exakten Builds (Compiler, CUDA-Version, SIMD-Flags) und die Angabe, ob die Ergebnisse bitweise oder statistisch reproduzierbar sind. Viele Zeitschriften und Gutachter akzeptieren statistische Reproduzierbarkeit – Ensemble-Durchschnitte und thermodynamische Größen innerhalb von Fehlerbalken – als angemessenen Standard für MD, da bitweise Reproduzierbarkeit über heterogene Hardware hinweg oft unerreichbar ist.

Für NumPy- und HDF5-Pipelines sind die analogen Probleme die Array-Reihenfolge, die Dtype-Präzision und die HDF5-Bibliotheksversionen. Eine Pipeline, die Float32-Arrays auf einer Maschine schreibt und sie auf einer anderen als Float64 liest, kann die Ergebnisse stillschweigend ändern. Die Aufzeichnung von Dtypes und die Verwendung expliziter Konvertierungen an E/A-Grenzen verhindern diese Fehlerklasse.

Reproduzierbarkeit in der wissenschaftlichen Forschung: Standards, Zeitschriften und Anreize

Der institutionelle Druck zur Reproduzierbarkeit wissenschaftlicher Forschung ist stetig gewachsen. Die FAIR-Prinzipien – Findable, Accessible, Interoperable, Reusable –, die 2016 in Scientific Data veröffentlicht wurden, bieten einen viel zitierten Rahmen für die Datenverwaltung. Zeitschriften wie Nature, Science und viele fachspezifische Titel fordern nun Daten- und Codeverfügbarkeitserklärungen oder empfehlen diese ausdrücklich.

Das Center for Open Science und das ReproNim-Projekt bieten Schulungen und Tools für reproduzierbare Neurobildgebung und darüber hinaus an. The Turing Way, gepflegt vom Alan Turing Institute, ist ein Community-Handbuch, das reproduzierbare Forschungspraktiken über Disziplinen hinweg abdeckt.

Anreize bleiben unvollkommen. Das Teilen von Code und Daten nimmt Zeit in Anspruch, die bei Einstellungen oder Beförderungen selten belohnt wird, und Gutachter prüfen selten, ob ein Repository tatsächlich läuft. Dennoch verlangen Geldgeber wie das NIH und die NSF zunehmend Datenmanagementpläne, und einige Zeitschriften setzen mittlerweile Reproduzierbarkeits-Reviewer ein, die den eingereichten Code ausführen.

Häufige Einwände und ehrliche Vorbehalte

Befürworter der Reproduzierbarkeit übertreiben manchmal das Ziel der wissenschaftlichen Reproduzierbarkeit. Ein paar ehrliche Vorbehalte sind erwähnenswert.

Bitweise Reproduzierbarkeit ist nicht immer erreichbar oder notwendig. Bei heterogener Hardware ist Gleitkomma-Nichtdeterminismus eine Tatsache. Das realistische Ziel ist die statistische Reproduzierbarkeit mit dokumentierten Toleranzen.

Proprietäre Software und lizenzierte Daten schränken ein, was geteilt werden kann. Wenn ein Tool oder ein Datensatz nicht weitergegeben werden kann, ist die Dokumentation von Versionen, Parametern und Zugriffsverfahren der beste verfügbare Ersatz.

Reproduzierbarkeit garantiert nicht die Richtigkeit. Eine fehlerhafte Analyse kann perfekt reproduzierbar sein. Reproduzierbarkeit ist eine notwendige, aber keine hinreichende Bedingung für vertrauenswürdige Wissenschaft.

Der Overhead ist real. Das Containerisieren eines kleinen Skripts kann länger dauern als die Analyse selbst. Passen Sie die Investition an die Bedeutung und die erwartete Lebensdauer der Arbeit an.

Wichtige Erkenntnisse

• Reproduzierbarkeit bedeutet, dasselbe Ergebnis aus denselben Daten, demselben Code und derselben Umgebung zu erhalten; Replizierbarkeit bedeutet, konsistente Ergebnisse aus neuen Daten zu erhalten – die National Academies haben diese Unterscheidung 2019 formalisiert.
• Umgebungsdrift, undokumentierte Zufälligkeit, versteckte manuelle Schritte und fehlende Metadaten verursachen die meisten Reproduzierbarkeitsfehler in der computergestützten wissenschaftlichen Forschung.
• Versionskontrolle, fixierte Abhängigkeiten, Container, Workflow-Manager und DOI-archivierte Snapshots bilden das Kern-Toolkit; wählen Sie den Grad an Strenge, der zur Bedeutung Ihres Projekts passt.
• Molekulardynamik und numerische Pipelines sind mit hardwareabhängigem Nichtdeterminismus konfrontiert, sodass statistische Reproduzierbarkeit mit dokumentierten Toleranzen oft der realistische Standard ist.
• FAIR-Prinzipien, Datenverfügbarkeitsrichtlinien von Zeitschriften und Anforderungen von Geldgebern erhöhen die Basiserwartung an gemeinsam genutzte, ausführbare Artefakte stetig.

Quellen und weiterführende Literatur

• Wissenschaftliche Methode – Wikipedia: Die wissenschaftliche Methode ist eine empirische Methode zum Erwerb von Wissen durch sorgfältige Beobachtung, strenge Skepsis, Hypothesenprüfung und experimentelle Validierung…

Häufig gestellte Fragen

Was ist Reproduzierbarkeit in der wissenschaftlichen Forschung?

Reproduzierbarkeit in der wissenschaftlichen Forschung ist die Fähigkeit, die Ergebnisse einer Studie aus denselben Daten, demselben Code und derselben Rechenumgebung neu zu berechnen. Sie unterscheidet sich von der Replizierbarkeit, bei der es darum geht, neue Daten zu sammeln und zu testen, ob sich der Befund verallgemeinern lässt. Der Bericht der National Academies aus dem Jahr 2019 etablierte diese Terminologie als weit verbreiteten Standard für die wissenschaftliche Reproduzierbarkeit.

Wie unterscheidet sich Reproduzierbarkeit von Replizierbarkeit?

Bei der Reproduzierbarkeit geht es darum, dass dieselben Eingaben dieselben Ausgaben erzeugen, typischerweise bei rechnerischer Arbeit. Bei der Replizierbarkeit geht es darum, ob ein Befund Bestand hat, wenn die Studie mit neuen Daten oder einer neuen Stichprobe wiederholt wird. Beides ist wichtig, aber sie scheitern aus unterschiedlichen Gründen und erfordern unterschiedliche Dokumentationen.

Welche Tools helfen dabei, computergestützte Forschung reproduzierbar zu machen?

Zu den gängigen Tools gehören Git für die Versionskontrolle, Conda- oder pip-Lockfiles zur Erfassung von Abhängigkeiten, Docker oder Apptainer für die Containerisierung, Snakemake oder Nextflow für die Workflow-Orchestrierung, DVC für die Datenversionierung und Zenodo oder Figshare für DOI-archivierte Snapshots. Die richtige Kombination hängt von der Projektgröße und der erwarteten Lebensdauer ab.

Warum ist die Molekulardynamik schwer exakt zu reproduzieren?

Die Molekulardynamik hängt von Zufalls-Seeds, Kraftfeldversionen, Integrationseinstellungen und hardwarespezifischem Gleitkommaverhalten ab. Verschiedene GPU-Generationen und Compiler-Optimierungen können die Reduktionsreihenfolge ändern, sodass eine bitweise Reproduzierbarkeit zwischen Maschinen oft unerreichbar ist. Statistische Reproduzierbarkeit innerhalb dokumentierter Fehlerbalken ist der praktische Standard.

Verlangen Zeitschriften reproduzierbaren Code und Daten?

Viele Zeitschriften, darunter Nature und Science, fordern oder empfehlen ausdrücklich Erklärungen zur Daten- und Codeverfügbarkeit, und einige setzen Reproduzierbarkeits-Reviewer ein. Die Anforderungen variieren je nach Verlag und Fachgebiet; prüfen Sie daher vor der Einreichung die Richtlinien der jeweiligen Zeitschrift. Geldgeber wie das NIH und die NSF verlangen ebenfalls zunehmend Datenmanagementpläne.

Kann reproduzierbare Forschung immer noch falsch sein?

Ja. Reproduzierbarkeit stellt sicher, dass eine Analyse erneut ausgeführt werden kann, nicht aber, dass sie korrekt ist. Eine fehlerhafte Methode oder ein fehlerhaftes Skript können perfekt reproduzierbar sein. Reproduzierbarkeit ist ein notwendiges Fundament für vertrauenswürdige Wissenschaft, muss aber mit einer soliden Methodik und Peer-Review gepaart werden.