Beste langfristige Datenspeicherung: Top-Picks im Vergleich

Bei der langfristigen Datenspeicherung geht es darum, digitale Daten über Jahre oder sogar Jahrzehnte hinweg lesbar und intakt zu halten. Die praktischen Optionen lassen sich in fünf Familien einteilen: magnetische Festplatten, Bänder (LTO), optische Datenträger, Flash/SSD und Cloud- oder verwaltete Archive. Für wissenschaftliche Arbeiten ist das Speichermedium nur das halbe Problem: Das Dateiformat und die Metadaten, die es beschreiben, entscheiden darüber, ob die Daten im Jahr 2035 noch nutzbar sind.

Wichtige Erkenntnisse

• Kein einzelnes Medium gewinnt: Die nachhaltige Antwort für die langfristige Datenspeicherung ist eine mehrstufige Strategie: schnell arbeitender Speicher, eine verifizierte Archivkopie und ein Format, das Software-Änderungen übersteht.
• Magnetische Festplatten (HDDs) und LTO-Bänder bleiben bei den Kosten pro Terabyte für Cold-Archive führend; SSDs eignen sich hervorragend für Arbeitssätze, sind jedoch für jahrzehntelange Archive ohne Stromversorgung schlecht geeignet.
• Was Simulations- und Analyseergebnisse betrifft, so lösen sie bei der Betrachtung von HDF5 vs. Parquet für die Datenspeicherung unterschiedliche Probleme: HDF5 für hierarchische, segmentierte und mehrdimensionale Arrays; Parkett für säulenförmige Tabellendaten und Cloud-Analyse.
• „Langfristig“ ist eine Wartungsverpflichtung, kein Kauf: Bitfäule, Formatveralterung und Verlust der Dokumentation töten langfristige Archivdatenspeicherung häufiger als Hardwarefehler.
• Die 3-2-1-Regel (drei Kopien, zwei Arten von Medien, eine außerhalb des Standorts) sowie regelmäßige Integritätsprüfungen stellen die grundlegenden Lösungen für die langfristige Datenspeicherung dar, die jedes seriöse Labor respektieren sollte.

Was ist Langzeitdatenspeicherung?

Bei der langfristigen Datenspeicherung handelt es sich um jede Kombination aus Hardware, Medien und Dateiformaten, die darauf ausgelegt ist, wiederherstellbare Daten über einen Zeitraum von Jahren oder sogar Jahrzehnten aufzubewahren, und nicht über die Lebensdauer einer funktionierenden Festplatte in Monaten oder Jahren. Der Zeithorizont ist wichtig, da sich die Fehlermodi im Laufe der Zeit ändern: Nach einem Jahr macht man sich Sorgen über einen Festplattenausfall; Nach zehn Jahren fragt man sich, ob die Software, die die Datei geschrieben hat, noch existiert.

Eine nützliche Definition trennt drei Schichten. Die physische Schicht ist das Medium: eine Festplatte, eine LTO-Bandkassette, eine Blu-ray-Disc oder ein Objektspeicher in einer Cloud-Region.

Die logische Ebene ist das Dateisystem und der Container: ext4, ZFS, tar oder die Bucket-Semantik eines Objektspeichers. Die semantische Ebene ist das Format und seine Dokumentation: HDF5, Parquet, NetCDF, CSV oder ein domänenspezifisches Schema. Archive scheitern am häufigsten auf der semantischen Ebene, da eine vollkommen fehlerfreie Festplatte voller undokumentierter Binärblobs keine verwendbaren Daten darstellt.

Für Forschungsgruppen lautet die praktische Frage selten: „Welches ist das beste Medium?“ und fast immer: „Wie kombiniert man Medien so, dass kein einzelner Fehler, keine Budgetkürzung oder keine Anbieterentscheidung den Datensatz zerstört.“ Auf diesem Rahmen basiert der Rest dieses Vergleichs.

Optionen zur langfristigen Datenspeicherung

Optionen zur langfristigen Datenspeicherung lassen sich in fünf Familien einteilen, jede mit unterschiedlichen Kosten, Lebensdauer und Zugriffsprofil. Um sie ehrlich zu vergleichen, müssen die Kosten pro Terabyte, die erwartete Medienlebensdauer, die Leselatenz und der Umfang des fortlaufenden menschlichen Aufwands verglichen werden, der jeweils erforderlich ist. Bei der Bewertung langfristiger Datenspeicherlösungen ist es wichtig, die spezifischen Anforderungen des Datensatzes zu berücksichtigen.

Verwandte: Dataquest — Projektbasierte Data-Science-Pfade mit geführtem Terminal und realen Datensätzen.

Option	Typische Rolle	Zugriffsgeschwindigkeit	Laufende Bemühungen	Am besten für
Magnetische Festplatte (extern/RAID)	Arbeits- + warmes Archiv	Schnell	Mittel (Spin-up-Checks)	Große aktive Datensätze
LTO-Band	Kaltes Archiv	Langsam (Minuten)	Hoch (Antrieb + Drehung)	Kaltkopien mit mehreren TB
Optisch (M-DISC, Archiv-Blu-ray)	Kleines Kaltarchiv	Langsam	Niedrig	Dokumente, kleine unersetzliche Sätze
SSD / NVMe	Arbeitssatz, Cache	Am schnellsten	Niedrig	Aktive Analyse, nicht Jahrzehnte
Cloud/verwaltetes Archiv	Offsite-Kopie, Tiering	Variable	Niedrig–mittel	3-2-1-Kopie an einem externen Standort

Magnetische Festplatten sind das Standard-Arbeitstier: Eine einzelne große Festplatte kann mehrere Terabyte zu den niedrigsten Kosten pro Terabyte aller Direktzugriffsmedien speichern, und moderne Laufwerke sind für jahrelangen Dauerbetrieb ausgelegt. Ihre Schwäche ist mechanischer Natur: Lager, Köpfe und Motoren verschlechtern sich, und ein antriebsloses Laufwerk, das ein Jahrzehnt lang im Regal steht, ist ein Glücksspiel.

LTO-Bänder ist der Archivierungsspezialist für die langfristige Archivdatenspeicherung. Bandkassetten sind für eine lange Haltbarkeit konzipiert, kosten pro Terabyte im großen Maßstab günstig und sind die Medien, auf die die meisten nationalen Labore und Archive standardisieren.

Das Problem ist das Laufwerk: LTO-Generationen lesen die ein oder andere vorherige Generation. Ein Bandarchiv erfordert daher eine regelmäßige Migration auf neue Laufwerke und das Neubeschreiben von Kassetten, was einen echten und wiederkehrenden Kostenfaktor darstellt.

Einen Blick wert: Coursera Plus — Ein Abonnement für von der Universität unterstützte Python- und Data-Science-Zertifikate.

Optische Medien füllen eine Nische. Archivierungsfähige Datenträger (M-DISC und ähnliche) werden für eine Lebensdauer von einem Jahrhundert vermarktet und sind wirklich nützlich für kleine, hochwertige Datensätze, aber die Kapazität pro Datenträger ist bescheiden und das Schreiben großer Datenmengen ist langsam.

Flash und SSD eignen sich hervorragend für Arbeitsdaten und sind für stromlose Archive schrecklich: Die Zellenladung geht mit der Zeit verloren, und der Controller und die Firmware sind weitere Fehlerquellen. Bei Cloud-Archiven und verwalteten Archiven wird der Betriebsaufwand reduziert und Sie erhalten den Offsite-Schritt von 3-2-1 fast kostenlos, allerdings auf Kosten von Ausgangsgebühren und Anbieterbindung. Für diejenigen, die bestimmte Formate verwenden, kann sich die Erwägung von HDF5 vs. Parkett für die Datenspeicherung auf die Effizienz auswirken. Durch die Befolgung der HDF5-Best Practices für die Datenspeicherung und der HDF5-Best Practices für die Cloud-Speicherung können diese langfristigen Datenspeicherstrategien weiter optimiert werden.

Langzeitdatenspeichergeräte

Geräte zur langfristigen Datenspeicherung reichen von einfachen externen Laufwerken bis hin zu Roboter-Bandbibliotheken, und das richtige Gerät ist eines, dessen Fehlermodi Sie tatsächlich überwachen können. Ein Gerät, das Sie nicht überprüfen können, ist kein Archiv, unabhängig von seinem technischen Datenblatt. Bei der Betrachtung langfristiger Datenspeicherlösungen ist das Ziel eine langfristige Archivdatenspeicherung, die weiterhin zugänglich bleibt.

Externe Festplatten und Desktop-RAID-Gehäuse sind der Einstiegspunkt für die meisten Labore. Ein RAID-1-Gehäuse mit zwei Schächten schützt vor dem Ausfall eines einzelnen Laufwerks, jedoch nicht vor Feuer, Diebstahl, Ransomware oder einem Controller-Fehler, der beide Spiegel beschädigt. Bei RAID geht es um Verfügbarkeit, nicht um Backup – eine Unterscheidung, die es wert ist, wiederholt zu werden, da es sich dabei um das häufigste Missverständnis im Bereich der Laborspeicherung handelt.

NAS-Geräte bieten Netzwerkzugriff und oft auch Snapshots, was wirklich wertvoll ist: Mit Dateisystem-Snapshots können Sie eine Datei wiederherstellen, die durch eine fehlerhafte Skriptausführung überschrieben wurde. ZFS-basierte Systeme fügen Prüfsummen und Scrubbing hinzu, die Bitfäule erkennen und reparieren, eine stille Korruption, die sich über Jahre ansammelt.

Bei wissenschaftlichen Daten ist die Prüfsumme nicht optional; Es ist der Unterschied zwischen dem Wissen, dass Ihre Unterlagen intakt sind, und dem Hoffen, dass sie intakt sind. Abhängig vom Datenformat können Benutzer HDF5 vs. Parkett für die Datenspeicherung bewerten, um diese Systeme zu optimieren; Das Befolgen der Best Practices für die HDF5-Datenspeicherung kann eine längere Lebensdauer gewährleisten.

Verwandte: O'Reilly Learning Platform — Eine umfassende technische Bibliothek mit Büchern, Videos und Live-Schulungen zum Thema wissenschaftliches Rechnen.

Bandbibliotheken und Autoloader sind die Geräteklasse für Cold-Archive mit mehreren Terabyte. Sie sind im Vorfeld teuer und erfordern einen Migrationsplan, lassen sich jedoch auf Petabytes skalieren und sind in institutionellen Archiven die Norm.

Optische Archivlaufwerke und Disc-Brenner sind einfach, offline und unempfindlich gegenüber Netzwerkbedrohungen, was sie zu einer sinnvollen dritten Kopie für kleine, kritische Datensätze macht. Cloud-Objektspeicher ist nur ein abstraktes Gerät (Sie mieten Haltbarkeitsgarantien statt Hardware), aber es ist die einfachste Möglichkeit, externe Anforderungen zu erfüllen, vorausgesetzt, Sie befolgen gegebenenfalls die HDF5-Best-Practices für Cloud-Speicher.

Lösungen zur langfristigen Datenspeicherung

Langfristige Datenspeicherlösungen sind Strategien, keine Produkte, und die Strategie, die für eine Physiksimulationsgruppe funktioniert, unterscheidet sich von der Strategie, die für ein Bioinformatiklabor funktioniert. Die gemeinsame Struktur ist hierarchisch: ein Hot-Working-Store, ein Warm-Local-Archiv und eine Cold-Offsite-Kopie, wobei die Formate auf jeder Ebene dokumentiert sind. Bei der Entscheidung für Formate wägen Forscher abhängig von ihren spezifischen Datenstrukturen oft HDF5 oder Parquet für die Datenspeicherung ab.

Wenn Sie einkaufen: DataCamp — Interaktive Python- und Data-Science-Kurse, bei denen Sie direkt im Browser programmieren.

Langzeit-Datenspeicher SSD vs. HDD

SSD- und HDD-Langzeitspeicher sind der am häufigsten nachgefragte Vergleich, und die ehrliche Antwort lautet, dass sie unterschiedliche Zeithorizonte abdecken. Eine SSD ist schneller, leiser, stoßfester und eignet sich besser für die aktive Analyse, aber Flash-Zellen behalten ihre Ladung nur für eine begrenzte Zeit, wenn sie nicht mit Strom versorgt werden (gemessen in Jahren, nicht in Jahrzehnten), und SSD-Controller können ohne Vorwarnung ausfallen. Eine Festplatte ist langsamer und mechanisch, kostet aber weniger pro Terabyte und ihre Fehlermodi (fehlerhafte Sektoren, Head-Crashes) sind oft im Voraus über SMART-Daten erkennbar.

Für Archive in der Größenordnung eines Jahrzehnts ist beides nicht an sich ideal. Das pragmatische Modell lautet: SSD für den Arbeitssatz, HDD für das warme Archiv mit Prüfsummenbildung und Band oder Cloud für die kalte Kopie. Wenn Sie Medien für ein Regalarchiv auswählen müssen, ist eine Festplatte, die ausgeschaltet an einem klimatisierten Ort mit regelmäßigen Hochlaufprüfungen gelagert wird, besser als eine SSD, die für denselben Zeitraum ausgeschaltet bleibt.

Langfristige Datenspeicherung im Computer

Im IT-Bereich bedeutet langfristige Datenspeicherung, dass das interne Laufwerk, das Dateisystem und die Backup-Software zusammenarbeiten. Eine Workstation mit einer großen internen Festplatte, einem ZFS- oder Btrfs-Dateisystem mit Prüfsummen und einem automatisierten Sicherungsauftrag auf ein externes Laufwerk und einen Cloud-Bucket ist für die meisten Einzelforscher eine Komplettlösung.

Die Wahl des Dateisystems ist wichtiger, als die meisten Leute erwarten: Prüfsummendateisysteme erkennen Beschädigungen, die Ihnen ein einfaches ext4- oder NTFS-Volume gerne als gültige Daten zur Verfügung stellen. Für diejenigen, die bestimmte Formate verwenden, kann die Befolgung der HDF5-Best Practices für die Datenspeicherung und der HDF5-Best Practices für Cloud-Speicher die Datenintegrität weiter gewährleisten.

Langzeitdatenspeicherung Reddit

Reddit-Threads zur langfristigen Datenspeicherung sind aus einem Grund lesenswert: Sie decken echte Fehlergeschichten auf, die in Datenblättern verborgen sind. Wiederkehrende Themen in Communities wie r/DataHoarder und r/homelab sind die Unzuverlässigkeit billiger externer Laufwerke, die Wichtigkeit, Wiederherstellungen zu testen, anstatt Backups zu vertrauen, und die Schwierigkeit proprietärer Formate. Betrachten Sie die Ratschläge des Forums als Anekdote und nicht als Beweis – aber das Modell „Meine Archive waren in Ordnung, bis ich versuchte, sie wiederherzustellen“ ist ein echtes und gut dokumentiertes Risiko.

Langzeit-Datenspeichermedien

Langfristige Datenspeichermedien bilden das physische Substrat, und die ehrliche Rangfolge basierend auf der erwarteten Haltbarkeitsdauer für die langfristige Archivdatenspeicherung lautet ungefähr: optische Archivplatten und -bänder am haltbaren Ende, magnetische Festplatten in der Mitte und Flash-Speicher ohne Stromversorgung am fragilen Ende. Die von den Herstellern veröffentlichten Angaben zur Medienlebensdauer gehen von idealen Temperaturen und Luftfeuchtigkeiten aus, sodass sie durch reale Lagerbedingungen (Laborregal, Keller, heißer Serverraum) verkürzt werden. Die sicherste Annahme ist, dass alle Medien alle paar Jahre überprüft und alle fünf bis zehn migriert werden sollten.

HDF5 vs. Parquet für die Datenspeicherung

HDF5 vs. Parquet für die Datenspeicherung ist eine Entscheidung, die den Nutzen Ihrer Archive in einem Jahrzehnt bestimmen wird, und beide Formate sind für unterschiedliche Datenformen optimiert.

HDF5 ist ein hierarchischer Container, der für mehrdimensionale Arrays entwickelt wurde: Er speichert Datensätze in einem Gruppenbaum, unterstützt Chunking und Komprimierung und ist das native Format für viele wissenschaftliche Tools. Parquet ist ein Spaltenformat, das für tabellarische Daten und analytische Abfragen entwickelt wurde, mit hoher Komprimierung und breiter Unterstützung im Data-Engineering-Ökosystem.

Wählen Sie HDF5, wenn Ihre Daten arrayförmig sind (Simulationsschnappschüsse, Bildstapel, Feldzeitreihen) und wenn Sie viele verwandte Arrays mit gemeinsamen Metadaten in einer einzigen Datei speichern möchten. Wählen Sie Parquet, wenn Ihre Daten tabellarisch sind (Messungen pro Frame, Partikeltabellen, Parameter-Sweep-Ergebnisse) und wenn Sie Teilmengen effizient abfragen oder Daten aus Spark, DuckDB oder einem Cloud Warehouse lesen möchten.

Ein Hybridmodell eignet sich gut für Simulationspipelines: Behalten Sie die Roharray-Ausgabe in HDF5 und schreiben Sie abgeleitete tabellarische Zusammenfassungen zur Analyse und Weitergabe in Parquet. Dokumentieren Sie beides, da das Format nur die Hälfte des Datensatzes ausmacht – das Schema und die Einheiten sind die andere Hälfte.

Best Practices für die HDF5-Datenspeicherung

Best Practices für die HDF5-Datenspeicherung beginnen mit der Dateipräsentation, denn eine schlecht strukturierte HDF5-Datei ist selbst ein Jahr später schwer zu lesen. Verwenden Sie eine konsistente Gruppenhierarchie, benennen Sie Datensätze beschreibend und fügen Sie Attribute für Einheiten, Herkunft und Softwareversionen hinzu.

Speichern Sie die Codeversion und den Zufallsstartwert neben den Daten; ein Simulationsergebnis ohne seine Parameter ist nicht reproduzierbar. Dieser Ansatz gewährleistet eine zuverlässige langfristige Datenspeicherung.

Das Chunking und Komprimieren erfordert bewusste Entscheidungen. Die Chunk-Formen sollten Ihrem Lesemuster entsprechen (Chunks entlang der Achsen, die Sie am häufigsten schneiden), und die Komprimierung (gzip oder verlustbehaftete Filter, falls akzeptabel) reduziert die Größe auf Kosten einiger CPU-Leistung.

Wenn Sie hdf5 vs. Parquet für die Datenspeicherung in Betracht ziehen, denken Sie daran, Tausende kleiner Datensätze in einer einzigen Datei zu vermeiden; gruppieren Sie diese mit Bedacht und ziehen Sie eine Datei pro Zeitschritt oder pro Lauf vor, statt einer riesigen Datei, die schwer zu verschieben ist und der Gefahr einer Beschädigung ausgesetzt ist. Dies sind essenzielle Lösungen zur langfristigen Datenspeicherung.

HDF5 Best Practices für Cloud-Speicher

HDF5 Best Practices für Cloud-Speicher unterscheiden sich von lokalen Praktiken, da Objektspeicher keine Dateisysteme sind. HDF5-Dateien werden normalerweise im Ganzen oder in großen Blöcken gelesen, sodass das Speichern von Millionen kleiner HDF5-Dateien in einem Bucket zu einem hohen Aufwand bei Auflistungen und Anfragen führt. Wählen Sie weniger, größere Dateien oder ein für die Objektspeicherung konzipiertes Format wie Zarr, das Arrays in viele Objekte aufteilt, die zur langfristigen Archivdatenspeicherung parallel gelesen werden können.

Führen Sie ein Manifest, das Dateien Läufen und Prüfsummen zuordnet, und speichern Sie es zusammen mit den Daten. Cloud-Speicher bietet Ihnen Haltbarkeit, aber keine Lesbarkeit: Ein Bucket voller HDF5-Dateien ohne Indizes oder Schemadokumentation ist sowohl langlebig als auch nutzlos.

Langzeitarchivierung von Daten und Speicherung Langzeitdatenarchivierung

Langfristige Archivdatenspeicherung ist die Disziplin, Daten lesbar und nicht nur vorhanden zu halten, und die langfristige Datenarchivierung ist deren operative Seite: die Routinen, die ein Archiv am Leben erhalten. Die Grundroutinen sind Integritätsprüfung, Formatmigration und Dokumentation.

Integritätsprüfung bedeutet die regelmäßige Überprüfung der Prüfsummen aller Kopien. Tools wie sha256sum, ZFS-Scrubbing und Parquet/HDF5-fähige Validatoren erkennen Beschädigungen schnell, sofern noch eine gute Kopie zur Reparatur vorhanden ist.

Formatmigration bedeutet das Umschreiben von Daten, wenn ein Format oder Medium kurz vor der Veralterung steht, indem LTO-6-Bänder auf LTO-9 verschoben oder ein veraltetes Binärformat in HDF5 oder Parquet konvertiert werden. Dokumentation bedeutet eine README-Datei, die das Schema, die Einheiten und die Softwareversionen erläutert, gespeichert zusammen mit den Daten sowie an einem separaten Ort.

Für Python-basierte wissenschaftliche Pipelines ist der praktische Stack für langfristige Datenspeicherlösungen HDF5 via h5py für Array-Daten, Parquet via pyarrow oder pandas für Tabellendaten und ein beim Schreiben generiertes Prüfsummenmanifest. Wenn man hdf5 vs.

Parquet für die Datenspeicherung in Betracht zieht, ist diese Kombination durch weit verbreitete Open-Source-Bibliotheken lesbar, was die beste Garantie gegen Formatveralterung ist, die man bekommen kann. Die Befolgung der hdf5-Datenspeicherung-Best-Practices und der hdf5-Best-Practices für Cloud-Speicher stellt die Langlebigkeit der langfristigen Archivdatenspeicherung sicher.

Quellen & Weiterführende Literatur

• Data storage — Wikipedia: Datenspeicherung ist die Aufzeichnung (Speicherung) von Informationen (Daten) auf einem Speichermedium. Handschriften, Tonaufnahmen, Magnetbänder und optische Datenträger sind alles…
• Cloud storage — Wikipedia: Cloud-Speicher ist ein Modell der Computerdatenspeicherung, bei dem Daten, die sich angeblich in der „Cloud“ befinden, remote in logischen Pools gespeichert werden und für Benutzer über einen… zugänglich sind.
• Research data archiving — Wikipedia: Die Archivierung von Forschungsdaten ist die langfristige Speicherung wissenschaftlicher Forschungsdaten, einschließlich der Naturwissenschaften, Sozialwissenschaften und Lebenswissenschaften. Die verschiedenen akademischen…
• Data — Wikipedia: Daten (DAY-tə, US auch DAT-ə) sind eine Sammlung diskreter oder kontinuierlicher Werte, die Informationen vermitteln und Quantität, Qualität, Fakten, Statistiken usw. beschreiben.

Häufig gestellte Fragen

Was ist Langzeitdatenspeicherung?

Langzeitdatenspeicherung ist eine Kombination aus Medien, Dateisystemen und Dateiformaten, die darauf ausgelegt ist, die Wiederherstellbarkeit von Daten über Jahre oder sogar Jahrzehnte hinweg sicherzustellen. Sie unterscheidet sich von gewöhnlichen Backups dadurch, dass der Zeithorizont lang genug ist, dass Software-Veralterung und stille Beschädigung zu den dominierenden Risiken werden, nicht nur ein Festplattenausfall.

Was sind die wichtigsten Optionen für die langfristige Datenspeicherung?

Die wichtigsten Lösungen für die langfristige Datenspeicherung sind magnetische Festplatten, LTO-Bänder, optische Archivierungsplatten, SSDs sowie Cloud- oder verwaltete Archive. Die professionellsten Konfigurationen kombinieren mehrere: schnelle lokale Speicherung für Arbeitsdaten, ein lokales Archiv mit Prüfsummen und eine Offsite-Kopie gemäß der 3-2-1-Regel.

Welche Langzeit-Datenspeichergeräte sollte ein Labor kaufen?

Ein Labor benötigt normalerweise eine große interne oder externe HDD mit einem Prüfsummendateisystem, ein zweites Laufwerk oder NAS für lokale Redundanz und entweder ein Bandlaufwerk oder einen Cloud-Bucket für die Offsite-Kopie. Das Gerät ist weniger wichtig als die Fähigkeit, seinen Inhalt regelmäßig zu überprüfen.

Ist SSD oder HDD besser für die langfristige Datenspeicherung?

HDD ist im Allgemeinen besser für die jahrzehntelange langfristige Archivdatenspeicherung, da sie pro Terabyte günstiger ist und ihre Fehlermodi oft im Voraus erkennbar sind. SSD ist besser für aktive Arbeitsdaten, aber unbestromter Flash hält eine Ladung nur für eine begrenzte Anzahl von Jahren, weshalb er eine schlechte Wahl für ein Regalarchiv ist.

Was ist das beste Langzeit-Datenspeichermedium?

Band und optische Archivdatenträger haben die längste erwartete Haltbarkeitsdauer, magnetische HDDs liegen im Mittelfeld und unbestromter Flash ist am anfälligsten. Kein Medium ist permanent, daher besteht die praktische Antwort darin, mindestens zwei Medientypen zu verwenden und alle fünf bis zehn Jahre zu migrieren.

Wie sollen wissenschaftliche Daten langfristig gespeichert werden?

Wissenschaftliche Daten sollten in offenen, gut dokumentierten Formaten gespeichert werden – wobei man hdf5 vs. Parquet für die Datenspeicherung abwägt und HDF5 für mehrdimensionale Arrays und Parquet für Tabellendaten verwendet – mit Prüfsummen, einer Schema-README und aufgezeichneten Softwareversionen. Die Befolgung der hdf5-Datenspeicherung-Best-Practices und der hdf5-Best-Practices für Cloud-Speicher, indem dieselben Daten bei Praktikabilität in zwei Formaten gespeichert werden, erhöht die Widerstandsfähigkeit gegen den Fall, dass eine einzelne Bibliothek nicht mehr gewartet wird.