Beste Langzeitarchivierungsdatenspeicherung: Top-Picks

Die langfristige Archivdatenspeicherung umfasst vier praktische Medienfamilien: Band (LTO), optische Datenträger (M-DISC und Archiv-Blu-ray), Festplatten und SSDs sowie Cloud-Objektspeicher sowie die 3-2-1-1-0-Sicherungsregel, die regelt, wie Sie diese kombinieren. Kein einzelnes Medium gewinnt in allen Belangen, daher hängt die richtige Wahl von Ihrem Aufbewahrungshorizont, Ihrem Budget und der Häufigkeit des Rücklesens der Daten ab.

Wichtige Erkenntnisse

• Band (LTO) ist nach wie vor das günstigste pro Terabyte für Kaltarchive, mit einer Roadmap, die in der Vergangenheit eine ungefähre Verdoppelung der Kapazität pro Generation und ein Rücklesekompatibilitätsfenster von zwei Generationen ermöglicht hat.
• Optische Medien (M-DISC, Archiv-Blu-ray) eignen sich für kleine, einmal beschreibbare Offline-Archive, bei denen ein paar hundert Gigabyte ausreichen und Sie Medien benötigen, die weder Strom noch Migration benötigen, um zu überleben.
• HDDs und SSDs sind funktionale Speicher, keine Archivspeicher – sie versagen aufgrund von mechanischer Abnutzung, Bitfäule und, bei SSDs, Ladungsverlust, wenn sie nicht mit Strom versorgt werden.
• Cloud-Objektspeicher (S3 Glacier, Azure Archive, Google Archive) tauscht Geld gegen Komfort: Sie zahlen laufende Miete und Ausgangsgebühren, erhalten aber geografische Redundanz und keine Hardware, die Sie überwachen müssen.
• Die 3-2-1-1-0-Regel – drei Kopien, zwei Medientypen, eine extern, eine offline/air-gapped, keine verifizierten Fehler – ist der Standard für die langfristige Archivdatenspeicherung, auf den die meisten Forschungsgruppen achten sollten.
• Fixitätsüberprüfung (Prüfsummen) und ein Migrationsplan sind wichtiger als die von Ihnen gewählten Medien. Ein verifiziertes Archiv auf bescheidener Hardware schlägt ein nicht verifiziertes Archiv auf exotischer Hardware.

Was „Archiv“ eigentlich bedeutet

Archivspeicher wird durch sein Zugriffsmodell definiert, nicht durch seine Technologie. Daten, die Sie einmal schreiben und selten lesen (rohe Instrumentenausgaben, Simulationsprüfpunkte, Sequenzierungslesevorgänge, veröffentlichte Datensatz-Snapshots), gehören in die langfristige Archivdatenspeicherung, während Daten, die Sie täglich abfragen, in den Arbeitsspeicher (Working Storage) gehören. Die Unterscheidung ist wichtig, da die beiden entgegengesetzte Kostenkurven aufweisen: Archivmedien optimieren die Kosten pro gespeichertem Byte und die Langlebigkeit, während Working Storage die Latenz und den Durchsatz optimiert.

Der Aufbewahrungshorizont bestimmt alle weiteren Entscheidungen. Ein Labor, das Rohdaten für den vom Geldgeber vorgeschriebenen Zeitraum (normalerweise drei bis sieben Jahre und in einigen Bereichen länger) aufbewahren muss, hat andere Anforderungen als eine Gruppe, die einen Referenzdatensatz über Jahrzehnte hinweg pflegt. Je länger der Horizont, desto mehr sollten Sie der Langlebigkeit der Medien, der Formatoffenheit und der Praktikabilität der regelmäßigen Migration Vorrang vor der reinen Geschwindigkeit einräumen.

Das wichtigste Konzept in diesem Bereich ist, dass kein Medium dauerhaft ist. Jede Speichertechnologie hat eine begrenzte Lebensdauer, und das Archivierungsproblem ist eigentlich ein Management-Problem: Wie können Daten über Mediengenerationen, Formatänderungen und Organisationswechsel hinweg lesbar gehalten werden? Die Antwort ist eine Kombination aus redundanten Kopien, offenen Formaten, Prüfsummen und einem Migrationsplan.

Die vier Medienfamilien im Vergleich zur langfristigen Archivdatenspeicherung

Medium	Typische Verwendung	Stärken	Schwächen	Am besten für
LTO-Band	Kaltes Archiv, große Mengen	Niedrigste Kosten/TB im großen Maßstab; standardmäßig offline; lange Haltbarkeit	Benötigt einen Antrieb; linearer Zugang; Migration alle paar Generationen	Multi-TB-zu-PB-Forschungsarchive
M-DISC / Archiv-Blu-ray	Kleine einmal beschreibbare Archive	Inerte anorganische Aufzeichnungsschicht; kein Strom nötig; günstige Lesegeräte	Geringe Kapazität pro Disc; langsames Schreiben; manuelle Handhabung	Hunderte GB, langfristige Offline-Kopien
HDD / SSD	Arbeiten + Nearline-Speicher	Schneller Direktzugriff; allgegenwärtig	Mechanischer/elektrischer Fehler; SSD-Ladeverlust ohne Stromversorgung; Bitfäule	Aktive Projekte, Staging vor dem Archiv
Cloud-Objektspeicher	Offsite + geografische Redundanz	Keine Hardware; Haltbarkeits-SLAs; skaliert sofort	Laufende Kosten; Datentransfergebühren; Anbieterabhängigkeit	Offsite-Kopie, Zusammenarbeit, Notfallwiederherstellung

Band: LTO und der Cold-Archive-Standard

Linear Tape-Open (LTO) ist die Standardlösung für die langfristige Archivdatenspeicherung in großen Forschungsarchiven, und das aus gutem Grund. Bandkassetten speichern Daten auf Magnetband in einem linearen Format, kosten viel weniger pro Terabyte als große Festplatten und sind standardmäßig offline, wodurch sie vor Ransomware und dem Risiko einer versehentlichen Löschung geschützt sind. Die LTO-Roadmap hat in der Vergangenheit etwa alle zwei bis drei Jahre eine neue Generation mit erhöhter Kapazität bereitgestellt, und Laufwerke lesen normalerweise die aktuelle Generation plus die vorherige ein oder zwei, was Ihren Migrationsrhythmus bestimmt.

Das Problem ist der Leser. Band ist pro Terabyte nur dann günstig, wenn Sie bereits über ein Laufwerk und eine Bibliothek verfügen; Ein einzelnes Laufwerk und ein einzelnes Medium sind echte Investitionskosten, und das Format ist linearer Zugriff, sodass die Wiederherstellung einer einzelnen Datei aus der Mitte einer Kassette langsamer ist als von einer Festplatte.

Verwandte: Dataquest — Projektbasierte Data-Science-Pfade mit geführtem Terminal und realen Datensätzen.

Für eine Laborgruppe, die Dutzende Terabyte archiviert, ist Band auf lange Sicht im Allgemeinen die wirtschaftlichste Wahl. Bei einem einzelnen Forscher mit 2 TB ist dies in der Regel nicht der Fall.

Praktische Bandhygiene: Schreiben Sie in ein konsistentes Format (TAR oder dokumentierter Container), notieren Sie die zum Schreiben jeder Kassette verwendete Software und Version, lagern Sie Kassetten in einer kontrollierten Umgebung fern von Magnetfeldern und überprüfen Sie nach jedem Schreibvorgang eine Dateiprobe. Das LTO-Programm veröffentlicht Spezifikationen und Kompatibilitätsmatrix der aktuellen Generation.

Optisch: M-DISC und Archival Blu-ray

Optische Medien verdienen ihren Platz in der langfristigen Archivdatenspeicherung aufgrund einer Eigenschaft: Sie benötigen keinen Strom, keine Laufwerks-Firmware und keine Netzwerkanbindung, um zu überleben. M-DISC verwendet eine anorganische Aufzeichnungsschicht, die so konzipiert ist, dass sie dem Abbau, der sich auf beschreibbare DVDs und Blu-rays auf organischer Farbstoffbasis auswirkt, standhält, und Blu-ray-Discs in Archivqualität werden für eine lange Haltbarkeit vermarktet. Unabhängige Langlebigkeitsaussagen zu optischen Medien sollten sorgfältig gelesen werden: Häufig zitierte Studien zur beschleunigten Alterung stammen von Herstellern und Tests des US-Verteidigungsministeriums Naval Air Warfare Center, und die tatsächlichen Ergebnisse hängen stark von den Lagerbedingungen ab.

Einen Blick wert: Coursera Plus — Ein Abonnement für von der Universität unterstützte Python- und Data-Science-Zertifikate.

Die Kapazität ist der limitierende Faktor. Eine einzelne Archiv-Blu-ray enthält Dutzende Gigabyte. Die Archivierung eines Terabytes bedeutet also Dutzende Discs und einen Katalog, um den Überblick darüber zu behalten. Optische Medien eignen sich am besten für eine einmal beschreibbare Kopie eines veröffentlichten Datensatzes, einer Abschlussarbeit oder einer kleinen Referenzsammlung, nicht für ein Simulationsarchiv mit mehreren Terabyte.

Festplatten und SSDs: Working Storage, keine Archive

Festplatten fallen aufgrund von mechanischem Verschleiß, Kopfabstürzen und fortschreitender magnetischer Verschlechterung aus. SSDs versagen wegen der begrenzten Schreibdauer und, was für die Langzeitarchivierung von Daten von entscheidender Bedeutung ist, wegen Ladungslecks in NAND-Zellen, die über längere Zeiträume ohne Strom bleiben.

Beide sorgen für eine hervorragende funktionale Speicherung und schlechte Langzeitaufzeichnungen. Die praktische Rolle rotierender Festplatten in einer Archivierungsstrategie ist die einer Nearline-Kopie (einer aktiven, prüfsummenbasierten Replik, die Sie nach einem Zeitplan aktualisieren) und nicht die eines vertrauenswürdigen Mediums, das ein Jahrzehnt lang in einem Regal aufbewahrt wird.

Wenn Sie Festplatten für Archivierungskopien verwenden, planen Sie, sie regelmäßig mit Strom zu versorgen, mindestens einmal im Jahr einen vollständigen Lese- und Überprüfungsdurchlauf durchzuführen und sie in einem festen Zyklus auszutauschen, anstatt auf einen Ausfall zu warten. Die von Backblaze veröffentlichten Laufwerksstatistiken sind eine nützliche Realitätsprüfung der tatsächlichen Ausfallraten, obwohl sie eine bestimmte Flotte und Arbeitslast widerspiegeln.

Cloud Object Storage für Archive

Cloud-Archivebenen (Amazon S3 Glacier und Glacier Deep Archive, Azure Blob Archive und Google Cloud Archive) bieten langfristige Archivdatenspeicherung für Objekte zu geringen monatlichen Kosten und bieten Haltbarkeits-SLAs und geografische Redundanz, die kein einzelnes Labor erreichen kann. Die Nachteile sind die laufende Miete, die in Stunden gemessene Wiederherstellungslatenz für die tiefsten Ebenen und Ausgangsgebühren, die die Speicherkosten bei der Wiederherstellung großer Datenmengen in den Schatten stellen können. Die Bindung an einen Anbieter ist ein echtes Problem: Gestalten Sie Ihr Archiv so, dass die Objekte selbstbeschreibend und portierbar sind, und bewahren Sie eine lokale Kopie auf, damit Sie nie von einem einzelnen Anbieter abhängig sind.

Die Cloud ist die natürliche Heimat für den „One Offsite“-Teil der 3-2-1-1-0-Regel und oft die kostengünstigste Möglichkeit, die Datenfreigabeanforderungen eines Geldgebers zu erfüllen. Dies ist selten die richtige einzige Kopie für Daten, deren Verlust Sie sich nicht leisten können.

Verwandte: O'Reilly Learning Platform — Eine umfassende technische Bibliothek mit Büchern, Videos und Live-Schulungen zum Thema wissenschaftliches Rechnen.

So entscheiden Sie: Eine Kriterien-Checkliste für die langfristige Archivierung von Daten

Gehen Sie sie der Reihe nach durch, da jede Antwort die nächste einschränkt:

1. Volumen – Unter etwa 1 TB sind optische und Cloud-Speicher möglich. Ab etwa 10 TB sind Band oder Cloud die wirtschaftliche Wahl.
2. Aufbewahrungshorizont – In weniger als fünf Jahren sind die Cloud und die Laufwerke in Ordnung. Bevorzugen Sie über einen Zeitraum von zehn Jahren Band oder Optik und einen Migrationsplan.
3. Zugriffshäufigkeit – Selten gelesen: Band- oder Deep-Cloud-Tiers. Gelegentliches Lesen: Nearline-Disk- oder Cloud-Stufen mit seltenem Zugriff.
4. Budgetmodell – Kapital (einmaliger Kauf der Hardware) bevorzugt Band und optische Geräte. Der Betrieb (monatliche Zahlung) begünstigt die Cloud.
5. Compliance – Überprüfen Sie die Datenrichtlinien von Geldgebern und Institutionen; einige erfordern bestimmte Aufbewahrungsfristen oder genehmigte Repositories.
6. Verifizierung – Planen Sie unabhängig von Ihrer Wahl Prüfsummen und regelmäßige Rücklesetests ein.

Die 3-2-1-1-0-Regel und Fixität

Die 3-2-1-1-0-Regel ist der praktische Standard für die Langzeitarchivierung von Daten: drei Kopien der Daten auf zwei unterschiedlichen Medientypen, mit einer Offsite-Kopie, einer Offline- oder Air-Gap-Kopie und null Fehlern, die durch Prüfsummen überprüft werden. Für eine Forschungsgruppe ist eine mögliche Umsetzung: Primärdaten auf einem Laborserver (Arbeitskopie), ein Band- oder optisches Archiv im Labor (Offline-Kopie) und ein Cloud-Archiv in einer anderen Region (Offsite-Kopie).

Durch die Fixitätsprüfung werden Kopien zu Archiven. Generieren Sie Prüfsummen (SHA-256 ist Standard), wenn die Daten geschrieben werden, speichern Sie das Manifest mit den Daten und überprüfen Sie es nach einem Zeitplan erneut. Tools wie „par2“ für Parität, „rsync“ mit Prüfsummen und Scrubbing auf Dateisystemebene auf ZFS oder Btrfs sind allesamt nützlich. Das Referenzmodell Open Archival Information System (OAIS), standardisiert als ISO 14721, ist der konzeptionelle Rahmen für die meisten seriösen Archivsysteme und es lohnt sich, es zu lesen, wenn Sie eines entwerfen.

Wenn Sie einkaufen: DataCamp — Interaktive Python- und Data-Science-Kurse, bei denen Sie direkt im Browser programmieren.

Formate und Metadaten: Der Teil, den jeder vergisst

Perfekte Medien, die ein nicht lesbares Format enthalten, sind ein fehlerhaftes Archiv für die langfristige Speicherung von Archivdaten. Bevorzugen Sie offene, gut dokumentierte und selbstbeschreibende Formate: HDF5, NetCDF, Parquet, Plain Text und offene Bildformate. Vermeiden Sie proprietäre Formate, deren Leser möglicherweise verschwinden. Speichern Sie zu jedem Archiv eine README-Datei mit einer Beschreibung der Daten, der zur Erstellung verwendeten Software und Versionen, des Prüfsummenmanifests und des Datums. Für wissenschaftliche Daten gelten die FAIR-Prinzipien (Findable, Accessible, Interoperable, Reusable) als anerkannte Leitlinien, und deren Befolgung erleichtert die zukünftige Migration erheblich.

Quellen und weiterführende Literatur

• Datenspeicherung – Wikipedia: Datenspeicherung ist die Aufzeichnung (Speicherung) von Informationen (Daten) auf einem Speichermedium. Handschriften, Tonaufnahmen, Magnetbänder und optische Datenträger sind alles…

Häufig gestellte Fragen

Was ist das beste Langzeitarchivierungsdatenspeichermedium?

Es gibt kein bestes Universalmedium; die richtige Wahl hängt vom Volumen, dem Aufbewahrungshorizont und dem Budget ab. Für große Forschungsarchive bietet LTO-Band die niedrigsten Kosten pro Terabyte und bleibt standardmäßig offline. Für kleine einmal beschreibbare Archive benötigen Archiv-M-DISCs und Blu-rays keinen Strom, um zu überleben. Cloud-Objektspeicher eignet sich für Offsite-Redundanz und Zusammenarbeit.

Wie lange sind die Daten auf den einzelnen Medien tatsächlich haltbar?

Hersteller veröffentlichen Schätzungen zur Lebensdauer, die tatsächliche Lebensdauer hängt jedoch von den Lager- und Handhabungsbedingungen ab. Bänder und optische Medien werden häufig im Dekadenbereich unter kontrollierten Bedingungen verwendet, während Festplatten und SSDs ohne Stromversorgung über lange Zeiträume weitaus weniger zuverlässig sind. Behandeln Sie jede Zahl als Schätzung und verlassen Sie sich auf Redundanz und Migration statt auf die Nennlebensdauer eines einzelnen Mediums.

Eignet sich Cloud-Speicher für die Langzeitarchivierung?

Cloud-Archivierungsebenen eignen sich hervorragend für den Off-Site-Teil einer Backup-Strategie und bieten geografische Redundanz und Haltbarkeits-SLAs, ohne dass Hardware gewartet werden muss. Die Nachteile sind laufende Kosten, Abruflatenz in tieferen Ebenen und Ausgangsgebühren bei der Datenwiederherstellung. Bewahren Sie eine lokale Kopie auf und entwerfen Sie Objekte so, dass sie portierbar sind, um eine Anbieterbindung zu vermeiden.

Wie oft sollte ich archivierte Daten migrieren?

Das Tempo der Migration wird eher durch veraltete Medien und Formate als durch einen festen Zeitplan bestimmt. Ein gängiger Ansatz besteht darin, die Prüfsummen jährlich zu überprüfen und alle fünf bis zehn Jahre eine vollständige Medienmigration zu planen, oder früher, wenn Ihre Bandgeneration nicht mehr mit dem Laufwerk kompatibel ist. Führen Sie die Migration immer durch, bevor die alten Medien unlesbar werden, nicht danach.

Was ist die 3-2-1-1-0-Backup-Regel?

Die Regel erfordert drei Kopien Ihrer Daten auf zwei verschiedenen Medientypen, wobei eine externe Kopie, eine Offline- oder Air-Gap-Kopie und null durch Prüfsummen verifizierte Fehler vorliegen. Es handelt sich um ein praktisches Framework, das gleichzeitig vor Hardwareausfällen, Katastrophen am Standort, Ransomware und stiller Datenbeschädigung schützt. Die meisten Forschungsgruppen sollten ihre Archive darauf ausrichten.

Benötige ich Prüfsummen für die Archivspeicherung?

Prüfsummen sind es, die ein verifiziertes Archiv von einem Stapel Dateien unterscheiden. Durch die Generierung von SHA-256-Hashes zum Zeitpunkt des Schreibens und deren erneute Überprüfung nach einem Zeitplan werden stille Bitrot und fehlerhafte Kopien erkannt, bevor sie nicht mehr wiederhergestellt werden können. Speichern Sie das Prüfsummenmanifest mit den Daten und beziehen Sie es in jede Migration ein.