最高の長期データ ストレージ: 上位の比較

長期データ ストレージには、デジタル データを何年、場合によっては数十年にわたって読み取り可能かつ無傷で保存することが含まれます。実用的なオプションは、磁気ハード ドライブ、テープ (LTO)、光ディスク、フラッシュ/SSD、クラウドまたはマネージド アーカイブの 5 つのファミリーに分類されます。科学研究の場合、記憶媒体は問題の半分にすぎません。ファイル形式とそれを記述するメタデータによって、データが 2035 年でも使用できるかどうかが決まります。

重要なポイント

• 単一のメディアだけでは勝てない: 長期データ ストレージに対する持続可能な答えは、高速に動作するストレージ、検証済みのアーカイブ コピー、およびソフトウェアのチャーンに耐える形式という多層戦略です。
• コールド アーカイブのテラバイトあたりのコストでは、磁気ハード ドライブ (HDD) と LTO テープが引き続きトップです。 SSD はワーキング セットには最適ですが、電力が供給されていない 10 年規模のアーカイブとしては不十分です。
• シミュレーションと分析の結果については、データ ストレージとして HDF5 と寄木細工を検討すると、さまざまな問題が解決されます。階層配列、チャンク配列、多次元配列には HDF5 が適しています。列形式の表データとクラウド分析用の Parquet。
• 「長期」とは、購入ではなくメンテナンスの約束です。ハードウェアの故障よりも、ビットロット、フォーマットの陳腐化、ドキュメントの紛失により、長期アーカイブ データ ストレージ が破壊されることが多くなります。
• 3-2-1 ルール (3 つのコピー、2 種類のメディア、1 つのオフサイト) および定期的な整合性チェックは、本格的な研究室が尊重すべきベースラインの長期データ保存ソリューションを構成します。

長期データ保管とは何ですか?

長期データ ストレージとは、作業ディスクの寿命 (数か月、数年) ではなく、回復可能なデータを数年、さらには数十年単位で保持するように設計されたハードウェア、メディア、およびファイル形式の組み合わせです。障害モードは時間の経過とともに変化するため、期間は重要です。1 年になると、ディスク障害が心配になります。 10 年後、そのファイルを書き込んだソフトウェアがまだ存在しているかどうか疑問に思うでしょう。

便利な定義は 3 つの層を分離します。物理層はメディアです。ハード ドライブ、LTO テープ カートリッジ、Blu-ray ディスク、クラウド領域のオブジェクト ストレージなどです。論理レイヤーは、ファイル システムとコンテナーです。ext4、ZFS、tar、またはオブジェクト ストアのバケット セマンティクスです。セマンティック レイヤーは、HDF5、Parquet、NetCDF、CSV、またはドメイン固有のスキーマなどの形式とそのドキュメントです。文書化されていないバイナリ BLOB でいっぱいの完全に正常なディスクは使用可能なデータを構成しないため、アーカイブはセマンティック層で失敗することがほとんどです。

研究グループにとって、実際的な問題が「単一の最適なメディアは何か」であることはほとんどなく、ほとんどの場合は「単一の失敗、予算削減、ベンダーの決定によってデータセットが破壊されないようにメディアを組み合わせる方法」です。この比較の残りの部分はこのフレームワークに基づいています。

長期データ保管オプション

長期データ ストレージ オプションは 5 つのファミリーに分類され、それぞれに異なるコスト、寿命、アクセス プロファイルがあります。それらを正直に比較するということは、テラバイトあたりのコスト、予想されるメディア寿命、読み取り遅延、およびそれぞれに必要な継続的な人的労力の量を比較することを意味します。長期データ ストレージ ソリューションを評価するときは、データセットの特定のニーズを考慮することが重要です。

オプション	典型的な役割	アクセス速度	継続的な取り組み	こんな方に最適
磁気HDD（外付け/RAID）	ワーキング + ウォーム アーカイブ	速い	中 (スピンアップチェック)	大規模なアクティブなデータセット
LTOテープ	コールドアーカイブ	遅い (分)	高（ドライブ＋回転）｜マルチ TB コールド コピー
光学式 (M-DISC、アーカイブ Blu-ray)	小さなコールドアーカイブ	遅い	低い	書類、かけがえのない小さなセット
SSD/NVMe	ワーキングセット、キャッシュ	最速	低い	数十年ではなく、積極的な分析
クラウド / マネージド アーカイブ	オフサイトコピー、階層化	変動的	低～中	オフサイト 3-2-1 コピー

磁気ハード ドライブはデフォルトの主力製品です。1 つの大きなハード ドライブは、ランダム アクセス メディアの中で最も低いテラバイトあたりのコストで数テラバイトを保持でき、最新のドライブは何年も継続的に動作できるように設計されています。弱点は機械的なものです。ベアリング、ヘッド、モーターは劣化します。電源が供給されていないドライブを 10 年間棚に放置するのは賭けです。

関連: Dataquest — ガイド付きターミナルと実際のデータセットを使用したプロジェクトベースのデータ サイエンス パス.

LTO テープは、長期アーカイブ データ ストレージのアーカイブ スペシャリストです。テープ カートリッジは長期保存用に設計されており、大規模な場合はテラバイトあたりのコストが安く、ほとんどの国立研究所やアーカイブが標準化しているメディアです。問題はドライブです。LTO 世代は 1 ～ 2 世代前の世代を読み取ります。したがって、テープ アーカイブでは、新しいドライブへの定期的な移行とカートリッジの再書き込みが必要となり、実際の繰り返しコストが発生します。

光学メディアはニッチ市場を埋めます。アーカイブ グレードのディスク (M-DISC など) は 100 年の耐用年数を想定して販売されており、小規模で価値の高いデータ セットに非常に役立ちますが、ディスクあたりの容量は控えめで、大量の書き込みには時間がかかります。

フラッシュと SSD は作業データには最適ですが、電力が供給されていないアーカイブとしては最悪です。時間の経過とともにセルの充電が漏れ、コントローラとファームウェアがさらなる障害点になります。クラウドとマネージド アーカイブは、お金と引き換えに運用オーバーヘッドを削減し、データ転送費用 (egress fees)とベンダー ロックインを犠牲にして、3-2-1 のオフサイト ステップをほぼ無料で提供します。特定の形式を使用している場合は、データ ストレージに hdf5 と寄木細工のどちらを使用するかを考慮すると、効率に影響を与える可能性があります。 hdf5 データ ストレージのベスト プラクティスとクラウド ストレージの hdf5 ベスト プラクティスに従うことで、これらの長期データ ストレージ戦略をさらに最適化できます。

一見の価値があります: Coursera Plus — 大学が支援する Python およびデータサイエンス証明書の 1 つのサブスクリプション.

長期データストレージデバイス

長期データ ストレージ デバイスは、単純な外部ドライブからロボット テープ ライブラリまで多岐にわたります。適切なデバイスとは、障害モードを実際に監視できるデバイスです。技術データシートに関係なく、検証できないデバイスはアーカイブではありません。長期データ ストレージ ソリューションを検討する場合、目標は、アクセス可能な状態を維持する長期アーカイブ データ ストレージです。

外付けハード ドライブとデスクトップ RAID エンクロージャは、ほとんどのラボのエントリ ポイントです。 2 ベイ RAID 1 エンクロージャは、単一ドライブの障害からは保護しますが、火災、盗難、ランサムウェア、または両方のミラーを破損するコントローラのバグからは保護しません。 RAID はバックアップではなく可用性を重視します。ラボのストレージでは最も一般的な誤解であるため、この区別は繰り返す価値があります。

NAS ユニットはネットワーク アクセスを追加し、多くの場合スナップショットを追加します。これは本当に価値があります。ファイル システムのスナップショットを使用すると、不適切なスクリプトの実行によって上書きされたファイルを回復できます。 ZFS ベースのシステムには、チェックサムとスクラビングが追加されており、長年にわたって蓄積されるサイレント破損であるビットロットを検出して修復します。科学データの場合、チェックサムはオプションではありません。それは、記録が無傷であると知っていることと、無傷であることを期待することの違いです。データ形式に応じて、ユーザーはこれらのシステムを最適化するために、データ ストレージとして HDF5 と寄木細工を評価する場合があります。次の hdf5 データ ストレージのベスト プラクティスにより、寿命を延ばすことができます。

テープ ライブラリとオートローダーは、数テラバイトのコールド アーカイブ用のデバイスのクラスです。初期費用が高くつき、移行計画が必要ですが、ペタバイト規模まで拡張でき、機関アーカイブでは標準的です。

アーカイブ用光学ドライブとディスク バーナーはシンプルでオフラインであり、ネットワークの脅威に影響されないため、小規模で重要なデータ セットの合理的な 3 番目のコピーとなります。クラウド オブジェクト ストレージは、抽象的なデバイスにすぎません (ハードウェアではなく耐久性保証をレンタルしていることになります) が、クラウド ストレージに関する hdf5 ベスト プラクティス (該当する場合) に従う限り、これはオフサイト要件を満たす最も簡単な方法です。

長期データ ストレージ ソリューション

長期データ ストレージ ソリューションは製品ではなく戦略であり、物理シミュレーション グループに有効な戦略は、バイオインフォマティクス研究室に有効な戦略とは異なります。共通の構造は階層構造になっており、ホット ワーキング ストア、ウォーム ローカル アーカイブ、コールド オフサイト コピーであり、各レベルでフォーマットが文書化されています。フォーマットを決定する際、研究者は特定のデータ構造に応じて、データ ストレージとして HDF5 と寄木細工を比較検討することがよくあります。

関連: O'Reilly Learning Platform — 科学技術コンピューティング関連の書籍、ビデオ、ライブ トレーニングの詳細な技術ライブラリ.

長期データストレージ SSD と HDD の比較

SSD と HDD の長期データ ストレージの比較は最も要望が高く、正直な答えは、これらは対応する期間が異なるということです。 SSD は高速で、静かで、耐衝撃性があり、アクティブな分析に優れていますが、フラッシュ セルは電源が供給されていないときに限られた時間だけ充電を保持し (数十年ではなく数年で測定されます)、SSD コントローラーは警告なしに故障する可能性があります。ハード ドライブは低速で機械的ですが、テラバイトあたりのコストが低く、障害モード (不良セクター、ヘッド クラッシュ) は多くの場合、SMART データによって事前に検出できます。

10 年規模のアーカイブでは、どちらもそれ自体が理想的ではありません。実用的なモデルは、ワーキング セットには SSD、チェックサム付きのウォーム アーカイブには HDD、コールド コピーにはテープまたはクラウドです。シェルフ アーカイブ用のメディアを選択する必要がある場合、定期的にスピンアップ チェックを行って環境管理された場所で電源をオフにして保管したハード ドライブの方が、同じ期間電源をオフにしたままにした SSD よりも優れています。

コンピュータ内の長期データ保存

IT 用語では、長期データ ストレージとは、内部ドライブ、ファイル システム、バックアップ ソフトウェアが連携して動作することを意味します。大容量の内蔵ハードドライブ、チェックサム付きの ZFS または Btrfs ファイル システム、および外部ドライブとクラウド バケットへの自動バックアップ ジョブを備えたワークステーションは、ほとんどの個人研究者にとって完全なソリューションです。ファイル システムの選択は、ほとんどの人が予想しているよりも重要です。チェックサム ファイル システムは、単純な ext4 または NTFS ボリュームが有効なデータとして機能する破損を検出します。特定の形式を使用している場合は、hdf5 データ ストレージのベスト プラクティスとクラウド ストレージの hdf5 ベスト プラクティスに従うことで、データの整合性をさらに確保できます。

ショッピングの場合: DataCamp — ブラウザーで直接コーディングするインタラクティブな Python およびデータ サイエンス コース.

長期データ保管 Reddit

長期データストレージ Reddit のスレッドが読む価値がある理由は 1 つあります。それは、データシートに隠された本当の失敗談が明らかになることです。 r/DataHoarder や r/homelab などのコミュニティで繰り返されるテーマは、安価な外付けドライブの信頼性の低さ、バックアップを信頼するのではなく復元をテストすることの重要性、および独自のフォーマットの難しさです。フォーラムのアドバイスは証拠ではなく逸話として考えてください。しかし、「アーカイブを復元しようとするまでは問題なかった」モデルは現実のリスクであり、十分に文書化されています。

長期データストレージメディア

長期データ ストレージ メディアは物理的な基板を構成しており、長期アーカイブ データ ストレージの予想保存期間に基づいた正直なランキングは、大まかに次のとおりです。耐久性のある端はアーカイブ光ディスクとテープ、真ん中は磁気ハード ドライブ、壊れやすい端は電力が供給されていないフラッシュです。メーカーが公表しているメディア寿命の数値は、理想的な温度と湿度を想定しているため、実際の保管条件 (研究室の棚、地下室、高温のサーバー ルーム) では寿命が短くなります。最も安全な仮定は、メディアは数年ごとに検証され、5 ～ 10 年ごとに移行されるべきであるということです。

データ ストレージ用の HDF5 と Parquet の比較

データ ストレージにおける HDF5 と Parquet のどちらを選択するかによって、10 年後のアーカイブの有用性が決まります。どちらの形式も、さまざまな形式のデータに合わせて最適化されています。 HDF5 は、多次元配列用に設計された階層コンテナです。データセットをグループ ツリーに保存し、チャンク化と圧縮をサポートし、多くの科学ツールのネイティブ形式です。 Parquet は、表形式のデータと分析クエリ用に設計された列形式であり、高圧縮でデータ エンジニアリング エコシステムで幅広くサポートされています。

データが配列形式 (シミュレーション スナップショット、イメージ スタック、フィールド時系列) であり、共有メタデータを持つ多数の関連配列を 1 つのファイルに保存したい場合は、HDF5 を選択してください。データが表形式 (フレームごとの測定、粒子テーブル、パラメーター スイープ結果) であり、サブセットを効率的にクエリしたり、Spark、DuckDB、またはクラウド ウェアハウスからデータを読み取ったりする場合は、Parquet を選択してください。

ハイブリッド モデルはシミュレーション パイプラインに適しています。生の配列出力を HDF5 に保持し、分析と共有のために派生した表形式の概要を Parquet に書き込みます。形式はレコードの半分にすぎず、スキーマと単位は残りの半分であるため、両方を文書化してください。

HDF5 データ ストレージのベスト プラクティス

HDF5データストレージのベストプラクティスは、ファイルのプレゼンテーションから始まります。構造が不十分なHDF5ファイルは、1年後には読み取るのが困難になるためです。一貫したグループ階層を使用し、データセットにわかりやすい名前を付け、単位、プロバナンス（由来）、ソフトウェアバージョンの属性を付加してください。コードのバージョンとランダムシードをデータの隣に保存します。パラメータのないシミュレーション結果は再現不可能です。このアプローチにより、信頼性の高い長期データストレージが保証されます。

チャンク化と圧縮は、慎重に選択する必要があります。チャンクの形状は読み取りパターン（最も頻繁にスライスする軸に沿ったチャンク）に合わせるべきであり、圧縮（許容できる場合はgzipまたは非可逆フィルター）により、ある程度のCPUコストと引き換えにサイズを削減できます。データストレージとしてhdf5とparquetを検討する場合、単一のファイルに数千の小さなデータセットを含めることは避けてください。それらを適切にグループ化し、移動が困難で破損のリスクがある巨大なファイルではなく、タイムステップごと、または実行ごとに1つのファイルを検討してください。これらは不可欠な長期データストレージソリューションです。

クラウドストレージのHDF5ベストプラクティス

オブジェクトストアはファイルシステムではないため、クラウドストレージのHDF5ベストプラクティスはオンプレミスのプラクティスとは異なります。HDF5ファイルは通常、全体または大きなチャンクで読み取られるため、何百万もの小さなHDF5ファイルをバケットに保存すると、リスティングとリクエストのオーバーヘッドが発生します。より少数の大きなファイルか、あるいは長期アーカイブデータストレージのために配列を多くのオブジェクトに分割して並列読み取りができるZarrなどのオブジェクトストレージ向けに設計されたフォーマットを選択してください。

ファイルを実行とチェックサムにマッピングするマニフェストを保持し、データと一緒に保存します。クラウドストレージは耐久性を提供しますが、可読性は提供しません。インデックスやスキーマドキュメントのないHDF5ファイルでいっぱいのバケットは、耐久性はありますが役に立ちません。

長期アーカイブデータストレージと長期データアーカイブ

長期アーカイブデータストレージとは、データを単に保持するだけでなく、読み取り可能な状態に保つ規律であり、長期データアーカイブはその運用面、つまりアーカイブを存続させるためのルーチンを指します。基本的なルーチンは、整合性チェック、フォーマット移行、およびドキュメント化です。

整合性検証とは、すべてのコピーのチェックサムを定期的に検証することを意味します。sha256sum、ZFSスクラビング、Parquet/HDF5対応のバリデータなどのツールは、修復に利用できる正常なコピーがまだ存在する場合に、破損を迅速に検出します。フォーマット移行とは、フォーマットやメディアが陳腐化に近づいたときに、LTO-6テープをLTO-9に移行したり、非推奨のバイナリフォーマットをHDF5やParquetに変換したりして、データを書き直すことを意味します。ドキュメント化とは、スキーマ、単位、ソフトウェアバージョンを説明するREADMEファイルを、データと共に、また別の場所にも保存することを意味します。

Pythonベースの科学パイプラインにおいて、長期データストレージソリューションの実用的なスタックは、配列データにはh5py経由のHDF5、表形式データにはpyarrowまたはpandas経由のParquet、そして書き込み時に生成されるチェックサムマニフェストです。データストレージとしてhdf5とparquetを検討する場合、この組み合わせは広く利用可能なオープンソースライブラリで読み取り可能であり、これがフォーマットの陳腐化に対する最善の保証となります。hdf5データストレージのベストプラクティスとクラウドストレージのhdf5ベストプラクティスに従うことで、長期アーカイブデータストレージの寿命が保証されます。

出典と詳細情報

• Data storage — Wikipedia: データストレージとは、情報（データ）を記憶媒体に記録（保存）することです。手書き、蓄音機による録音、磁気テープ、光ディスクなどがすべて…
• Cloud storage — Wikipedia: クラウドストレージは、「クラウド」上にあると言われるデータがリモートの論理プールに保存され、ユーザーがネットワーク経由でアクセスできるコンピュータデータストレージのモデルです。
• Research data archiving — Wikipedia: 研究データアーカイブとは、自然科学、社会科学、生命科学を含む学術研究データの長期保存のことです。さまざまな学術…
• Data — Wikipedia: データ (DAY-tə, 米国では DAT-ə) は、量、質、事実、統計などを記述し、情報を伝える離散値または連続値の集合です。

よくある質問

長期データストレージとは何ですか？

長期データストレージは、データを数年、あるいは数十年以上にわたって復旧可能に保つために設計されたメディア、ファイルシステム、およびファイル形式の組み合わせです。これは通常のバックアップとは異なります。タイムホライズンが十分に長いため、単なるディスク故障だけでなく、ソフトウェアの陳腐化やサイレント破損が支配的なリスクとなるためです。

主な長期データストレージの選択肢は何ですか？

主な長期データストレージソリューションは、磁気ハードドライブ、LTOテープ、アーカイブ用光ディスク、SSD、およびクラウドまたはマネージドアーカイブです。最も堅牢な構成では、作業データ用の高速ローカルストレージ、チェックサム付きのローカルアーカイブ、および3-2-1ルールに従ったオフサイトコピーの複数を組み合わせます。

研究室はどの長期データストレージデバイスを購入すべきですか？

通常、ラボにはチェックサム機能付きファイルシステムを備えた大容量の内部または外部HDD、ローカル冗長性のための2台目のドライブまたはNAS、およびオフサイトコピー用のテープドライブまたはクラウドバケットが必要です。デバイスそのものよりも、その内容を定期的に検証できる能力の方が重要です。

長期データストレージにはSSDとHDDのどちらが適していますか？

HDDはテラバイトあたりのコストが安く、故障モードが事前に検出できることが多いため、一般に10年規模の長期アーカイブデータストレージに適しています。SSDはアクティブな作業データに適していますが、通電していないフラッシュメモリは電荷を保持できる年数が限られているため、棚に保管するアーカイブには不向きな選択肢です。

最適な長期データストレージメディアは何ですか？

テープとアーカイブ用光ディスクが最も長い期待保存寿命を持ち、磁気HDDはその中間に位置し、通電していないフラッシュメモリが最も脆弱です。永続的なメディアは存在しないため、実用的な答えは、少なくとも2種類のメディアを使用し、5年から10年ごとに移行することです。

科学データは長期的にどのように保存すべきですか？

科学データは、オープンで十分に文書化されたフォーマットで保存すべきです。データストレージとしてhdf5とparquetを検討し、多次元配列にはHDF5を、表形式データにはParquetを使用し、チェックサム、スキーマREADME、および記録されたソフトウェアバージョンを添えてください。hdf5データストレージのベストプラクティスとクラウドストレージのhdf5ベストプラクティスに従い、可能な場合は同じデータを2つのフォーマットで保存することで、単一のライブラリのメンテナンスが終了した際のリジリエンス（回復力）を高めることができます。