ベストの長期アーカイブ データ ストレージ: トップ ピック

長期アーカイブ データ ストレージには、テープ (LTO)、光ディスク (M-DISC およびアーカイブ Blu-ray)、ハード ドライブと SSD、クラウド オブジェクト ストレージの 4 つの実用的なメディア ファミリと、それらの組み合わせ方法を制御する 3-2-1-1-0 バックアップ ルールが含まれます。すべての面で単一のメディアが勝てるわけではないため、適切な選択は、保存期間、予算、データを読み戻す頻度によって異なります。

重要なポイント

• テープ (LTO) は依然としてコールド アーカイブのテラバイトあたりの価格が最も安価です。これまでのロードマップにより、世代あたりの容量が約 2 倍になり、2 世代のリードバック互換性ウィンドウが可能になりました。
• 光メディア (M-DISC、アーカイブ Blu-ray) は、数百ギガバイトで十分で、電力や移行を必要とせずに保存し続けたい、小規模な追記型オフライン アーカイブに適しています。
• HDD および SSD は機能ストレージであり、アーカイブ ストレージではありません - 機械的磨耗、ビットの腐敗、および SSD の場合は電源が入っていない状態で放置すると電荷漏れによって故障します。
• クラウド オブジェクト ストレージ (S3 Glacier、Azure Archive、Google Archive) は利便性とコストをトレードオフしています: 継続的に使用料と下り料金を支払いますが、地理的な冗長性が得られ、管理の手間がかかるハードウェアは必要ありません。
• 3-2-1-1-0 ルール (コピー 3 つ、メディア タイプ 2 つ、オフサイト 1 つ、オフライン/エアギャップ 1 つ、検証済みエラーなし) は、ほとんどの研究グループが設計すべき長期アーカイブ データ ストレージの標準です。
• 固定性検証 (チェックサム) と移行スケジュールは、選択したメディアよりも重要です。 適度なハードウェア上の検証済みアーカイブは、特殊なハードウェア上の未検証のアーカイブよりも優れています。

「アーカイブ」とは実際には何を意味するのか

アーカイブ ストレージは、テクノロジーではなく、アクセス モデルによって定義されます。一度書き込んでほとんど読み取らないデータ (生の計測器出力、シミュレーション チェックポイント、シーケンス読み取り、パブリッシュされたデータセット スナップショット) は長期アーカイブ データ ストレージに属しますが、毎日クエリするデータは作業ストレージに属します。この 2 つは逆のコスト曲線を持っているため、この区別は重要です。アーカイブ メディアは保存されるバイトあたりのコストと寿命を最適化するのに対し、ワーキング ストレージはレイテンシとスループットを最適化します。

保存期間によって、その他すべての決定が決まります。資金提供者によって義務付けられた期間 (通常は 3 ～ 7 年、一部の分野ではさらに長い期間) 生データを維持する必要がある研究室には、参照データセットを数十年間維持するグループとは異なるニーズがあります。長期になればなるほど、生の速度よりもメディアの寿命、フォーマットのオープン性、定期的な移行の実用性を優先する必要があります。

この分野で最も重要な概念は、媒体は永続的ではないということです。すべてのストレージ テクノロジには寿命が限られており、アーカイブの問題は実際には「管理」の問題です。つまり、メディアの世代、フォーマットの変更、組織の入れ替わりを超えてデータを読み取れる状態に保つにはどうすればよいでしょうか。その答えは、冗長コピー、オープン フォーマット、チェックサム、移行スケジュールの組み合わせです。

4 つのメディア ファミリの長期アーカイブ データ ストレージの比較

中	一般的な使用法	強み	弱点	こんな方に最適
LTO テープ	コールド アーカイブ、大容量	大規模な場合でも TB あたりのコストが最も低くなります。デフォルトではオフライン。長い保存期間	ドライブが必要です。直線的なアクセス。数世代ごとの移行	マルチTBからPBまでの研究アーカイブ
M-DISC / アーカイブ Blu-ray	小規模な追記型アーカイブ	不活性無機記録層。電力は不要です。安いリーダー	ディスクあたりの容量が小さい。書き込みが遅い。手動での取り扱い	数百 GB、長期オフライン コピー
HDD / SSD	ワーキング + ニアライン ストレージ	高速ランダムアクセス。ユビキタス	機械的/電気的故障。電力が供給されていない状態で SSD の電荷が漏れる。ビットロット（ビット腐敗）	アクティブなプロジェクト、アーカイブ前のステージング
クラウド オブジェクト ストレージ	オフサイト + 地理的冗長性	ハードウェアはありません。耐久性 SLA。即座にスケーリング	継続的なコスト。下り料金。プロバイダーの依存関係	オフサイト コピー、コラボレーション、災害復旧

テープ: LTO とコールドアーカイブ規格

Linear Tape-Open (LTO) は、大規模な研究アーカイブにおける長期アーカイブ データ ストレージのデフォルトの答えですが、それには十分な理由があります。テープ カートリッジはデータをリニア形式で磁気テープに保存し、大規模ディスクよりもテラバイトあたりのコストがはるかに低く、デフォルトでオフラインであるため、ランサムウェアや誤って削除されるリスクから保護されます。 LTO ロードマップはこれまで、容量が増加した新世代を約 2 ～ 3 年ごとに提供しており、ドライブは通常、現在の世代と前の世代を読み取って、移行のペースを設定します。

問題はドライブ（リーダー）です。テープは、すでにドライブとライブラリを持っている場合にのみ、テラバイトあたりのコストが安くなります。単一のドライブとメディアには実際の投資コストがかかり、フォーマットはリニア アクセスであるため、カートリッジの中央から単一のファイルを復元するのはディスクからよりも遅くなります。数十テラバイトをアーカイブする研究室グループにとって、長期的にはテープが最も経済的な選択肢となるのが一般的です。 2 TB を所有する 1 人の研究者の場合、これは通常当てはまりません。

関連: Dataquest — ガイド付きターミナルと実際のデータセットを使用したプロジェクトベースのデータ サイエンス パス.

実践的なテープの衛生管理: 一貫したフォーマット (tar または文書化されたコンテナ) に書き込み、各カートリッジの書き込みに使用されたソフトウェアとバージョンを記録し、磁場から離れた管理された環境でカートリッジを保管し、書き込みのたびにファイルのサンプルをチェックします。 LTO プログラム では、現行世代の仕様と互換性マトリックスが公開されています。

光学式: M-DISC およびアーカイブ Blu-ray

光メディアは、存続するために電力、ドライブ ファームウェア、ネットワークを必要としないという 1 つの特性により、長期アーカイブ データ ストレージとしての地位を獲得しています。 M-DISC は、有機色素ベースの記録可能な DVD および Blu-ray に影響を与える劣化に耐えるように設計された無機記録層を使用しており、アーカイブ品質の Blu-ray ディスクは長期保存向けに販売されています。光メディアに関する独立した寿命に関する主張は注意深く読む必要があります。広く引用されている加速老化研究は、メーカーと米国国防総省 海軍航空戦センター のテストによるものであり、実際の結果は保管条件に大きく依存します。

容量が制限要因です。 1 枚のアーカイブ Blu-ray には数十ギガバイトが含まれるため、1 テラバイトをアーカイブするには、数十枚のディスクとそれらを追跡するためのカタログが必要になります。光学式は、数テラバイトのシミュレーション アーカイブではなく、公開されたデータセット、論文、または小さな参考コレクションの追記型コピーに最適です。

一見の価値があります: Coursera Plus — 大学が支援する Python およびデータサイエンス証明書の 1 つのサブスクリプション.

ハードドライブと SSD: アーカイブではなく作業用ストレージ

ハードドライブは、機械的磨耗、ヘッドクラッシュ、進行性の磁気劣化によって故障します。 SSD が故障するのは、書き込み耐久性の限界が原因であり、長期間のアーカイブ データの保存にとって重要なのは、長期間電源が供給されていない NAND セルでの電荷漏れが原因です。どちらも機能的なストレージには優れていますが、長期的な記録には不十分です。アーカイブ戦略における回転ディスクの実際の役割は、10 年間棚に保管されている信頼できるメディアというよりは、「ニアライン」コピー (スケジュールに従って更新される、電源が入ったチェックサム付きのレプリカ) の役割です。

アーカイブ コピーにディスクを使用する場合は、定期的に電源を投入し、少なくとも年に 1 回完全な読み取りと検証のパスを実行し、障害が発生するまで待つのではなく、一定のサイクルでディスクを交換することを計画してください。 Backblaze によって公開されたドライブ統計は、特定のフリートとワークロードを反映していますが、実際の故障率に関する有用な現実のチェックになります。

アーカイブ用のクラウド オブジェクト ストレージ

クラウド アーカイブ層 (Amazon S3 Glacier および Glacier Deep Archive、Azure Blob Archive、Google Cloud Archive) は、オブジェクトの長期アーカイブ データ ストレージを低月々のコストで提供し、単一のラボでは実現できない耐久性のある SLA と地理的冗長性を提供します。トレードオフとなるのは、継続的なレンタル料、最も深いレベルで数時間で測定される回復遅延、および大容量のボリュームを復元する場合にストレージ コストを矮小化する可能性がある下り料金です。ベンダー ロックインは大きな懸念事項です。オブジェクトが自己記述的で移植可能になるようにアーカイブを設計し、単一のベンダーに依存しないようにローカル コピーを保存してください。

クラウドは、3-2-1-1-0 ルールの「1 つのオフサイト」部分にとって自然な拠点であり、多くの場合、資金提供者のデータ共有要件を満たす最も低コストの方法です。これが、失うわけにはいかないデータにとって適切な「唯一」のコピーであることはほとんどありません。

決定方法: 長期アーカイブ データ ストレージの基準チェックリスト

各回答が次の回答を制約するため、順番に検討してください。

1. ボリューム — 約 1 TB 未満では、光ディスクとクラウドが実行可能です。約 10 TB を超えると、テープまたはクラウドが経済的な選択肢になります。
2. 保存期間 — 5 年以内であれば、クラウドとドライブは問題ありません。 10 年間にわたって、テープまたは光ディスクと移行計画を優先します。
3. アクセス頻度 — ほとんど読み取られません: テープまたはディープ クラウド層。時々読む: ニアライン ディスクまたはクラウドのアクセス頻度の低い層。
4. 予算モデル — 資本 (ハードウェアを 1 回購入する) では、テープと光ディスクが優先されます。運用（月額料金）はクラウド有利。
5. コンプライアンス — 資金提供者および機関のデータポリシーを確認します。特定の保存期間や承認されたリポジトリが必要なものもあります。
6. 検証 — どちらを選択しても、チェックサムと定期的なリードバック テストをスケジュールします。

3-2-1-1-0 ルールと固定性

3-2-1-1-0 ルールは、長期アーカイブ データ ストレージの実用的な標準です。3 のデータのコピーを 2 の異なるメディア タイプに保存し、1 のオフサイト コピー、1 のオフラインまたはエアギャップ コピーを使用し、チェックサムによって検証された 0 エラー です。研究グループの場合、実現可能なインスタンス化は、ラボ サーバー上のプライマリ データ (作業コピー)、ラボ内のテープまたは光アーカイブ (オフライン コピー)、および別のリージョンのクラウド アーカイブ (オフサイト コピー) です。

関連: O'Reilly Learning Platform — 科学技術コンピューティング関連の書籍、ビデオ、ライブ トレーニングの詳細な技術ライブラリ.

固定性チェックは、コピーをアーカイブに変えるものです。データの書き込み時にチェックサム (SHA-256 が標準) を生成し、データとともにマニフェストを保存し、スケジュールに従って再検証します。パリティ用の「par2」、チェックサム付きの「rsync」、ZFS または Btrfs でのファイルシステムレベルのスクラビングなどのツールはすべて便利です。 Open Archival Information System (OAIS) 参照モデルは ISO 14721 として標準化されており、最も本格的なアーカイブ システムの背後にある概念的なフレームワークであり、システムを設計している場合には一読の価値があります。

フォーマットとメタデータ: 誰もが忘れている部分

読み取り不可能なフォーマットを含む完璧なメディアは、長期アーカイブとして失敗したことになりますになります。 HDF5、NetCDF、Parquet、プレーン テキスト、オープン イメージ フォーマットなど、オープンで十分に文書化された自己記述型フォーマットを好みます。リーダーが失われる可能性がある独自の形式は避けてください。データ、その作成に使用されたソフトウェアとバージョン、チェックサム マニフェスト、および日付を説明した README を各アーカイブとともに保存します。科学データについては、FAIR 原則 (検索可能、アクセス可能、相互運用可能、再利用可能) がガイダンスとして受け入れられており、これに従うことで将来の移行がはるかに簡単になります。

出典と詳細情報

• データ ストレージ — Wikipedia: データ ストレージとは、情報 (データ) を記憶媒体に記録 (保存) することです。手書き、蓄音機による録音、磁気テープ、光ディスクはすべて…

よくある質問

長期アーカイブ データ ストレージ メディアとして最適なものは何ですか?

最良の普遍的な媒体はありません。正しい選択は、ボリューム、保持期間、予算によって異なります。大規模な研究アーカイブの場合、LTO テープはテラバイトあたりのコストが最も低く、デフォルトではオフラインのままです。小規模な追記型アーカイブの場合、アーカイブ M-DISC および Blu-ray は存続するために電力を必要としません。クラウド オブジェクト ストレージは、オフサイトの冗長性とコラボレーションに適しています。

ショッピングの場合: DataCamp — ブラウザーで直接コーディングするインタラクティブな Python およびデータ サイエンス コース.

データは各メディアで実際にどれくらいの期間保存されますか?

メーカーは推定寿命を公表していますが、実際の寿命は保管条件や取り扱い条件によって異なります。テープや光メディアは、管理された条件下で数十年にわたると一般的に言われていますが、ハードドライブや電力が供給されていない SSD は長期間にわたって信頼性がはるかに低くなります。各数値を推定値として扱い、単一メディアの定格寿命ではなく冗長性と移行に依存します。

クラウド ストレージは長期アーカイブに適していますか?

クラウド アーカイブ層は、バックアップ戦略のオフサイト部分に最適であり、ハードウェアを保守する必要がなく、地理的な冗長性と耐久性のある SLA を提供します。欠点は、継続的なコスト、より深い階層での取得遅延、データ復元時の下り料金です。プロバイダーのロックインを避けるために、ローカル コピーを保持し、移植できるようにオブジェクトを設計します。

アーカイブ データはどのくらいの頻度で移行する必要がありますか?

移行のペースは、固定スケジュールではなく、メディアとフォーマットの陳腐化によって決まります。一般的なアプローチは、チェックサムを毎年検証し、5 ～ 10 年ごとにメディア全体の移行をスケジュールすることです。テープの世代がドライブの互換性を失った場合は、それより早く実行します。古いメディアが読み取れなくなった後ではなく、必ずその前に移行してください。

3-2-1-1-0 バックアップ ルールとは何ですか?

このルールでは、データの 3 つのコピーが 2 つの異なるメディア タイプに存在し、1 つはオフサイト コピー、1 つはオフラインまたはエアギャップ コピーで、チェックサムによってエラーがゼロであることがチェックサムで検証されている必要があります。これは、ハードウェア障害、サイト災害、ランサムウェア、サイレント データ破損をから同時に保護する実用的なフレームワークです。ほとんどの研究グループは、これに基づいてアーカイブを設計する必要があります。

アーカイブ ストレージにはチェックサムが必要ですか?

チェックサムは、検証済みのアーカイブとファイルの山を区別するものです。書き込み時に SHA-256 ハッシュを生成し、スケジュールに従って再検証することで、回復不能になる前にサイレント ビット破損と失敗したコピーを検出します。チェックサム マニフェストをデータとともに保存し、すべての移行に含めます。