長期データアーカイブソリューションの比較

長期データ アーカイブ ソリューションは、データを何年、場合によっては数十年も保存し、同時に取得可能、監査可能、手頃な価格を維持するシステムとサービスです。これらは少なくとも 4 つの異なる層 (ストレージ メディア、転送および整合性ソフトウェア、メタデータ カタログ、ガバナンス ポリシー) をカバーしており、ISO 14721 (OAIS) や ISO 16363 などの規格は信頼できるアーカイブの動作を定義しています。

長期的なデータ アーカイブ ソリューションの説明

データ アーカイブ は、積極的に使用されなくなったデータをプライマリ ストレージから安価で低速なオフライン メディアに移動し、将来の参照、コンプライアンス、または再利用のために取得可能な状態を維持する実践です。長期的なデータ アーカイブ ソリューションは、メディア、ソフトウェア、メタデータ、ポリシーなどの実践を反復可能なシステムにバンドルします。

最も重要な違いは、アーカイブとバックアップです。バックアップは損失を防ぎ、最新の状態に迅速に復元できるように設計されています。アーカイブは忘れることを防ぎ、数年後に特定のオブジェクトを選択的にゆっくりと取得できるように設計されています。 30 日ごとにテープを上書きするバックアップ ローテーションはアーカイブではありません。 2019 年の分子動力学軌跡とその入力ファイル、力場バージョン、およびチェックサムを含むリポジトリがそれに当たります。

計算科学者にとって、アーカイブ境界は通常、毎週データの読み取りが停止される場所です。未加工の機器出力、完成したシミュレーション軌跡、および公開された解析ノートブックはアーカイブに属します。スクラッチ スペース、中間リスタート ファイル、および現在の作業データセットには含まれません。

長期的なデータ アーカイブ ソリューションとは何ですか

長期的なデータ アーカイブ ソリューションは、すべての世代のハードウェアにわたってデータの読み取りと検証を可能に保つ、ストレージ、ソフトウェア、プロセスの組み合わせです。本格的な実装では、次の 4 つのコンポーネントが登場します。

1. ストレージ メディア: テープ (LTO 世代)、オブジェクト ストレージ (S3 互換、オンプレミスまたはクラウド)、ニッチなケース用の光メディア、およびホット アーカイブ用の複製ディスク。
2. 転送および整合性ツール — チェックサム、整合性検証、およびエラー修正フォーマット。 「par2」、BagIt、rsync ベースのパイプラインなどのツールがこの層を処理します。
3. メタデータとカタログ — アーカイブを検索可能にするインデックス。それがなければ、アーカイブは埋め立て地になってしまいます。 DataCite、Dublin Core、およびドメイン スキーマ (結晶学やプロテオミクスなど) は語彙を提供します。
4. ガバナンス — 保存スケジュール、アクセス制御、およびアーカイブを作成した人が研究室を離れるときの後継者計画。

エンタープライズ データ アーカイブには、ID プロバイダーとの統合、電子情報開示、訴訟ホールドという 5 番目の懸念事項が追加されます。研究アーカイブでは通常、再現性という別の 5 番目の関心事が追加されます。これは、アーカイブが計算を再実行するのに十分な環境の詳細をキャプチャする必要があることを意味します。

関連: Dataquest — ガイド付きターミナルと実際のデータセットを使用したプロジェクトベースのデータ サイエンス パス.

長期的なデータ アーカイブ ソリューションの意味

このフレーズには購入者が混同する 2 つの意味が含まれており、それらを区別することで高価な間違いを防ぐことができます。

意味 1: 保持インフラストラクチャ。 これは、データ アーカイブ会社のソリューション ベンダー (Quantum、Cohesity、Archon など) が使用するストレージ中心の解釈であり、アーカイブとは、コールド データを安価なメディアに階層化し、保持ポリシーを強制することを意味します。価値提案は、テラバイトあたりのコストとコンプライアンスです。これらは多くの場合、長期データ ストレージ ソリューションとして構成されます。

意味 2: 保存インフラストラクチャ。 これは研究中心の解釈であり、アーカイブとは 2040 年になってもデータセットが解釈可能であることを保証することを意味します。価値提案は再現性と科学的完全性です。これは、長期的なデータ アーカイブ ソリューションの重要な側面です。

一見の価値があります: Coursera Plus — 大学が支援する Python およびデータサイエンス証明書の 1 つのサブスクリプション.

保存インフラストラクチャを購入し、保存インフラストラクチャがあると想定している研究室は、学生が 2018 年の分析を再実行しようとして、HDF5 ファイルは無傷であるが、コード、環境、およびユニットが文書化されていないことに気付いたときにギャップを発見します。パフォーマンス用の アーカイブ データ ソリューションとデータ セキュリティ用のアーカイブ データ ソリューション (ビッグ データ用のデータベース アーカイブ ソリューションやビッグ データ用のアーカイブ データ ソリューションを含む) は、最初の問題を解決します。 2 番目の問題を解決できるのはメタデータの規律のみです。

長期的なデータ アーカイブ ソリューションの利点

コスト削減はベンダーが提供する利点であり、これは現実です。コールド オブジェクト ストレージとテープのコストは、プライマリ SSD または高性能並列ファイル システムの容量の数分の 1 です。完成したプロジェクトをスクラッチ ファイル システムから移動すると、次のシミュレーションのための容量も解放され、多くの場合、これが最も差し迫った効果となります。

2 番目の利点はコンプライアンスです。臨床ゲノミクス、製薬研究、環境モニタリングなどの規制分野は、数年単位で測定される保存要件に直面しており、監査証跡付きのアーカイブはそれらを満たすメカニズムです。コンプライアンス、アーカイブ、およびエンタープライズ ガバナンスのためのアーカイブ データ ソリューションは通常、同じツールを共有します。

再現性は、このサイトの閲覧者にとって 3 番目の最も重要な利点です。計算科学における再現性の危機は、部分的にはストレージの問題です。入力、コード、環境が一緒に保存されていないため、結果を再現することができません。適切に設計されたアーカイブは、単なるストレージ層ではなく、再現性の危機に対する解決策となります。

長期的なデータ アーカイブ ソリューションの長所と短所

長所

• プライマリ ストレージよりもテラバイトあたりのコストが大幅に低くなります。
• アクティブな作業のために高性能ストレージを解放します。
• 防御可能な証跡により、保持および監査の義務を満たします。
• 再利用、メタ分析、引用のためにデータを保存します。

短所

関連: O'Reilly Learning Platform — 科学技術コンピューティング関連の書籍、ビデオ、ライブ トレーニングの詳細な技術ライブラリ.

• 取得遅延: テープ層とディープ クラウド層では、数時間から数日かかる場合があります。
• フォーマットとソフトウェアの陳腐化により、完全なバイトが読み取れなくなる可能性があります。
• メタデータの負債は静かに蓄積され、返済に費用がかかります。
• 移行作業はメディアの世代ごとに繰り返され、テープの場合はおよそ 5 ～ 10 年ごとに発生します。
• アクセス制御と暗号化キーは、それらを設定した人の寿命を超えて存続する必要があります。

長期的なデータ アーカイブ ソリューションに価値はあるか

費用対効果の計算は、データを失うコスト、データを保持するコスト、データが必要になる可能性という 3 つの変数に依存します。論文の基礎となる公開されたデータセット、法的保存義務の対象となるデータ、かけがえのない機器の出力は、ほとんどの場合、アーカイブする必要があります。午後には入力から再生成できる中間ファイルは、通常はそうではありません。

実践的なテスト: データを保存期間中に保存するよりも再生成の方がコストがかかる場合は、データをアーカイブします。数週間にわたる分子動力学実行の場合、再生コストは高く、保管コストは低いため、答えは明らかです。スクリプトが数分で再構築する派生 CSV の場合、その逆も同様に答えは明らかです。

長期的なデータ アーカイブ ソリューションの問題

ビットロットとサイレント破損。 メディアが劣化します。書き込み時に一度ではなく、スケジュールに基づいて修正性をチェックすることが、唯一信頼できる検出方法です。

ショッピングの場合: DataCamp — ブラウザーで直接コーディングするインタラクティブな Python およびデータ サイエンス コース.

フォーマットの陳腐化。 製造中止されたベンダーが提供する独自のバイナリ フォーマットは、完全なメディアであっても保存のリスクがあります。 HDF5、NetCDF、プレーンテキストまたは Parquet 表形式データなど、公開された仕様を持つオープン形式は、はるかに長期にわたって利用可能です。

メタデータの損失 最も一般的な障害は、ディスクが停止していることではなく、README が欠落していることです。構造化メタデータのないアーカイブは数年以内に検索できなくなります。

キーと認証情報の損失。 キーが失われた暗号化アーカイブは、削除されたアーカイブと区別できません。キーエスクローはガバナンスの要件であり、後付けではありません。

驚きのコスト。 プロジェクトが予想よりも頻繁に読み取られる場合、クラウドの下り料金と取得料金がストレージの節約を超える可能性があります。コミットする前に取得パターンをモデル化します。

組織の断絶。 研究室は解散し、助成金は終了し、機関リポジトリはプラットフォームを変更します。後継者計画は技術設計の一部です。

比較: ソリューションをワークロードに適合させる

ワークロード	典型的なフィット	注意してください
完成したシミュレーション軌道 (TB スケール)	カタログ付きのテープまたはコールド オブジェクト ストレージ (ビッグ データのアーカイブ データ ソリューション)	取得待ち時間。文書単位と力場
公開された分析ノート	Git リポジトリとアーカイブされた環境ロックファイルおよびデータ スナップショット	ノートブックの出力はデータの代わりにはなりません。
保持ルールのある機器の生出力	ライフサイクル ポリシーを備えた階層型オブジェクト ストレージ (長期データ ストレージ ソリューション)	データ転送（エグレス）および取得コスト
規制された臨床データまたは製薬データ	監査証跡と訴訟ホールドを備えたベンダー アーカイブ (データ アーカイブ企業ソリューション)	ベンダーロックインとエクスポート形式
小規模なラボ、限られた予算	機関リポジトリとチェックサム付きの外部ドライブ (長期データ アーカイブ ソリューション)	シングルコピーのリスク。オフサイトコピーを検証する

*注意: ビッグ データのデータベース アーカイブ ソリューションやその他のデータ アーカイブ会社のソリューションを評価する場合は、上記の特定のワークロード要件を考慮してください。

選択方法: 基準リスト

• 保存期間 5 年と 50 年では、長期的なデータ アーカイブ ソリューションには異なるメディアと異なるガバナンスが必要です。
• 回復頻度と遅延許容度 毎週のアクセスにはディープアーカイブ層が除外されます。これは、データ アーカイブ企業のソリューションにとって重要な考慮事項です。
• フォーマットのオープン性 データ アーカイブ企業のソリューションを評価する場合は、文書化され広く実装されているフォーマットを優先します。
• メタデータ スキーマ 長期データ ストレージ ソリューションの場合は、取り込み後ではなく取り込み前に選択します。
• 整合性チェック。 記録された結果を伴うスケジュールされた修正性チェックは、ビッグデータ向けアーカイブデータソリューションにおいて不可欠です。
• 出口戦略。 特にビッグ データのデータベース アーカイブ ソリューションの場合、すべてをオープン形式でエクスポートできることを確認します。
• 回復と移行を含む総コスト ストレージのみの価格は誤解を招きます。

再現性とノートブックのアーカイブ

Jupyter ノートブックの長期ストレージ ソリューションは、別個に扱う必要があります。ノートブックは、単一ファイル内のコード、出力、およびナレーションというハイブリッド アーティファクトであるためです。ノートブック ファイルだけでは不十分です。計算結果の永続的なアーカイブには、ノートブック、環境仕様 (ロック ファイルまたはコンテナ イメージ ダイジェスト)、入力データまたはチェックサムと場所、および結果の意味のプレーン テキストの説明が含まれている必要があります。

Binder、Zenodo、機関リポジトリなどのツールは、この問題の一部に対処します。 Zenodo は寄託された成果物に対して DOI を発行し、引用を可能にします。コンテナは環境をキャプチャしますが、データはキャプチャしません。 DOI で特定されたデポジット、コンテナ化された環境、チェックサムされたデータの組み合わせは、現在存在する完全な再現性アーカイブに最も近いものです。

重要なポイント

• 長期的なデータ アーカイブ ソリューションは、メディア、整合性ソフトウェア、メタデータ、ガバナンスを組み合わせます。レイヤーが 1 つでも欠けていると、アーカイブが破損します。
• アーカイブとバックアップは、保存と選択的取得と最近の状態の高速復元というさまざまな問題を解決します。
• テラバイトあたりのコストでは、テープとコールド オブジェクト ストレージが優先されますが、取得の遅延、データ転送（エグレス）料金、および移行の労力が実際の予算上の実質的なコスト項目です。
• フォーマットのオープン性とメタデータの規律により、完全なバイトが 20 年後も使用可能かどうかが決まります。
• 計算科学の場合、アーカイブは再現性ソリューションとして機能するために、データだけでなく環境とプロバナンス（由来）もキャプチャする必要があります。
• ISO 14721 (OAIS) や ISO 16363 などの標準は、信頼できるデジタル リポジトリのための防御可能なフレームワークを提供します。

出典と詳細情報

• 研究データのアーカイブ — Wikipedia: 研究データのアーカイブとは、自然科学、社会科学、生命科学を含む学術研究データの長期保管です。さまざまな学術…
• データ ストレージ — Wikipedia: データ ストレージとは、情報 (データ) を記憶媒体に記録 (保存) することです。手書き、蓄音機による録音、磁気テープ、光ディスクはすべて…
• ビッグ データ — Wikipedia: ビッグ データとは主に、大きすぎるか複雑すぎて従来のデータ処理ソフトウェアでは処理できないデータ セットを指します。多くのエントリ (行) を含むデータには次のような利点があります。
• データ セキュリティ — Wikipedia: データ セキュリティまたはデータ保護は、デジタル情報をオンラインの脅威から保護するために保護するプロセスです。データのセキュリティまたは保護とは、デジタルを保護することを意味します。

よくある質問

長期データ アーカイブ ソリューションとは何ですか?

長期データ アーカイブ ソリューションは、ストレージ メディア、ソフトウェア、メタデータ システム、ポリシーを組み合わせたもので、データを取得可能および検証可能に保ちながら、数年または数十年にわたって保存します。これらは、最近の状態の高速復元よりも長期にわたる選択的な取得を優先する点でバックアップ システムとは異なります。 ISO 14721 (OAIS) などの標準では、この種のリポジトリの参照モデルが説明されています。

長期的なデータ アーカイブ ソリューションの意味は、実際には何をカバーするのでしょうか?

実際には、この用語は 2 つの重複するものを対象としています。1 つはコールド データをより安価なメディアに階層化してポリシーを適用する保持インフラストラクチャ、もう 1 つはデータを解釈可能な状態に保つための保存インフラストラクチャです。通常、ベンダーとデータ アーカイブ会社のソリューション プロバイダーは、最初のものを意味します。研究グループには通常 2 番目が必要です。一方を購入し、もう一方も持っていると思い込むのは、最も一般的で最も高価な誤解です。

長期的なデータ アーカイブ ソリューションの主な利点は何ですか?

主な利点は、テラバイトあたりのストレージ コストの削減、プライマリ システムの容量確保、保持義務の順守、再利用と引用のためのデータの保存です。計算科学者にとっては 4 番目の利点があります。適切に構築されたアーカイブは、結果を再現するために必要な環境とプロバンス（由来）を記録し、再現性の危機の中核部分に対処します。これらの利点により、大規模な研究には長期データ ストレージ ソリューションが不可欠になります。

長期的なデータ アーカイブ ソリューションの長所と短所は何ですか?

利点としては、コスト効率、コンプライアンスのサポート、長期的なデータの再利用などが挙げられます。短所としては、テープ層とディープクラウド層の取り出しレイテンシが数時間または数日かかること、フォーマットの陳腐化リスク、メディア世代ごとに繰り返される移行作業、スタッフの入れ替わりに伴う暗号化キーとアクセス権の管理によるガバナンスの負担などが挙げられます。データ アーカイブ企業のソリューションを評価する場合は、これらのトレードオフを比較検討する必要があります。

長期的なデータ アーカイブ ソリューションには価値がありますか?

データを再生成または損失するコストが、データを保持期間中に保存するコストを超える場合、アーカイブする価値があります。かけがえのない機器の出力、公開されたデータセット、および規制された記録は、ほぼ常に対象となります。スクリプトですぐに再構築できる派生ファイルは、通常はそうではありません。特にビッグ データのデータ ソリューションのアーカイブを検討する場合は、クラウド層にコミットする前に、取得頻度と下りコストをモデル化します。

長期的なデータ アーカイブ ソリューションではどのような問題が発生しますか?

繰り返し発生する問題としては、ビットロットとサイレント破損、フォーマットの陳腐化、メタデータの損失、暗号化キーの紛失、予期しない取得と出力のコスト、ラボの解散や助成金の終了に伴う組織の中断などが挙げられます。スケジュールされたフィキシティチェック、オープン フォーマット、構造化メタデータ、キー エスクロー、および後継者計画は、ビッグ データのデータベース アーカイブ ソリューションを実装する場合を含め、それぞれの標準的な緩和策です。

関連記事

• デジタル保存および長期データ アーカイブ ソリューションの標準的な用語集については、オープン アーカイブ情報システム参照モデル ISO 14721 を参照してください。
• Research Data Alliance は、研究アーカイブおよびデータ アーカイブ企業ソリューションのデータ引用とメタデータに関する実践的なガイダンスを発行しています。
• Digital Preservation Coalition は、データ アーカイブ会社のソリューションや長期データ ストレージ ソリューションを含む、フォーマットとメディアのリスク ガイダンスに関するハンドブックを維持しています。
• リポジトリの認証基準については、信頼できるデジタル リポジトリの監査と認証に関する ISO 16363 を参照してください。これは、ビッグ データのアーカイブ データ ソリューションとビッグ データのデータベース アーカイブ ソリューションに役立ちます。