最高のデータ アーカイブ ソフトウェア: 比較した上位のソフトウェア

データ アーカイブ ソフトウェアは、バックアップ ツール、階層型ストレージ管理 (HSM)、研究データ リポジトリ、エンタープライズ アーカイブ プラットフォームの 4 つの異なるカテゴリにまたがっており、それぞれが異なる問題を解決します。適切な選択は、ポイントインタイムリカバリが必要か、ビットレベルの長期保存が必要か、または規制上の保存が必要かによって異なります。研究グループにとっての決定的な基準は、フォーマットのオープン性、チェックサム検証、メタデータのキャプチャ、および 10 TB 以上のコストであり、ブランドの認知度ではありません。

• アーカイブとバックアップはさまざまな問題を解決します。バックアップは失敗後に最新の状態を復元します。アーカイブでは、特定の変更されないバージョンが何年も何十年も維持されます。
• 研究グループの場合、決定的な基準はフォーマットのオープン性、チェックサム検証、メタデータのキャプチャ、および 10 TB 以上のコストであり、ブランドの認知度ではありません。
• オープンソース ソフトウェア ツール (BagIt、DVC、iRODS、Archivematica、restic、Borg) は、ほとんどの科学アーカイブのニーズをライセンス料なしでカバーしますが、運用上の労力が必要です。
• エンタープライズ プラットフォーム (IBM、Dell EMC、Veritas、Commvault) には、ラボではほとんど必要としないポリシー エンジン、訴訟ホールド、コンプライアンス レポートが追加されています。
• SAP のアーカイブ モジュール (SAP ArchiveLink / データ アーカイブ、現在は SAP Information Lifecycle Management の一部) はデータベース オフロード メカニズムであり、汎用ファイル アーカイブではありません。
• アーカイブを信頼する前に復元をテストします。未検証のアーカイブは仮説であり、保証ではありません。

データバックアップソフトウェアとは何ですか?

データ バックアップ ソフトウェアは、システムの現在または最近の状態の回復可能なコピーを作成して、障害 (ディスク故障、ランサムウェア、誤った削除) を元に戻せるようにします。バックアップ ツールは、復旧時間と復旧ポイントを最適化します。つまり、どれだけ早く復元できるか、どれだけのデータを失っても大丈夫かということです。 Veeam、Bacula、restic、BorgBackup などの製品がこの定義に当てはまります。通常、バックアップは周期的です。同じデータが繰り返しコピーされ、古いコピーは保持スケジュールに従って期限切れになります。

バックアップとアーカイブには相反する経済的側面があるため、この区別は重要です。バックアップ ストレージは、高速なランダム読み取りと頻繁な書き換えをサポートする必要があるため、バイトあたりのコストが高くなります。アーカイブ ストレージは、テープ、コールド層を備えたオブジェクト ストレージ、光メディアなど、一度書き込まれ、まれに読み取られるため、バイトあたりのコストが安くなります。 10 年間続くバックアップはアーカイブではありません。これは保存期間が長いバックアップであり、ソース システムに蓄積されたサイレント破損をすべて継承します。

計算科学者にとって、実際的な意味は、研究用 NAS への夜間の「rsync」がアーカイブではなくバックアップを構成するということです。シミュレーション入力ファイルが 3 年前にサイレントに破損し、その後のすべてのバックアップが破損したバージョンをコピーしていた場合、バックアップ世代は役に立ちません。ファイルごとのチェックサムとライトワンス（一度だけ書き込み）セマンティクスを備えたアーカイブはこれに該当します。

データのアーカイブとは何ですか?

データのアーカイブとは、アクティブに使用されなくなったデータを、そのままの状態で保存され、後で取得できる別の長期ストレージに移動することを意味します。決定的なプロパティは、不変性 (アーカイブされたオブジェクトは変更されない)、整合性検証 (チェックサムまたは修正性チェック)、保持ポリシー (削除の期間とトリガー) です。アーカイブはライフサイクルの決定です。データはホット ストレージからウォーム ストレージ、コールド ストレージに移動し、最終的には廃棄または永久保存に移行します。

標準と規約がこの作業の基礎となります。 ISO 14721 として公開されている Open Archival Information System (OAIS) 参照モデルは、本格的なアーカイブが実装する機能エンティティ (取り込み、アーカイブ ストレージ、データ管理、アクセス) を定義します。 BagIt 仕様 (RFC 8493) では、マニフェストとチェックサムを含む任意のファイルを転送するための、単純な自己記述型のディレクトリ構造が定義されています。 FAIR (検索可能、アクセス可能、相互運用可能、再利用可能) 原則は、研究アーカイブがメタデータを公開する方法を規定します。これらの標準を実装するツールは相互運用します。独自のコンテナ形式を発明したツールはロックインを作成します。

関連: Dataquest — ガイド付きターミナルと実際のデータセットを使用したプロジェクトベースのデータ サイエンス パス.

科学的実践を支配する 3 つのアーカイブ モデル:

1. ファイル レベル アーカイブ: マニフェストおよびチェックサムを含むディレクトリ ツリー。テープまたはオブジェクト ストレージに保存されます。 BagIt と tar + sha256sum が最小バージョンです。
2. リポジトリ アーカイブ — DOI の割り当て、メタデータ スキーマの適用、保存の処理を行うマネージド サービス (Zenodo、Dryad、機関リポジトリ、Dataverse)。
3. アプリケーション アーカイブ: SAP のデータ アーカイブやデータベースのコールド ストレージ層など、ライブ システムから読み取り専用形式でエクスポートされたデータ。

各モデルには異なる故障モードがあります。ファイルレベルのアーカイブは、ビットの破損とドキュメントの損失により失敗します。リポジトリのアーカイブは、ポリシーの変更と資金の損失により失敗します。ベンダー形式の変更により、アプリケーションのアーカイブが失敗します。

SAP でのデータ アーカイブとは何ですか?

SAP でのデータ アーカイブには、完了したビジネス ドキュメントとマスター データをアクティブなデータベースからアーカイブ ファイルに削除し、同時に SAP トランザクション内から読み取り可能な状態を維持することが含まれます。このメカニズムは、SAP Data Archiving (トランザクション SARA および関連するアーカイブオブジェクト) と、アーカイブされた文書を表示するアプリケーションにリンクする SAP ArchiveLink によって提供されます。現在の SAP リリースでは、この機能は SAP Information Lifecycle Management (ILM) の下にあり、保持ルール、訴訟ホールド、破棄管理が追加されています。

一見の価値があります: Coursera Plus — 大学が支援する Python およびデータサイエンス証明書の 1 つのサブスクリプション.

動機はパフォーマンスとコストです。 SAP ERP または S/4HANA の実稼働データベースには、何年にもわたる発注書、品目伝票、および変更ログが蓄積され、クエリやバックアップの速度が低下するまで増大します。アーカイブでは、これらのレコードをアーカイブ ファイル (従来は光メディアまたはテープ、現在はコンテンツ リポジトリまたはクラウド オブジェクト ストレージに保存されることが多い) に書き込み、データベースから削除します。レコードには同じトランザクションを通じて引き続きアクセスできるため、ユーザーには機能的な違いはありません。

したがって、SAP アーカイブは、一般的なファイル アーカイブではなく、アプリケーションと結合された特殊なアーカイブです。これは、トランザクション ストアからコールド レコードを移動してアーカイブし、ポインタとリーダーを維持し、一元的に保持を強制するという一般的なパターンを示しているため、SAP ショップ以外でも理解する価値があります。グループが研究コンピューティングと並行して調達または人事に SAP を使用している場合、2 つのアーカイブ戦略はストレージ ポリシーを共有する必要がありますが、ツールは共有する必要はありません。

比較表: ユースケース別のアーカイブ ツール

ツール	カテゴリー	ライセンス	こんな方に最適	注意してください
BagIt (米国議会図書館)	ファイルレベルのパッケージ化	パブリックドメイン/オープンソース	デポジットまたはテープ用のデータセットのパッケージ化	内蔵のストレージや検索 UI はありません
アーカイブマティカ	デジタル保存パイプライン	オープンソース (AGPL)	ライブラリ、アーカイブ、長期的な OAIS 準拠	ヘビースタック (Docker、Elasticsearch)。急なセットアップ
アイロッズ	データグリッド / ポリシー主導型アーカイブ	オープンソース (BSD)	メタデータ ルールを使用したマルチサイト調査データ	システム管理者の関与が必要です
DVC	データのバージョン管理	オープンソース (Apache 2.0)	Git コードとともにデータセットのバージョン管理	保存システムではありません。リモートはあなたの責任です
restic / BorgBackup	重複排除によるバックアップ	オープンソース (BSD)	暗号化され重複排除されたスナップショット	保存グレードのアーカイブではなく、バックアップのセマンティクス
ゼノド / ドライアド / データバース	リポジトリ	ホスト型サービス	引用可能な、DOI に裏付けられたデータセットの出版物	サイズ制限。メタデータ スキーマの制約
IBM ストレージ アーカイブ / ILM	エンタープライズアーカイブ	コマーシャル	規制された保存、訴訟ホールド、階層化	小規模ラボのコストと複雑さ
Veritas Enterprise Vault	エンタープライズアーカイブ	コマーシャル	電子メールとファイルのコンプライアンス アーカイブ	ライセンスモデル。移行時の摩擦
Commvault	バックアップ + アーカイブ プラットフォーム	コマーシャル	大規模な環境全体にわたる統一ポリシー	数百 TB 未満のオーバーキル

データ アーカイブ ソフトウェアを選択するとき、ユーザーは多くの場合、商用製品とオープンソース ソフトウェアのどちらかを選択します。環境に応じて、オープンソース PC ソフトウェアを探すことも、オープンソース コミュニティで特定のソフトウェアを探すこともできます。 IBM はエンタープライズ ツールを提供すると同時に、IBM オープン ソース ソフトウェア イニシアチブにも貢献します。この分野の歴史を研究している人は、今日のツールへの道を切り開いた最初のオープンソース ソフトウェアの例を調べることができます。

選び方: 実際に重要な基準

フォーマットのオープン性 20 年後には読めなくなるアーカイブはハンディキャップです。独自のバンドルよりも、単純なファイル、文書化されたスキーマ、および標準コンテナー (BagIt、tar、Parquet、公開された仕様を含む HDF5) を優先します。 HDF5 と NetCDF は自己記述型であり、広くサポートされているため、シミュレーション結果の保存で主流となっている理由です。

整合性チェック。 書き込み時のチェックサムと定期的な修正性チェックが必要です。 「sha256」マニフェスト、BagIt の「manifest-sha256.txt」、およびリポジトリ側のフィキシティサービスはすべて対象となります。検証がなければ、データが必要になるまでサイレント破損を検出することはできません。

メタデータのキャプチャ。 出所のないアーカイブはバイトの山です。ソフトウェアのバージョン、入力パラメータ、ランダム シード、環境 (コンテナ イメージ ダイジェストまたは「conda」ロックファイル) をデータとともにキャプチャします。ここが研究アーカイブと IT アーカイブの異なる点です。

関連: O'Reilly Learning Platform — 科学技術コンピューティング関連の書籍、ビデオ、ライブ トレーニングの詳細な技術ライブラリ.

スケール時のコスト。 テープは依然としてコールド データ用のテラバイトあたりの媒体で最も安価です。クラウドのコールド層 (オブジェクト ストレージ アーカイブ クラスなど) は、運用オーバーヘッドをゼロにするためにバイトあたりのコストが高くなります。 1 TB ではなく、10 TB と 100 TB でコストをモデル化します。

保持と削除。 何をいつ削除するかを明示的に決定します。 GDPR スタイルの消去リクエストと資金提供者の保持義務 (多くの場合 5 ～ 10 年、場合によってはそれ以上) は両方とも研究データに適用されます。ポリシーエンジンが役に立ちます。

復元のテスト。 復元の実行をスケジュールします。ファイルのランダムなサンプルを復元し、チェックサムを検証することが、アーカイブが機能していることの唯一の証拠です。

ショッピングの場合: DataCamp — ブラウザーで直接コーディングするインタラクティブな Python およびデータ サイエンス コース.

オープンソースのオプションとその場所

オープンソース ソフトウェアが科学アーカイブで主流となっているのには正当な理由があります。ソースは検証可能で、形式は文書化されており、ライセンスごとのコストはかかりません。オープンソース モデル自体には長い歴史があります。この用語が作られたのは 1998 年で、ソース コード共有の実践はこれより数十年前からあり、GNU プロジェクト (1983 年) などの初期の例や、その前には学術コード共有や ARPANET 時代のコード共有がありました。現在、研究グループの共通のオープンソース ソフトウェア スタックには、通常、Linux、Python、Git、パッケージ マネージャーが含まれており、その上にアーカイブ ツールが階層化されています。

ラボの場合、有効なオープン ソース アーカイブは次のとおりです。アクティブなデータセットのバージョン管理には DVC または Git LFS、凍結されたデータセットのパッケージ化には BagIt、オフサイトの暗号化コピーには Restic または BorgBackup、引用可能にする必要があるサブセットの DOI に基づく公開には Zenodo が使用されます。 iRODS または Archivematica は、複数のサイトにわたるポリシー主導の階層化または正式な OAIS 準拠が必要な場合に役立ちます。アーカイブ用の「オープン ソース PC ソフトウェア」は他のカテゴリよりも薄いことに注意してください。最も成熟したアーカイブ ツールはサーバー側または CLI ファーストであり、デスクトップ GUI オプションは多くの場合、オープン ソース エンジンの商用インターフェイスです。

1 つの注意点を明確に述べておく必要があります。それは、オープンソースではコストがライセンスから人件費に移されるということです。 リサーチ ソフトウェア エンジニアがいないグループは、ホストされたリポジトリをより重視する必要があります。メンテナンスされていない iRODS インスタンスは有料サービスよりも悪いためです。

出典と詳細情報

• 研究データのアーカイブ — Wikipedia: 研究データのアーカイブとは、自然科学、社会科学、生命科学を含む学術研究データの長期保管です。さまざまな学術…
• オープンソース ソフトウェア — Wikipedia: オープンソース ソフトウェア (OSS) は、ソース コードが公開されており、ユーザーが使用、研究、変更、配布できるようにするコンピュータ ソフトウェアです。
• オープンソース — Wikipedia: オープンソースとは、デジタル リソースをソース コードやソース ファイルとともに公に公開し、使用、研究、変更、再配布を可能にする実践です…
• 学習ソフトウェア — Wikipedia: 学習ソフトウェアとは、生徒が情報に取り組み、処理し、保持する方法を改善することで学習の効果を高めるように設計されたコンピューター プログラムを指します。

よくある質問

データバックアップソフトウェアとは何ですか?

データ バックアップ ソフトウェアは、システムの現在の状態をコピーして、障害、破損、または削除後にシステムを復元できるようにします。高速なリカバリと短い保持期間を実現するために最適化されており、通常は同じデータを繰り返し再書き込みします。例には、Veeam、Bacula、restic、BorgBackup などがあります。バックアップは回復メカニズムであり、保存メカニズムではありません。

データのアーカイブとは何ですか?

データのアーカイブには、非アクティブなデータを別の長期ストアに移動し、そこでデータが不変に保たれ、整合性が検証され、保持ポリシーに基づいて回復可能になります。アーカイブは OAIS (ISO 14721) や BagIt (RFC 8493) などの標準に従い、アクセス速度よりも耐久性を優先します。目標は、特定のバージョンを保存することであり、最新の状態を回復することではありません。

SAP におけるデータ アーカイブとは何ですか?

SAP でのデータ アーカイブでは、完成したビジネス ドキュメントをライブ データベースからアーカイブ ファイルへ移動させ、SAP トランザクションを通じて読み取り可能な状態に保ちます。これは、SAP Data Archiving (SARA トランザクション)、ArchiveLink を介して実装され、現在のバージョンでは、保存期間管理とリーガルホールドのために SAP Information Lifecycle Management を介して実装されます。目標はデータベースのパフォーマンスとコスト管理であり、一般的なファイルの保存ではありません。

オープンソースのアーカイブ ソフトウェアは研究データには十分ですか?

BagIt、Archivematica、iRODS、DVC、restic、BorgBackup などのオープン ソース ツールは、図書館、アーカイブ、研究コンピューティング グループによる運用環境で使用されています。これらは保存基準を満たしており、ライセンス費用を回避できますが、運用に関する専門知識が必要です。専任のシステム スタッフがいないグループは、最終的なデポジットのためにオープンソースのパッケージング ツールとホストされたリポジトリを組み合わせることがよくあります。

アーカイブとバックアップはどう違うのですか?

バックアップは障害発生後に最新の状態を復元します。アーカイブすると、特定のバージョンが数年または数十年間保存されます。バックアップ ストレージは高速である必要があり、頻繁に書き換えられます。アーカイブ ストレージは安価で、書き込みは 1 回だけで、ほとんど読み取られません。長時間実行されるバックアップは、検証済みのコピーを凍結するのではなく、サイレント破損を前方に伝播するため、アーカイブではありません。

アーカイブはどのくらいの頻度で検証する必要がありますか?

チェックの頻度はメディアとリスク許容度によって異なりますが、一般的な方法は、定期的に (テープおよびオブジェクト ストレージの場合は四半期または毎年)、メディアの移行後に常にフィキシティチェック（整合性確認）を実行することです。各監査では、保存されているチェックサムと再計算されたチェックサムを比較し、調査のために不一致を記録する必要があります。リストア訓練は検証を伴うものであり、検証を置き換えるものではありません。