最佳数据归档软件：首选比较

数据归档软件涵盖四个不同的类别：备份工具、分层存储管理 (HSM)、研究数据存储库和企业归档平台，每种都解决不同的问题。正确的选择取决于您是否需要时间点恢复、长期位级保存或监管保留。研究小组的决定性标准是格式开放性、校验和验证、元数据捕获和 10 TB 以上的成本，而不是品牌认知度。

• 归档和备份解决不同的问题：备份在发生故障后恢复最近的状态；归档可以将特定的、不变的版本保留数年或数十年。
• 对于研究小组来说，决定性的标准是格式开放性、校验和验证、元数据捕获和 10 TB 以上的成本，而不是品牌认知度。
• 开源软件工具（BagIt、DVC、iRODS、Archivematica、restic、Borg）可满足大多数科学归档需求，无需许可费用，但需要运营工作。
• 企业平台（IBM、Dell EMC、Veritas、Commvault）添加了实验室很少需要的策略引擎、法律保留和合规性报告。
• SAP 的归档模块（SAP ArchiveLink / 数据归档，现在是 SAP 信息生命周期管理的一部分）是一种数据库卸载机制，而不是通用文件归档。
• 在信任存档之前测试恢复；未经验证的档案只是一种假设，而不是保证。

什么是数据备份软件？

数据备份软件创建系统当前或最近状态的可恢复副本，以便可以撤消故障（磁盘损坏、勒索软件、意外删除）。备份工具优化恢复时间和恢复点：恢复速度以及可以承受丢失的数据量。 Veeam、Bacula、restic 和 BorgBackup 等产品符合这一定义。备份通常是周期性的：重复复制相同的数据，旧副本按保留计划到期。

这种区别很重要，因为备份和归档具有相反的经济方面。备份存储的每字节成本很高，因为它必须支持快速随机读取和频繁重写。归档存储每字节的成本较低，因为它只写入一次且不经常读取：磁带、具有冷层的对象存储或光学介质。持续十年的备份不是归档；它是一个具有较长保留窗口的备份它是一个具有较长保留窗口的备份，并将继承源系统积累的所有静默损坏。

对于计算科学家来说，实际意义是每晚与实验室 NAS 的“rsync”构成备份，而不是归档。如果三年前模拟输入文件被悄悄损坏，并且每个后续备份都复制了损坏的版本，则任何备份生成都无法拯救您。而具有单文件校验和和一次写入语义的归档则可以。

什么是归档数据？

数据归档意味着将不再主动使用的数据移动到单独的长期存储中，数据保持完整并可以在以后检索。决定性的属性是不变性（存档对象不会更改）、完整性验证（校验和或固定性检查）和保留策略（多长时间以及什么触发删除）。归档是一个生命周期决策：数据从热存储转移到温存储、冷存储，最后进行处置或永久保存。

标准和惯例是这项工作的基础。开放档案信息系统 (OAIS) 参考模型以 ISO 14721 的形式发布，定义了任何重要档案实施的功能实体（摄取、档案存储、数据管理、访问）。 BagIt 规范 (RFC 8493) 定义了一个简单的自描述目录结构，用于传输带有清单和校验和的任意文件。 FAIR（可查找、可访问、可互操作、可重用）原则规定了研究档案应如何公开元数据。实施这些标准的工具可以互操作；发明自己的容器格式的工具会产生锁定。

Related: DataCamp — Interactive Python and data-science courses you code directly in the browser.

三种归档模式主导着科学实践：

1. 文件级存档：目录树以及清单和校验和，存储在磁带或对象存储上。 BagIt 和 tar + sha256sum 是最低版本。
2. 存储库存档 — 一种托管服务（Zenodo、Dryad、机构存储库、Dataverse），用于分配 DOI、强制执行元数据模式并处理保存。
3. 应用程序存档：以只读形式从实时系统导出的数据，例如 SAP 的数据存档或数据库的冷存储层。

每个模型都有不同的故障模式。文件级归档由于位损坏和文档丢失而失败。由于政策变化和资金损失，存储库档案失败。由于供应商格式更改，应用程序存档失败。

SAP 中的数据归档是什么？

SAP 中的数据归档涉及从活动数据库中删除已完成的业务文档和主数据以归档文件，同时保持它们在 SAP 事务中可读。该机制由 SAP Data Archiving（事务 SARA 和关联的归档对象）和 SAP ArchiveLink 提供，后者将归档文档链接到显示它们的应用程序。在当前的 SAP 版本中，此功能位于 SAP 信息生命周期管理 (ILM) 下，它添加了保留规则、合法保留和销毁管理。

Worth a look: Coursera Plus — One subscription for university-backed Python and data-science certificates.

动机是性能和成本。 SAP ERP 或 S/4HANA 生产数据库积累了多年的采购订单、物料文档和变更日志，并且会不断增长，直到查询和备份速度变慢。归档将这些记录写入归档文件（以前是在光学介质或磁带上，现在通常是在内容存储库或云对象存储上），然后从数据库中删除它们。这些记录仍然可以通过相同的事务进行访问，因此用户看不到功能差异。

因此，SAP 归档是与应用程序结合的专用归档，而不是一般的文件归档。即使在 SAP 商店之外，这也值得理解，因为它说明了一般模式：通过将冷记录移出事务存储、维护指针和读取器并集中强制保留来进行归档。如果您的团队在研究计算的同时使用 SAP 进行采购或人力资源，则两种归档策略应共享存储策略，但不共享工具。

比较表：按用例划分的归档工具

工具	类别	许可证	最适合	留意
BagIt（国会图书馆）	文件级打包	公共领域/开源	打包数据集以供存放或磁带	没有内置存储或检索 UI
档案馆	数字保存管道	开源 (AGPL)	图书馆、档案馆、长期 OAIS 合规	重型堆栈（Docker、Elasticsearch）；陡峭的设置
iRODS	数据网格/策略驱动归档	开源 (BSD)	具有元数据规则的多站点研究数据	需要系统管理员的承诺
DVC	数据版本控制	开源（Apache 2.0）	与 Git 代码一起对数据集进行版本控制	不是保存系统；远程是你的责任
restic / BorgBackup	具有去重的备份	开源 (BSD)	加密、重复数据删除的快照	备份语义，而不是保留级存档
Zenodo / Dryad / Dataverse	存储库	托管服务	可引用、DOI 支持的数据集出版物	尺寸限制；元数据模式约束
IBM 存储存档/ILM	企业档案	商业	受监管的保留、合法保留、分层	小型实验室的成本和复杂性
Veritas Enterprise Vault	企业档案	商业	电子邮件和文件合规性归档	许可模式；迁移摩擦
Commvault	备份+归档平台	商业	大规模资产的统一策略	低于几百TB就大材小用了

在选择数据归档软件时，用户通常会在商业产品和开源软件之间进行选择。根据环境的不同，人们可能会在开源社区中寻找开源 PC 软件或特定软件。 IBM 提供企业工具的同时，也为 IBM 开源软件计划做出了贡献。对于那些探索该领域历史的人来说，他们可能会研究第一个开源软件示例，这些示例为当今的工具铺平了道路。

如何选择：真正重要的标准

格式开放性。 二十年后你将无法阅读的档案是一个障碍。与专有捆绑包相比，更喜欢简单的文件、有文档记录的架构和标准容器（BagIt、tar、Parquet、具有已发布规范的 HDF5）。 HDF5 和 NetCDF 具有自描述性并得到广泛支持，这就是它们在模拟结果中占主导地位的原因。

完整性检查。 需要写入时的校验和以及定期的固定性检查。 sha256 清单、BagIt 的 manifest-sha256.txt 和存储库端固定服务都符合资格。如果没有验证，在您需要数据之前，静默损坏是无法检测到的。

元数据捕获。 缺乏来源证明的归档是一堆字节。捕获软件版本、输入参数、随机种子和环境（容器映像摘要或“conda”锁定文件）以及数据。这就是研究档案与 IT 档案的不同之处。

Related: O'Reilly Learning Platform — A deep technical library of scientific-computing books, videos and live training.

大规模成本。 磁带仍然是每 TB 冷数据最便宜的介质；云的冷层（例如，对象存储归档类）以更高的每字节成本换取零运营开销。将您的成本建模为 10 TB 和 100 TB，而不是 1 TB。

保留和删除。 明确决定删除什么以及何时删除。 GDPR 式的删除请求和资助者保留授权（通常为 5-10 年，有时更长）均适用于研究数据；政策引擎会有所帮助。

测试恢复。 安排恢复练习。恢复文件的随机样本并验证校验和是存档正常工作的唯一证据。

Reader favorite: Dataquest — Project-based data-science paths with a guided terminal and real datasets.

开源选项及其位置

开源软件在科学归档中占据主导地位是有充分理由的：来源是可验证的，格式是有记录的，并且没有按席位计费的成本。开源模式本身有着悠久的历史——这个术语是在 1998 年创造的，源代码共享的实践比这早了几十年，早期的例子有 GNU 项目 (1983)，以及更早之前的学术和 ARPANET 时代的代码共享。如今，研究小组的常见开源软件堆栈通常包括 Linux、Python、Git 和包管理器，以及位于其之上的归档工具。

对于实验室来说，可行的开源存档可能是：用于对活动数据集进行版本控制的 DVC 或 Git LFS、用于打包冻结数据集的 BagIt、用于异地加密副本的 Restic 或 BorgBackup，以及用于需要可引用的子集的由 DOI 支持的发布的 Zenodo。当您需要跨多个站点进行策略驱动的分层或正式的 OAIS 合规性时，iRODS 或 Archivematica 就会发挥作用。请注意，用于归档的“开源 PC 软件”比其他类别更少：最成熟的归档工具是服务器端或 CLI 优先，桌面 GUI 选项通常是开源引擎的商业界面。

需要明确说明的一个警告是：开源将成本从许可证转移到了劳动力。没有研究软件工程师的团队应该更加重视托管存储库，因为未经维护的 iRODS 实例比付费服务更糟糕。

资料来源和进一步阅读

• 研究数据归档 — 维基百科：研究数据归档是学术研究数据的长期存储，包括自然科学、社会科学和生命科学。各种学术…
• 开源软件 - 维基百科：开源软件 (OSS) 是源代码公开的计算机软件，允许用户使用、研究、修改和分发它 - 与…相反
• 开源 — 维基百科：开源是公开发布数字资源及其源代码或源文件的做法，以便使用、研究、修改和重新分发…
• 学习软件 — 维基百科：学习软件是指旨在通过改善学生参与、处理和保留信息的方式来提高学习效率的计算机程序…

常见问题

什么是数据备份软件？

数据备份软件复制系统的当前状态，以便在发生故障、损坏或删除后可以恢复。它针对快速恢复和短保留窗口进行了优化，并且通常会重复重写相同的数据。示例包括 Veeam、Bacula、restic 和 BorgBackup。备份是一种恢复机制，而不是保存机制。

什么是归档数据？

数据归档涉及将非活动数据移动到单独的长期存储中，在保留策略下数据保持不可变、经过完整性验证且可恢复。档案遵循 OAIS (ISO 14721) 和 BagIt (RFC 8493) 等标准，并优先考虑耐用性而不是访问速度。目标是保留特定版本而不是恢复最新状态。

SAP 中的数据归档是什么？

SAP 中的数据归档将完整的业务文档从实时数据库中移至归档文件，同时保持它们通过 SAP 事务可读。它通过 SAP 数据归档（SARA 事务）、ArchiveLink 以及当前版本中的 SAP 信息生命周期管理来实现保留和法律保留。目标是数据库性能和成本控制，而不是一般文件保存。

开源归档软件足以用于研究数据吗？

BagIt、Archivematica、iRODS、DVC、restic 和 BorgBackup 等开源工具被图书馆、档案馆和研究计算小组用于生产。它们符合保存标准并避免许可成本，但需要运营专业知识。没有专门系统人员的团体通常会将开源打包工具与托管存储库结合起来以进行最终存放。

归档与备份有何不同？

备份在发生故障后恢复最近的状态；归档将特定版本保留数年或数十年。备份存储必须快速且经常重写；归档存储很便宜，一次写入，并且很少读取。长时间运行的备份不是归档，因为它会向前传播静默损坏，而不是冻结经过验证的副本。

我应该多久验证一次归档？

检查频率取决于介质和风险承受能力，但常见的做法是按计划运行完整性检查（对于磁带和对象存储，每季度或每年）并且始终在介质迁移之后运行。每次审计都应将存储的校验和与重新计算的校验和进行比较，并记录不匹配情况以供调查。恢复演习应伴随验证，而不是取代验证。