长期数据归档解决方案比较

长期数据归档解决方案是指能够将数据保存数年甚至数十年的系统和服务，同时确保数据可检索、可审计且成本可控。它们至少涵盖四个不同的层面——存储介质、传输与完整性软件、元数据目录和治理策略——而 ISO 14721 (OAIS) 和 ISO 16363 等标准定义了可信存档的行为规范。

长期数据归档解决方案详解

数据归档 是将不再被积极使用的数据从主存储移至更便宜、速度较慢或离线介质上的实践，同时保持其可检索性，以备将来参考、合规或重用。长期数据归档解决方案将这一实践整合为一个可重复的系统：包括介质、软件、元数据和策略。

最关键的区别在于“归档”与“备份”。备份是为了防止数据丢失，旨在快速恢复到最近的状态。归档是为了防止遗忘，旨在多年后对特定对象进行缓慢且选择性的检索。每 30 天覆盖一次磁带的备份轮转不属于归档；而一个包含 2019 年分子动力学轨迹及其输入文件、力场版本和校验和的存储库则属于归档。

对于计算科学家来说，归档的边界通常是数据每周停止被读取的地方。原始仪器输出、完成的模拟轨迹和已发布的分析笔记本属于归档；而暂存空间 (scratch space)、中间重启文件和当前工作数据集则不属于归档。

什么是长期数据归档解决方案

A long-term data archiving solution 是任何能够使数据在所有硬件世代中保持可读且可验证的存储、软件和流程的组合。任何严肃的实施方案都会包含以下四个组件：

1. 存储介质：磁带（LTO 各代）、对象存储（S3 兼容，本地或云端）、针对特定场景的光盘介质，以及用于热归档的复制磁盘。
2. 传输与完整性工具 —— 校验和计算、固定性验证 (fixity verification) 和纠错格式。par2、BagIt 和基于 rsync 的流水线等工具负责处理这一层。
3. 元数据与目录 —— 使存档可搜索的索引。没有它，存档就成了垃圾填埋场。DataCite、Dublin Core 和领域模式（例如晶体学或蛋白质组学）提供了相应的词汇表。
4. 治理 —— 保留计划、访问控制，以及在构建存档的人员离开实验室时的接替计划。

企业级数据归档增加了第五个考量因素：与身份提供商的集成、电子取证 (e-discovery) 和法律保留 (legal hold)。研究类存档通常增加另一个不同的第五个考量因素：可重复性，这意味着存档必须捕获足够的环境细节以重新运行计算。

Related: DataCamp — Interactive Python and data-science courses you code directly in the browser.

长期数据归档解决方案的含义

这个短语包含两个容易被买家混淆的含义，将两者区分开可以避免代价高昂的错误。

含义一：保留基础设施 (retention infrastructure)。 这是数据归档公司解决方案供应商（如 Quantum、Cohesity、Archon 等）所采用的以存储为中心的解读，其中归档意味着将冷数据分层存储到更便宜的介质并执行保留策略。其价值主张是每 TB 成本和合规性。这些通常被表述为长期数据存储解决方案。

含义二：保存基础设施 (preservation infrastructure)。 这是以研究为中心的解读，其中归档意味着确保数据集在 2040 年仍然可以被解释。其价值主张是可重复性和科学完整性。这是长期数据归档解决方案的一个关键方面。

Worth a look: Coursera Plus — One subscription for university-backed Python and data-science certificates.

如果一个实验室购买了保留基础设施却假设自己拥有保存基础设施，那么当学生尝试重新运行 2018 年的分析，发现 HDF5 文件完好但代码、环境和单位均未记录时，就会发现这个差距。针对性能的归档数据解决方案和针对数据安全的归档数据解决方案（包括针对大数据的数据库归档解决方案和针对大数据的数据归档解决方案）解决了第一个问题。只有元数据纪律才能解决第二个问题。

长期数据归档解决方案的优势

降低成本是供应商提供的优势，而且这是真实的：冷对象存储和磁带的容量成本仅为主 SSD 或高性能并行文件系统的一小部分。将已完成的项目移出暂存文件系统还能为下一次模拟释放容量，这通常是最紧迫的收益。

合规性是第二个优势。受监管的领域（如临床基因组学、药物研究、环境监测）面临以年为单位的保留要求，而带有审计追踪的存档正是满足这些要求的机制。用于合规性的归档数据解决方案以及存档与企业治理通常共享相同的工具。

可重复性是第三个，也是与本站受众最相关的优势。计算科学中的可重复性危机部分是存储问题：结果无法复现，因为输入、代码和环境从未被共同保存。一个设计良好的存档是可重复性危机的解决方案，而不仅仅是一个存储层。

长期数据归档解决方案的优缺点

优点

• 每 TB 成本显著低于主存储。
• 为活跃工作释放高性能存储空间。
• 通过可证明的追踪记录满足保留和审计义务。
• 保存数据以供重用、元分析和引用。

缺点

Related: O'Reilly Learning Platform — A deep technical library of scientific-computing books, videos and live training.

• 检索延迟：磁带和深层云层可能需要数小时到数天的时间。
• 格式和软件过时可能导致完整的字节无法读取。
• 元数据债务在无形中累积，且偿还成本高昂。
• 迁移工作在每个介质世代都会重复出现，磁带大约每 5-10 年一次。
• 访问控制和加密密钥的寿命必须长于设置它们的人员。

长期数据归档解决方案是否值得

成本效益计算取决于三个变量：丢失数据的成本、保留数据的成本，以及你需要它的可能性。支撑论文的已发布数据集、受法律保留义务约束的数据以及不可替代的仪器输出几乎总是值得归档。而那些可以在一个下午根据输入重新生成的中间文件通常不需要。

一个简单的测试：如果重新生成数据的成本高于在保留期内存储它的成本，就将其归档。对于一个需要运行数周的分子动力学模拟，重新生成的成本很高而存储成本很低，因此答案很明确。对于一个脚本在几分钟内即可重建的派生 CSV 文件，答案同样明确，但结论相反。

长期数据归档解决方案的问题

位衰减 (Bit rot) 和静默损坏。 介质会降级。定期进行固定性检查（而非仅在写入时检查一次）是唯一可靠的检测方法。

Reader favorite: Dataquest — Project-based data-science paths with a guided terminal and real datasets.

格式过时。 来自已停业供应商的专有二进制格式即使在完美的介质上也是一种保存风险。具有已发布规范的开放格式（如 HDF5、NetCDF 以及纯文本或 Parquet 表格数据）的耐用性要好得多。

元数据丢失。 最常见的失败并非磁盘损坏，而是缺少 README 文件。没有结构化元数据的存档在几年内就会变得无法搜索。

密钥和凭据丢失。 丢失密钥的加密存档与被删除的存档没有区别。密钥托管是治理要求，而非事后补救。

成本意外。 如果项目的读取频率高于预期，云端出站流量费 (egress fees) 和检索费用可能会超过存储节省的成本。在投入之前请先对检索模式进行建模。

组织不连续性。 实验室解散、资助结束、机构存储库更换平台。接替计划是技术设计的一部分。

比较：将解决方案与工作负载相匹配

工作负载	典型匹配	注意事项
完成的模拟轨迹（TB 级）	带有目录的磁带或冷对象存储（针对大数据的归档数据解决方案）	检索延迟；记录单位和力场
已发布的分析笔记本	Git 存储库加上存档的环境锁定文件和数据快照	笔记本输出不能替代原始数据
具有保留规则的仪器原始输出	具有生命周期策略的分层对象存储（长期数据存储解决方案）	出站流量和检索成本
受监管的临床或制药数据	具有审计追踪和法律保留功能的供应商存档（数据存档公司解决方案）	供应商锁定和导出格式
小型实验室，预算有限	机构存储库加上带有校验和的外部驱动器（长期数据归档解决方案）	单副本风险；验证异地副本

注：在评估针对大数据的数据库归档解决方案或其他数据归档公司解决方案时，请考虑上述具体的工作负载要求。

如何选择：标准列表

• 保留期限。 五年和五十年的长期数据归档解决方案需要不同的介质和不同的治理方式。
• 恢复频率和延迟容忍度。 每周访问的需求将排除深层磁带，这是选择数据归档公司解决方案时的关键考虑因素。
• 格式的开放性。 在评估数据归档公司解决方案时，优先选择有文档记录且被广泛实现的格式。
• 元数据架构。 对于长期数据存储解决方案，应在摄入数据之前而非之后选择架构。
• 完整性检查。 定期的固定性检查及结果记录对于针对大数据的归档数据解决方案至关重要。
• 退出策略。 确认你可以用开放格式导出所有内容，特别是对于针对大数据的数据库归档解决方案。
• 包括恢复和迁移在内的总成本。 仅看存储价格具有误导性。

可重复性与笔记本归档

Jupyter 笔记本的长期存储解决方案值得单独讨论，因为笔记本是一种混合工件：代码、输出和叙述都在一个文件中。仅有笔记本文件是不够的。计算结果的持久存档应包括：笔记本、环境规范（锁定文件或容器镜像摘要）、输入数据（或校验和及位置），以及关于结果含义的纯文本描述。

Binder、Zenodo 和机构存储库等工具解决了其中的部分问题。Zenodo 为提交的工件颁发 DOI，使引用成为可能。容器可以捕获环境但不能捕获数据。这种组合——DOI 标识的提交、容器化环境、带有校验和的数据——是目前最接近完整可重复性存档的方案。

关键要点

• 长期数据归档解决方案结合了介质、完整性软件、元数据和治理；缺失任何一层都会导致存档失效。
• 存档和备份解决不同的问题——前者关注保留和选择性检索，后者关注最近状态的快速恢复。
• 每 TB 成本上，磁带和冷对象存储更具优势，但检索延迟、出站费用和迁移人力才是真正的预算开支。
• 格式的开放性和元数据纪律决定了完整的字节在二十年后是否仍然可用。
• 对于计算科学，存档必须捕获环境和溯源 (provenance) 而不仅仅是数据，才能作为可重复性解决方案。
• ISO 14721 (OAIS) 和 ISO 16363 等标准为可信数字存储库提供了可靠的框架。

资料来源与进一步阅读

• Research data archiving — Wikipedia：研究数据归档是指学术研究数据的长期存储，包括自然科学、社会科学和生命科学。各种学术…
• Data storage — Wikipedia：数据存储是指在存储介质中记录（存储）信息（数据）。手写、留声机记录、磁带和光盘都是…
• Big data — Wikipedia：大数据主要指传统数据处理软件无法处理的过大或过复杂的数据集。具有许多条目（行）的数据提供…
• Data security — Wikipedia：数据安全或数据保护是指保护数字信息免受在线威胁的过程。数据安全或保护意味着保护数字…

常见问题

什么是长期数据归档解决方案？

长期数据归档解决方案是存储介质、软件、元数据系统和策略的组合，旨在将数据保存数年或数十年，同时保持其可检索和可验证。它们与备份系统的不同之处在于，优先考虑长周期的选择性检索，而非最近状态的快速恢复。ISO 14721 (OAIS) 等标准描述了此类存储库的参考模型。

长期数据归档解决方案在实践中涵盖什么含义？

在实践中，该术语涵盖两个重叠的概念：保留基础设施（将冷数据分层存储到更便宜的介质并执行策略）和保存基础设施（确保数据保持可解释性）。供应商和数据归档公司解决方案提供商通常指前者；研究小组通常需要后者。购买其中之一并假设自己拥有另一个是最常见且代价最高误解。

长期数据归档解决方案的主要优点是什么？

主要好处是降低每 TB 的存储成本、释放主系统的容量、遵守保留义务以及保存数据以供重用和引用。对于计算科学家来说，还有第四个好处：正确构建的档案可以捕获重现结果所需的环境和来源，从而解决重现性危机的核心部分。这些优势使得长期数据存储解决方案对于大规模研究至关重要。

长期数据归档解决方案的优点和缺点是什么？

优点包括成本效率、合规性支持和长期数据重用。缺点包括磁带和深度云层的检索延迟（以小时或天为单位）、格式过时风险、每一代媒体的重复迁移工作，以及在员工流动期间管理加密密钥和访问权限的治理负担。在评估数据归档公司的解决方案时，必须权衡这些利弊。

长期数据归档解决方案值得吗？

当重新生成或丢失数据的成本超过保留期内存储数据的成本时，归档是值得的。不可替代的仪器输出、已发布的数据集和受监管的记录几乎总是符合条件。脚本可以快速重建的派生文件通常不能。在提交到云层之前，请评估检索频率和出站流量成本，特别是在考虑大数据的归档数据解决方案时。

长期数据归档解决方案会遇到哪些问题？

反复出现的问题包括比特腐烂和静默损坏、格式过时、元数据丢失、加密密钥丢失、意外检索和出站流量成本以及实验室解散或资助结束时的组织中断。计划的完整性检查、开放格式、结构化元数据、密钥托管和继任计划是每个问题的标准缓解措施，包括在实施大数据数据库归档解决方案时。

进一步阅读

• 请参阅开放档案信息系统参考模型 ISO 14721，了解数字保存和长期数据归档解决方案的规范词汇。
• 研究数据联盟发布有关研究档案和数据归档公司解决方案的数据引用和元数据的实用指南。
• 数字保存联盟维护格式和媒体风险指导手册，包括数据归档公司解决方案和长期数据存储解决方案。
• 有关存储库认证标准，请参阅关于可信数字存储库审核和认证的 ISO 16363，它可以为大数据的归档数据解决方案和大数据的数据库归档解决方案提供参考。