最佳长期档案数据存储：首选
长期归档数据存储涵盖四种实用介质系列：磁带 (LTO)、光盘（M-DISC 和归档蓝光）、硬盘驱动器和 SSD、云对象存储，以及控制它们组合方式的 3-2-1-1-0 备份规则。没有任何一种媒介能够在所有方面获胜，因此正确的选择取决于您的保留期限、预算以及需要读回数据的频率。
要点
- 磁带 (LTO) 仍然是每 TB 冷存档最便宜的，其路线图历来使每代容量大约翻倍，并具有两代回读兼容性窗口。
- 光学介质（M-DISC、存档蓝光）适合小型一次性写入离线存档，其中几百 GB 就足够了，并且您希望介质不需要电源或迁移即可生存。
- HDD 和 SSD 是功能存储，而不是档案存储 — 它们会因机械磨损、位损坏而发生故障，对于 SSD 来说，在未通电时会出现电荷泄漏。
- 云对象存储（S3 Glacier、Azure Archive、Google Archive）以金钱换取便利：您需要支付持续的租金和出口费用，但可以获得地理冗余，并且没有硬件可以照顾。
- 3-2-1-1-0 规则 — 三份副本、两种媒体类型、一份异地、一份离线/气隙、零验证错误 — 是大多数研究小组设计时应遵循的长期存档数据存储标准。
- 固定性验证（校验和）和迁移计划比您选择的介质更重要。 在普通硬件上经过验证的存档胜过在特殊硬件上未经验证的存档。
“归档”的实际含义
档案存储是由其访问模型而不是技术来定义的。您写入一次且很少读取的数据（原始仪器输出、模拟检查点、测序读取、发布的数据集快照）属于长期存档数据存储，而您每天查询的数据属于工作存储。这种区别很重要，因为两者具有相反的成本曲线：存档介质优化每字节存储的成本和寿命，而工作存储优化延迟和吞吐量。
保留期限决定所有其他决策。必须在资助者规定的期限内（通常为三到七年，某些领域甚至更长）保存原始数据的实验室与保存参考数据集数十年的实验室有着不同的需求。时间线越长，您就越应该优先考虑介质寿命、格式开放性和定期迁移的实用性，而不是原始速度。
这个领域最重要的概念是没有任何媒介是永久的。每种存储技术的使用寿命都是有限的，归档问题实际上是一个“管理”问题：如何在介质世代、格式变化和组织更替之间保持数据可读？答案是冗余副本、开放格式、校验和和迁移计划的组合。
四个媒体系列长期存档数据存储的比较
| 介质 | 典型用途 | 优势 | 弱点 | 最适合 |
|---|---|---|---|---|
| LTO 磁带 | 冷存档，大容量 | 大规模/TB 成本最低；默认离线；保质期长 | 需要驱动器；线性访问；每隔几代需迁移 | 多 TB 到 PB 级研究存档 |
| M-DISC / 存档蓝光 | 小型一次性写入档案 | 惰性无机记录层；无需电源；读取设备便宜 | 每盘容量低；写入速度慢；手动搬运 | 数百GB，长期离线副本 |
| 硬盘/固态硬盘 | 工作+近线存储 | 快速随机访问；无处不在 | 机械/电气故障； SSD 在未通电时电荷泄漏；位衰减 | 活动项目，归档前暂存 |
| 云对象存储 | 异地+地理冗余 | 没有硬件；耐久性 SLA；立即扩展 | 持续成本；出口费；供应商依赖性 | 异地复制、协作、灾难恢复 |
磁带：LTO 和冷存档标准
线性磁带开放 (LTO) 是大型研究档案中长期档案数据存储的默认解决方案，这是有充分理由的。盒式磁带以线性格式将数据存储在磁带上，每 TB 的成本比大型磁盘低得多，并且默认情况下处于脱机状态，从而保护它们免受勒索软件和意外删除的风险。历史上，LTO 路线图大约每两到三年交付新一代，容量有所增加，并且驱动器通常会读取当前一代加上前一代或前两代，这决定了您的迁移节奏。
问题出在读者身上。如果您已经拥有驱动器和库，则磁带每 TB 的价格才便宜；单个驱动器和介质是真正的投资成本，而且格式是线性访问，因此从盒式磁带中间恢复单个文件比从磁盘恢复要慢。对于归档数十 TB 的实验室小组来说，从长远来看，磁带通常是最经济的选择。对于拥有 2 TB 容量的单个研究人员来说，情况通常并非如此。
Related: — Project-based data-science paths with a guided terminal and real datasets.
实用的磁带卫生：写入一致的格式（tar 或记录的容器），记录用于写入每个磁带的软件和版本，将磁带存储在远离磁场的受控环境中，并在每次写入后检查文件样本。 LTO 计划 发布当前一代规范和兼容性矩阵。
光学：M-DISC 和存档蓝光
光学介质因其一个特性而在长期档案数据存储中赢得一席之地：它无需电源、驱动器固件和网络即可生存。 M-DISC 使用无机记录层，旨在抵抗影响基于有机染料的可记录 DVD 和蓝光的退化，而存档质量的蓝光光盘则以长期保存为目的而销售。关于光学介质的独立寿命声明应仔细阅读：广泛引用的加速老化研究来自制造商和美国国防部海军空战中心测试，实际结果高度依赖于存储条件。
容量是限制因素。一张存档蓝光光盘包含数十 GB，因此存档 1 TB 意味着数十张光盘和一个用于跟踪它们的目录。 光学介质 最适合已发布数据集、论文或小型参考集的一次性写入副本，而不是多 TB 模拟存档。
Worth a look: — One subscription for university-backed Python and data-science certificates.
硬盘驱动器和 SSD：工作存储，而非档案
硬盘驱动器由于机械磨损、磁头碰撞和渐进的磁性退化而出现故障； SSD 会因写入耐久性限制而出现故障，对于长期存档数据存储而言，这一点至关重要，因为 NAND 单元中的电荷泄漏会导致长时间未通电。两者都具有出色的功能存储和较差的长期记录。旋转磁盘在归档策略中的实际作用是“近线”副本（按计划更新的通电且经过校验和验证的副本），而不是在架子上放置十年的可信介质。
如果您将磁盘用于存档副本，请计划定期为其供电，每年至少执行一次完整的读取和验证，并按固定周期更换它们，而不是等待发生故障。 Backblaze 发布的驱动器统计数据是对实际故障率的有用现实检查，尽管它们反映了特定的设备集群和工作负载。
云对象存储归档
云归档层（Amazon S3 Glacier 和 Glacier Deep Archive、Azure Blob Archive 和 Google Cloud Archive）以较低的每月成本为对象提供长期归档数据存储，并提供任何单个实验室都无法比拟的持久性 SLA 和地理冗余。权衡是持续的租金、最深级别的恢复延迟（以小时为单位）以及出口费用，如果您要恢复大量数据，则出口费用可能会使存储成本相形见绌。供应商锁定是一个真正值得关注的问题：设计您的存档，使对象具有自描述性和可移植性，并保留本地副本，这样您就永远不会依赖于单个供应商。
云是 3-2-1-1-0 规则中“一个异地”部分的自然家园，并且通常是满足资助者数据共享要求的最便宜的方式。对于您无法承受丢失的数据来说，这很少是正确的“唯一”副本。
如何决定：长期档案数据存储的标准清单
按顺序浏览它们，因为每个答案都约束下一个：
- 容量 — 大约 1 TB 左右，光纤和云都是可行的。超过 10 TB 左右，磁带或云成为经济的选择。
- 保留期限 - 在不到五年的时间里，云和驱动器就很好了。十年来，青睐磁带或光纤以及迁移计划。
- 访问频率 — 很少阅读：磁带或深云层。偶尔阅读：近线磁盘或云不频繁访问层。
- 预算模型 — 资本（购买一次硬件）青睐磁带和光纤。运营（按月付费）有利于云。
- 合规——审查资助者和机构的数据政策；有些需要特定的保留期限或批准的存储库。
- 验证 — 无论您选择哪一个，安排校验和和定期回读测试。
3-2-1-1-0 规则和固定性
3-2-1-1-0 规则是长期存档数据存储的实用标准：三个数据副本，位于两种不同的介质类型上，一个异地副本，一个离线或气隙副本，以及通过校验和验证的零错误。对于研究小组来说，一个可行的实例是：实验室服务器上的主要数据（工作副本）、实验室中的磁带或光学存档（离线副本）以及不同区域的云存档（异地副本）。
固定性检查是将副本变成档案的关键。写入数据时生成校验和（SHA-256 是标准），将清单与数据一起存储，并按计划重新验证。用于奇偶校验的“par2”、带有校验和的“rsync”以及 ZFS 或 Btrfs 上的文件系统级清理等工具都很有用。 开放档案信息系统 (OAIS) 参考模型（标准化为 ISO 14721）是最重要的档案系统背后的概念框架，如果您正在设计一个档案系统，那么值得一读。
格式和元数据：每个人都忘记的部分
对于长期存档数据存储来说，包含不可读格式的完美介质是失败的存档。喜欢开放、文档齐全和自描述的格式：HDF5、NetCDF、Parquet、纯文本和开放图像格式。避免读者可能消失的专有格式。存储一个自述文件，其中每个档案描述了数据、用于生成数据的软件和版本、校验和清单以及日期。对于科学数据，FAIR 原则（可查找、可访问、可互操作、可重用）是公认的指导原则，遵循这些原则可以使未来的迁移变得更加容易。
资料来源和进一步阅读
- 数据存储 — 维基百科：数据存储是在存储介质中记录（存储）信息（数据）。手写、留声机记录、磁带和光盘都是…
常见问题
最好的长期存档数据存储介质是什么？
没有最好的通用媒介；正确的选择取决于数量、保留期限和预算。对于大型研究档案，LTO 磁带的每 TB 成本最低，并且默认保持离线状态。对于小型一次性写入存档，存档 M-DISC 和蓝光光盘不需要任何电源即可保存。云对象存储适合异地冗余和协作。
数据在每种介质上实际能保存多长时间？
制造商发布了寿命估计值，但实际寿命取决于存储和处理条件。磁带和光学介质通常在受控条件下使用数十年，而硬盘驱动器和无动力 SSD 在长时间内的可靠性要低得多。将每个数字视为估计值，并依赖于冗余和迁移，而不是单个介质的额定寿命。
云存储适合长期存档吗？
云归档层非常适合备份策略的异地部分，提供地理冗余和持久性 SLA，无需维护硬件。缺点是持续的成本、更深层次的检索延迟以及恢复数据时的出口费用。保留本地副本并设计可移植的对象，以避免提供商锁定。
我应该多久迁移一次存档数据？
迁移的速度由媒体和格式的过时决定，而不是由固定的时间表决定。一种常见的方法是每年验证校验和，并每五到十年安排一次完整的介质迁移，或者如果您的磁带一代不兼容驱动器，则可以更早进行。始终在旧媒体变得不可读之前迁移，而不是之后。
3-2-1-1-0 备份规则是什么？
该规则要求在两种不同的介质类型上提供三份数据副本，其中一份为异地副本，一份为脱机或气隙副本，并且通过校验和验证零错误。它是一个实用的框架，可以同时防止硬件故障、站点灾难、勒索软件和静默数据损坏。大多数研究小组应该围绕这一点设计其归档方案。
归档存储需要校验和吗？
校验和是经过验证的归档与一堆文件的区别所在。在写入时生成 SHA-256 哈希值并按计划重新验证它们，可以在静默位衰减和失败副本变得不可恢复之前检测到它们。将校验和清单与数据一起存储并将其包含在每次迁移中。
Frequently asked questions
最好的长期档案数据存储介质是什么？
没有最好的通用媒介；正确的选择取决于数量、保留期限和预算。对于大型研究档案，LTO 磁带的每 TB 成本最低，并且默认保持离线状态。对于小型一次性写入存档，存档 M-DISC 和蓝光光盘不需要任何电源即可保存。云对象存储适合异地冗余和协作。
数据在每种介质上实际能保存多长时间？
制造商发布了寿命估计值，但实际寿命取决于存储和处理条件。磁带和光学介质通常在受控条件下使用数十年，而硬盘驱动器和无动力 SSD 在长时间内的可靠性要低得多。将每个数字视为估计值，并依赖于冗余和迁移，而不是单个介质的额定寿命。
云存储适合长期存档吗？
云归档层非常适合备份策略的异地部分，提供地理冗余和持久性 SLA，无需维护硬件。缺点是持续的成本、更深层次的检索延迟以及恢复数据时的出口费用。保留本地副本并设计可移植的对象，以避免提供商锁定。
我应该多久迁移一次存档数据？
迁移的速度由媒体和格式的过时决定，而不是由固定的时间表决定。一种常见的方法是每年验证校验和，并每五到十年安排一次完整的介质迁移，或者如果您的磁带一代不兼容驱动器，则可以更早进行。始终在旧媒体变得不可读之前迁移，而不是之后。
什么是 3-2-1-1-0 备份规则？
该规则要求在两种不同的介质类型上提供三份数据副本，其中一份为异地副本，一份为脱机或气隙副本，并且通过校验和验证零错误。它是一个实用的框架，可以同时防止硬件故障、站点灾难、勒索软件和静默数据损坏。大多数研究小组应该围绕这一点设计他们的档案。
存档存储需要校验和吗？
校验和是将经过验证的存档与一堆文件区分开来的。在写入时生成 SHA-256 哈希值并按计划重新验证它们，可以在静默位腐烂和失败副本变得不可恢复之前检测到它们。将校验和清单与数据一起存储并将其包含在每次迁移中。
Learn Python by coding in your browser
Interactive Python and data-science courses you code directly in the browser