Meilleur stockage de données d’archives à long terme : meilleurs choix

Le stockage des données d’archives à long terme couvre quatre familles de supports pratiques : les bandes (LTO), les disques optiques (M-DISC et Blu-ray d’archives), les disques durs et SSD, et le stockage d’objets cloud, ainsi que la règle de sauvegarde 3-2-1-1-0 qui régit la manière dont vous les combinez. Aucun média n’est gagnant sur tous les fronts, le bon choix dépend donc de votre horizon de rétention, de votre budget et de la fréquence à laquelle vous devez relire les données.

Points clés à retenir

• La bande (LTO) reste le moins cher par téraoctet pour les archives froides, avec une feuille de route qui a historiquement permis de environ doubler la capacité par génération et une fenêtre de compatibilité de relecture sur deux générations.
• Les supports optiques (M-DISC, Blu-ray d’archives) conviennent aux petites archives hors ligne à écriture unique où quelques centaines de gigaoctets suffisent et où vous souhaitez des supports qui ne nécessitent ni alimentation ni migration pour survivre.
• Les disques durs et SSD sont un stockage fonctionnel, pas un stockage d’archives : ils tombent en panne à cause de l’usure mécanique, de la pourriture des bits et, pour les SSD, d’une fuite de charge lorsqu’ils ne sont pas alimentés.
• Le stockage d’objets dans le cloud (S3 Glacier, Azure Archive, Google Archive) échange de l’argent pour plus de commodité : vous payez un loyer et des frais de sortie continus, mais bénéficiez d’une redondance géographique et d’aucun matériel à surveiller.
• La règle 3-2-1-1-0 — trois copies, deux types de supports, un hors site, un hors ligne/avec espacement, zéro erreur vérifiée — est la norme en matière de stockage de données d’archives à long terme que la plupart des groupes de recherche devraient adopter.
• La vérification de la fixité (sommes de contrôle) et un calendrier de migration sont plus importants que le support que vous choisissez. Une archive vérifiée sur du matériel modeste bat une archive non vérifiée sur du matériel exotique.

Que signifie réellement « archives »

Le stockage d’archives est défini par son modèle d’accès et non par sa technologie. Les données que vous écrivez une seule fois et que vous lisez rarement (sorties brutes des instruments, points de contrôle de simulation, lectures de séquençage, instantanés d’ensembles de données publiés) appartiennent au stockage de données d’archives à long terme, tandis que les données que vous interrogez quotidiennement appartiennent au stockage de travail. La distinction est importante car les deux ont des courbes de coûts opposées : les supports d’archives optimisent le coût par octet stocké et la longévité, tandis que le stockage de travail optimise la latence et le débit.

L’horizon de rétention détermine toutes les autres décisions. Un laboratoire qui doit conserver des données brutes pendant la période mandatée par le bailleur de fonds (généralement de trois à sept ans, et plus dans certains domaines) a des besoins différents de ceux d’un groupe qui conserve un ensemble de données de référence pendant des décennies. Plus l’horizon est long, plus vous devez privilégier la longévité des médias, l’ouverture des formats et l’aspect pratique d’une migration périodique plutôt que la vitesse brute.

Le concept le plus important dans cet espace est qu’aucun support n’est permanent. Chaque technologie de stockage a une durée de vie limitée, et le problème d’archivage est en réalité un problème de gestion : comment garder les données lisibles à travers les générations de supports, les changements de format et le changement d’organisation ? La réponse est une combinaison de copies redondantes, de formats ouverts, de sommes de contrôle et d’un calendrier de migration.

Comparaison des quatre familles de supports pour le stockage de données d’archives à long terme

Moyen	Utilisation typique	Points forts	Faiblesses	Idéal pour
Bande LTO	Archives froides, gros volumes	Coût/To le plus bas à grande échelle ; hors ligne par défaut ; longue durée de conservation	A besoin d’un lecteur ; accès linéaire ; migration toutes les quelques générations	Archives de recherche multi-To à PB
M-DISC / Blu-ray d’archives	Petites archives à écriture unique	Couche d’enregistrement inorganique inerte ; aucune alimentation n’est nécessaire ; lecteurs bon marché	Faible capacité par disque ; écritures lentes ; manutention manuelle	Des centaines de Go, copies hors ligne à long terme
Disque dur/SSD	Travail + stockage de proximité	Accès aléatoire rapide ; omniprésent	Panne mécanique/électrique ; Fuite de charge SSD non alimentée ; bit rot	Projets actifs, mise en scène avant archivage
Stockage d’objets cloud	Hors site + redondance géographique	Aucun matériel ; SLA de durabilité ; évolue instantanément	Coût permanent ; frais de sortie ; dépendance du fournisseur	Copie hors site, collaboration, reprise après sinistre

Bande : LTO et la norme Cold-Archive

Linear Tape-Open (LTO) est la solution par défaut pour le stockage de données d’archives à long terme dans de grandes archives de recherche, et pour cause. Les cartouches de bande stockent les données sur bande magnétique dans un format linéaire, coûtent beaucoup moins cher par téraoctet qu’un disque à grande échelle et sont hors ligne par défaut, ce qui les protège des ransomwares et du risque de suppression accidentelle. La feuille de route LTO a historiquement fourni une nouvelle génération environ tous les deux à trois ans avec une capacité accrue, et les lecteurs lisent généralement la génération actuelle plus la ou les deux précédentes, ce qui définit votre cadence de migration.

Le problème, c’est le lecteur. La bande n’est bon marché par téraoctet que si vous disposez déjà d’un lecteur et d’une bibliothèque ; un seul lecteur et un seul support représentent un coût d’investissement réel, et le format est à accès linéaire, donc la restauration d’un seul fichier à partir du milieu d’une cartouche est plus lente qu’à partir d’un disque.

Connexes : Dataquest — Parcours de science des données basés sur des projets avec un terminal guidé et des ensembles de données réels.

Pour un groupe de laboratoire archivant des dizaines de téraoctets, la bande constitue généralement le choix le plus économique à long terme. Pour un seul chercheur disposant de 2 To, ce n’est généralement pas le cas.

Hygiène pratique des bandes : écrivez dans un format cohérent (tar ou conteneur documenté), enregistrez le logiciel et la version utilisés pour écrire chaque cartouche, stockez les cartouches dans un environnement contrôlé à l’écart des champs magnétiques et vérifiez un échantillon de fichiers après chaque écriture. Le Programme LTO publie les spécifications de la génération actuelle et la matrice de compatibilité.

Optique : M-DISC et Blu-ray d’archives

Les supports optiques méritent leur place dans le stockage de données d’archives à long terme grâce à une propriété : ils n’ont besoin d’aucune alimentation, d’aucun micrologiciel de lecteur et d’aucun réseau pour survivre. M-DISC utilise une couche d’enregistrement inorganique conçue pour résister à la dégradation qui affecte les DVD et Blu-ray enregistrables à base de colorants organiques, et les disques Blu-ray de qualité d’archives sont commercialisés pour une longue conservation. Les allégations indépendantes de longévité concernant les supports optiques doivent être lues attentivement : les études de vieillissement accéléré largement citées proviennent de fabricants et de tests du Département américain de la Défense Naval Air Warfare Center, et les résultats réels dépendent fortement des conditions de stockage.

Ça vaut le coup d'oeil : Coursera Plus — Un abonnement pour les certificats Python et de science des données soutenus par l'université.

La capacité est le facteur limitant. Un seul Blu-ray d’archives contient des dizaines de gigaoctets, donc archiver un téraoctet signifie des dizaines de disques et un catalogue pour en garder une trace. L’optique est mieux adaptée à une copie en écriture unique d’un ensemble de données publié, d’une thèse ou d’une petite collection de référence, et non à une archive de simulation de plusieurs téraoctets.

Disques durs et SSD : stockage fonctionnel, pas d’archives

Les disques durs tombent en panne en raison de l’usure mécanique, des chocs de tête et de la dégradation magnétique progressive ; Les disques SSD échouent en raison des limites d’endurance en écriture et, surtout pour le stockage de données d’archives à long terme, en raison de fuites de charge dans les cellules NAND qui restent non alimentées pendant de longues périodes. Les deux permettent un excellent stockage fonctionnel et de mauvais enregistrements à long terme. Le rôle pratique des disques rotatifs dans une stratégie d’archivage est celui d’une copie nearline (une réplique alimentée avec une somme de contrôle que vous mettez à jour selon un calendrier) plutôt que celui d’un support fiable pendant une décennie sur une étagère.

Si vous utilisez des disques pour des copies d’archives, prévoyez de les alimenter périodiquement, effectuez une passe de lecture et de vérification complète au moins une fois par an et remplacez-les selon un cycle fixe plutôt que d’attendre une panne. Les statistiques de disque publiées par Backblaze constituent une vérification utile de la réalité sur les taux de défaillance réels, bien qu’elles reflètent une flotte et une charge de travail spécifiques.

Stockage d’objets cloud pour les archives

Les niveaux d’archives cloud (Amazon S3 Glacier et Glacier Deep Archive, Azure Blob Archive et Google Cloud Archive) fournissent un stockage de données d’archives à long terme pour les objets à un faible coût mensuel et offrent des SLA de durabilité et une redondance géographique qu’aucun laboratoire ne peut égaler. Les compromis sont le loyer continu, la latence de récupération mesurée en heures pour les niveaux les plus profonds et les frais de sortie qui peuvent éclipser les coûts de stockage si vous restaurez de gros volumes. La dépendance envers un fournisseur est une véritable préoccupation : concevez vos archives de manière à ce que les objets soient auto-descriptifs et portables, et conservez une copie locale afin de ne jamais dépendre d’un seul fournisseur.

Le cloud est le lieu naturel pour la partie « un hors site » de la règle 3-2-1-1-0, et constitue souvent le moyen le moins coûteux de satisfaire aux exigences de partage de données d’un bailleur de fonds. Il s’agit rarement de la seule copie appropriée pour les données que vous ne pouvez pas vous permettre de perdre.

Comment décider : une liste de contrôle des critères pour le stockage de données d’archives à long terme

Parcourez-les dans l’ordre, car chaque réponse contraint la suivante :

Connexes : O'Reilly Learning Platform — Une bibliothèque technique approfondie de livres, de vidéos et de formations en informatique scientifique.

1. Volume — En dessous d’environ 1 To, l’optique et le cloud sont viables. Au-delà d’environ 10 To, la bande ou le cloud deviennent le choix économique.
2. Horizon de rétention — En moins de cinq ans, le cloud et les disques fonctionneront parfaitement. Sur dix ans, privilégiez la bande ou l’optique et un plan de migration.
3. Fréquence d’accès — Rarement lu : niveaux de bande ou de cloud profond. Lecture occasionnelle : niveaux d’accès peu fréquent sur disque ou cloud.
4. Modèle budgétaire — Le capital (acheter le matériel une fois) favorise la bande et l’optique. Le fonctionnement (paiement mensuel) privilégie le cloud.
5. Conformité — Examiner les politiques en matière de données des bailleurs de fonds et des institutions ; certains nécessitent des périodes de conservation spécifiques ou des référentiels approuvés.
6. Vérification — Quel que soit votre choix, planifiez des sommes de contrôle et des tests de relecture périodiques.

La règle 3-2-1-1-0 et la fixité

La règle 3-2-1-1-0 est la norme pratique pour le stockage de données d’archives à long terme : trois copies des données, sur deux types de supports différents, avec une copie hors site, une copie hors ligne ou air-gappé et zéro erreurs vérifiées par des sommes de contrôle. Pour un groupe de recherche, une instanciation réalisable est : des données primaires sur un serveur de laboratoire (copie de travail), une archive sur bande ou optique dans le laboratoire (copie hors ligne) et une archive cloud dans une région différente (copie hors site).

La vérification de la fixité est ce qui transforme les copies en archives. Générez des sommes de contrôle (SHA-256 est standard) lorsque les données sont écrites, stockez le manifeste avec les données et revérifiez selon un calendrier. Des outils comme « par2 » pour la parité, « rsync » avec des sommes de contrôle et le nettoyage au niveau du système de fichiers sur ZFS ou Btrfs sont tous utiles. Le modèle de référence Open Archival Information System (OAIS), normalisé ISO 14721, constitue le cadre conceptuel derrière la plupart des systèmes d’archives sérieux et mérite d’être lu si vous en concevez un.

Formats et métadonnées : la partie que tout le monde oublie

Un support parfait contenant un format illisible est une archive défaillante pour le stockage de données d’archives à long terme. Préférez les formats ouverts, bien documentés et auto-descriptifs : HDF5, NetCDF, Parquet, formats texte brut et images ouvertes. Évitez les formats propriétaires dont les lecteurs risquent de disparaître. Stockez un README avec chaque archive décrivant les données, le logiciel et les versions utilisées pour les produire, le manifeste de la somme de contrôle et la date. Pour les données scientifiques, les principes FAIR (Trouvable, Accessible, Interopérable, Réutilisable) sont les lignes directrices acceptées, et leur respect facilite grandement la migration future.

Si vous faites du shopping : DataCamp — Cours interactifs Python et science des données que vous codez directement dans le navigateur.

Sources et lectures complémentaires

• Stockage de données — Wikipédia : Le stockage de données est l’enregistrement (stockage) d’informations (données) sur un support de stockage. L’écriture manuscrite, l’enregistrement phonographique, la bande magnétique et les disques optiques sont tous…

Questions fréquemment posées

Quel est le meilleur support de stockage de données d’archives à long terme ?

Il n’existe pas de meilleur support universel ; le bon choix dépend du volume, de l’horizon de rétention et du budget. Pour les archives de recherche volumineuses, la bande LTO offre le coût par téraoctet le plus bas et reste hors ligne par défaut. Pour les petites archives à écriture unique, les M-DISC et les Blu-ray d’archives n’ont besoin d’aucune alimentation pour survivre. Le stockage d’objets dans le cloud convient à la redondance et à la collaboration hors site.

Combien de temps durent réellement les données sur chaque support ?

Les fabricants publient des estimations de longévité, mais la durée de vie réelle dépend des conditions de stockage et de manipulation. Les bandes et les supports optiques sont couramment cités dans des conditions contrôlées pendant des décennies, tandis que les disques durs et les SSD non alimentés sont beaucoup moins fiables sur de longues périodes. Traitez chaque chiffre comme une estimation et comptez sur la redondance et la migration plutôt que sur la durée de vie nominale d’un seul support.

Le stockage cloud est-il adapté à l’archivage à long terme ?

Les niveaux d’archivage cloud sont excellents pour la partie hors site d’une stratégie de sauvegarde, offrant une redondance géographique et des SLA de durabilité sans matériel à maintenir. Les inconvénients sont les coûts permanents, la latence de récupération dans les niveaux plus profonds et les frais de sortie lors de la restauration des données. Conservez une copie locale et concevez les objets pour qu’ils soient portables afin d’éviter le verrouillage du fournisseur.

À quelle fréquence dois-je migrer les données archivées ?

Le rythme de la migration est déterminé par l’obsolescence des médias et des formats plutôt que par un calendrier fixe. Une approche courante consiste à vérifier les sommes de contrôle chaque année et à planifier une migration complète des médias tous les cinq à dix ans, ou plus tôt si votre génération de bandes n’est plus compatible avec les lecteurs. Migrez toujours avant que l’ancien support ne devienne illisible, pas après.

Qu’est-ce que la règle de sauvegarde 3-2-1-1-0 ?

La règle nécessite trois copies de vos données, sur deux types de supports différents, avec une copie hors site, une copie hors ligne ou isolée (air-gapped), et aucune erreur vérifiée par des sommes de contrôle. Il s’agit d’un cadre pratique qui protège simultanément contre les pannes matérielles, les catastrophes sur site, les ransomwares et la corruption silencieuse des données. La plupart des groupes de recherche devraient concevoir leurs archives en fonction de cela.

Ai-je besoin de sommes de contrôle pour le stockage d’archives ?

Les sommes de contrôle sont ce qui distingue une archive vérifiée d’une pile de fichiers. La génération de hachages SHA-256 au moment de l’écriture et leur revérification selon un calendrier détecte la corruption silencieuse des données (bit rot) et les copies corrompues avant qu’elles ne deviennent irrécupérables. Stockez le manifeste de somme de contrôle avec les données et incluez-le dans chaque migration.