La BBC préserve 100 ans d’histoire grâce à Amazon S3

BBC Archives Technology and Services conserve les archives centenaires de la BBC, avec 16 millions d’actifs collectés tout au long de l’existence du radiodiffuseur, des pellicules historiques aux supports numériques modernes. L’équipe se concentre sur trois objectifs : unifier l’ensemble du contenu de diffusion des archives, rendre les archives plus accessibles grâce à la numérisation et préserver les supports grâce à des solutions modernes. « Nous voulons adopter une stratégie tournée vers l’avenir, avec des outils tels que le stockage flexible et le calcul qui facilitent l’utilisation du machine learning », explique Brendan Mallon, responsable des produits et services chez BBC Archives Technology and Services. « Notre objectif est de protéger le contenu des archives afin qu’il soit accessible pendant 100 ans de plus. »

Les données du radiodiffuseur avaient été réparties dans des référentiels de genres distincts pour les actualités, les sports, la radio et les programmes. L’entreprise souhaitait standardiser sa chaîne d’approvisionnement et ses flux de travail afin de développer un plan d’archivage durable et centralisé. Elle utilisait avec succès une infrastructure sur site, mais en 2017, elle a constaté la nécessité de réduire la complexité de ses systèmes. L’agrégation de contenu était inutilement onéreuse compte tenu des jeux de données disparates existants. L’équipe s’est donc lancée dans une mission de 5 ans visant à consolider ses différentes couches d’applications de stockage et à devenir plus durable.

Comme la BBC faisait fonctionner son système de traitement des ressources multimédias sur AWS depuis des années, la prochaine étape pratique était de migrer vers une solution AWS capable de contribuer à la stratégie de préservation à long terme. « Nous voulions adopter une approche cohérente pour extraire de la valeur de jeux de données incohérents, créer un catalogue unique faisant autorité qui corresponde aux supports et créer de la valeur pour notre public », explique Brendan Mallon. « Grâce à AWS, nous pouvons standardiser le stockage de l’ensemble de notre contenu. »

En raison de l’ampleur des données d’archive, la migration du réseau était l’option la plus pratique à automatiser. Pour effectuer la migration du contenu, la BBC a utilisé son infrastructure existante alimentée par AWS Direct Connect, un service cloud qui aide les utilisateurs à créer une connexion réseau dédiée à AWS pour des transferts de données fluides et fiables à très grande échelle à des fins d’analyse en temps quasi réel, de sauvegarde rapide des données ou de traitement multimédia de diffusion. En novembre 2022, après environ 12 mois de planification et de consultation avec CloudFirst.io (Cloudfirst), un partenaire AWS, la migration a débuté.

Au plus fort, l’équipe a migré 120 To de données par jour à l’aide d’AWS Direct Connect pour transférer d’importantes quantités de contenu vers AWS. En 10 mois, l’équipe avait transféré 25 Po de données vers le cloud. Ce faisant, elle pouvait supprimer l’un de ses anciens référentiels multimédias sur bandes et développer une abstraction de nouvelle génération entre les systèmes de gestion des actifs multimédias et le stockage dans le cloud public. « Nous avons pu mettre hors service la moitié de l’infrastructure physique des archives », explique Mark Glanville, architecte technique principal chez BBC Archives Technology and Services. « Cela permet de libérer énormément d’espace technique et de puissance dans certains biens immobiliers précieux du centre de Londres. »

La BBC a migré la plupart de ses données vers Amazon S3 Glacier Instant Retrieval. La solution offrait le type de stockage flexible idéal pour les types de données stockées dans les archives de la BBC. Comme l’équipe avait utilisé AWS pour son système de traitement des ressources multimédias, qui hébergeait environ 3 Po de contenu multimédia, elle avait de l’expérience avec les solutions Amazon S3. « Nous avons travaillé aux côtés de l’équipe AWS pour sélectionner la classe de stockage adaptée à la majeure partie de notre contenu », explique Mark Glanville. « Avec Amazon S3 Glacier Instant Retrieval, nous pouvons récupérer plus rapidement nos contenus à partir des archives tout en bénéficiant de coûts flexibles. »

L’équipe utilise une combinaison d’Amazon S3 Glacier Instant Retrieval et d’Amazon S3 Intelligent-Tiering, une classe de stockage dans le cloud qui permet de réaliser des économies automatiques sur les coûts de stockage sans impact sur les performances ni frais opérationnels. La BBC peut choisir entre ces deux classes de stockage en fonction du niveau d’accès attendu sans compromettre les performances.

« En utilisant Amazon S3 Glacier Instant Retrieval et Amazon S3 Intelligent-Tiering, nous obtenons des modèles de tarification similaires à ceux des archives pour le contenu que nous hébergions auparavant dans un espace de stockage relativement à chaud », explique Tom Cartwright, chef de produit exécutif à la BBC. « C’est très utile, car nous pouvons prendre des décisions dès le début d’un projet concernant l’emplacement de nos données. »