Fonctions d'AWS DataSync

En ce qui concerne le transfert de données en ligne, AWS DataSync simplifie, automatise et accélère la copie de grandes quantités de données entre les stockages sur site, les emplacements périphériques ou les autres fournisseurs de cloud, et les services AWS Storage. DataSync peut copier des données depuis et vers les partages NFS (Network File System) et SMB (Server Message Block), le système de fichiers distribué Hadoop (HDFS), le stockage d’objets autogéré, le stockage d’objets dans d’autres clouds tels que Google Cloud Storage et Wasabi Cloud Storage (voir la liste complète des clouds pris en charge), Azure Files, Azure Blob Storage (y compris Azure Data Lake Storage Gen2), le stockage compatible Amazon S3 sur Snowball Edge, Amazon Simple Storage Service (Amazon S3), ainsi que les systèmes de fichiers suivants : Amazon Elastic File System (Amazon EFS), Amazon FSx for Windows File Server, Amazon FSx pour Lustre, Amazon FSx pour OpenZFS et Amazon FSx pour NetApp ONTAP.

AWS DataSync utilise un protocole de transfert conçu par AWS et découplé du protocole de stockage pour accélérer le déplacement des données. Ce protocole optimise la manière dont les données sont envoyées sur le réseau, le moment de l'envoi et la nature des données envoyées. Les optimisations de réseau effectuées par DataSync comprennent les transferts incrémentiels, la compression en ligne et la détection de fichiers épars, ainsi que la validation et le chiffrement de données en ligne.

Les connexions entre l'agent local DataSync et les composants du service en cloud sont multithread, ce qui maximise les performances au niveau de votre réseau étendu (WAN). Une tâche DataSync unique est capable d'utiliser entièrement 10 Go/s sur une liaison réseau entre environnement sur site et AWS.

Toutes vos données sont cryptées en transit entre l'agent DataSync et le service DataSync à l'aide du protocole TLS (Transport Layer Security). DataSync permet d'utiliser le chiffrement au repos par défaut pour les compartiments Amazon S3. Il prend également en charge le chiffrement des données au repos et en transit pour Amazon EFS et Amazon FSx.

DataSync permet à vos données d'arriver intactes. Lors de chaque transfert, le service effectue des vérifications d'intégrité des données tant en transit qu'au repos. Ces contrôles permettent d'assurer la cohérence et de garantir que les données écrites dans votre destination correspondent aux données lues dans la source.

AWS DataSync vous permet de déplacer des données entre AWS, des systèmes de fichiers locaux et d'autres services de stockage dans le cloud. AWS a continué d'étendre ses services cloud pour aider les clients à rationaliser, gérer et gouverner leur infrastructure et leurs applications hybrides et multicloud. Pour les clients qui opèrent dans des environnements multicloud, AWS DataSync peut désormais déplacer des données depuis et vers le stockage sur différents clouds. Outre la prise en charge de Google Cloud Storage, Azure Files et Azure Blob Storage, DataSync vous permet de déplacer vos données d'objets à grande échelle entre un stockage compatible S3 sur d'autres clouds et des services de stockage AWS tels qu'Amazon S3. Cela inclut la prise en charge du stockage d’objets sur Wasabi Cloud, Oracle Cloud, Cloudflare, DigitalOcean Spaces et Backblaze, entre autres.

En savoir plus :

• Simplifiez le transfert de données multicloud partout où les données sont stockées avec AWS DataSync
• Migration de Google Cloud Storage vers Amazon S3 à l'aide d'AWS DataSync
• Configuration des transferts AWS DataSync avec Google Cloud Storage
• Configuration des transferts AWS DataSync avec Microsoft Azure Blob Storage
• Migration du stockage Azure Blob vers Amazon S3 à l'aide d'AWS DataSync
• Comment déplacer des données depuis des partages Azure Files SMB vers AWS à l'aide d'AWS
• Migration des espaces DigitalOcean vers Amazon S3 à l’aide d’AWS DataSync
• Comment London Stock Exchange Group a effectué la migration de 30 Po de données de marché à l’aide d’AWS DataSync
• Migration du stockage d’objets d’Oracle Cloud Infrastructure vers Amazon S3 à l’aide d’AWS DataSync

Le transfert de données à chaud ou à froid ne doit pas compromettre votre activité. DataSync est équipé de contrôles détaillés permettant d'optimiser les consommations de bande passante. Accélère le transfert à des vitesses allant jusqu'à 10 Go pendant les heures d'inactivité et définit des limites lorsque la disponibilité réseau est requise ailleurs.

L'agent DataSync se connecte à vos systèmes de stockage existants à l'aide des protocoles NFS et SMB standard, à votre cluster Hadoop sous la forme d'un client HDFS ou à votre stockage d'objets autogéré ou Google Cloud Storage en utilisant l'interface de programmation d'application (API) Amazon S3 ou à Azure Blob Storage à l'aide de l'API Blob. L'agent transfère rapidement les données et les écrit dans le compartiment Amazon S3, le système de fichiers Amazon EFS, le système de fichiers Amazon FSx for Windows File Server ou le système de fichiers Amazon FSx que vous avez désigné.

Les autorisations de fichiers et les métadonnées sont préservées lors de la copie des objets ou des données entre Simple Storage Service (Amazon S3), Amazon EFS, Amazon FSx for Windows File Server, Amazon FSx pour Lustre, Amazon FSx pour OpenZFS, or Amazon FSx pour NetApp ONTAP.

Lors de la copie des données vers Simple Storage Service (Amazon S3), DataSync convertit automatiquement chaque fichier en objet S3 unique dans une relation individuelle et préserve les métadonnées POSIX des partages NFS ou de HDFS sous forme de métadonnées d'objets Simple Storage Service (Amazon S3). Lors du renvoi d'objets contenant des métadonnées du système de fichiers vers les formats de fichier, les métadonnées des fichiers originaux copiées par DataSync dans S3 sont restaurées.

DataSync dispose d'un mécanisme de planification intégré qui vous permet d'exécuter régulièrement des tâches de transfert de données pour détecter et copier les modifications de votre système de stockage source vers la destination. Vous pouvez planifier vos tâches à l'aide de la console AWS DataSync ou de l'AWS Command Line Interface (CLI) sans avoir à écrire de scripts pour gérer les transferts répétitifs. La planification des tâches exécute automatiquement les tâches selon le temps que vous configurez en utilisant les options horaires, quotidiennes ou hebdomadaires fournies directement dans la console AWS.

Les rapports de tâches DataSync fournissent des fichiers de sortie au format JSON qui incluent un résumé et des rapports détaillés pour tous les fichiers transférés, ignorés, vérifiés et supprimés, ce qui vous permet de vérifier et d’auditer facilement les opérations de transfert de données pour chaque exécution de tâche. Les rapports de tâches sont générés une fois vos tâches de transfert terminées et ils sont stockés dans votre compartiment Amazon S3. Cela vous permet d'utiliser facilement les services AWS tels qu'AWS Glue, Amazon Athena et Amazon QuickSight pour cataloguer, analyser et visualiser automatiquement les résultats des rapports de tâches afin de vérifier la progression de vos transferts de données lors de toutes les exécutions de tâches. Les rapports de tâches simplifient le suivi et l'audit, vous permettant de comprendre facilement les tendances courantes d'exécution des tâches ou les modèles d'échec, et d'obtenir des informations essentielles sur vos processus de transfert de données.

Grâce à Amazon CloudWatch, surveillez le statut de tous vos transferts DataSync en cours et consultez l'historique des transferts précédents. Les métriques CloudWatch vous permettent de connaître le nombre de fichiers et le volume de données copiés. Vous pouvez également consulter les CloudWatch Logs pour obtenir des informations sur les fichiers individuels transférés à un moment donné, ainsi que les résultats de la vérification de l'intégrité réalisée par DataSync. Ce procédé simplifie la surveillance, le signalement et la résolution des problèmes. Il vous permet également de fournir des mises à jour en temps opportun aux parties prenantes. Par ailleurs, les CloudWatch Events peuvent être déclenchés dès que le transfert de vos tâches est terminé, ce qui permet d'automatiser les flux dépendants. Vous pouvez, à des fins d'audit, consulter AWS CloudTrail où sont consignées toutes les actions de DataSync.

AWS DataSync Discovery vous aide à simplifier votre plan de migration et à accélérer la migration de données vers AWS en vous donnant de la visibilité sur les performances et l’utilisation de vos stockages sur site, et en vous proposant des recommandations pour la migration de vos données vers les services AWS Storage comme Amazon FSx pour NetApp ONTAP, Amazon FSx for Windows File Server et Amazon Elastic File System (EFS). DataSync Discovery vous offre une meilleure compréhension des performances et de l’exploitation de la capacité de vos stockages sur site grâce aux collectes et analyses de données automatisées, qui vous permettent d’identifier rapidement les données devant migrer et d’utiliser les recommandations générées pour choisir les services AWS Storage qui harmonisent vos besoins en termes de performances et de capacité.

Avec AWS DataSync, vous ne payez que pour votre utilisation du service. Aucune licence logicielle, aucun contrat ou aucun frais de maintenance n’est requis. Cela permet d'obtenir un coût total de possession (TCO) inférieur à celui de la création, de l'exploitation et de l'optimisation manuelle de vos propres transferts scriptés à haute performance, ainsi qu'un coût total inférieur à celui de l'achat ou de l'exécution d'outils de transfert commerciaux.

Grâce à AWS DataSync Discovery, vous pouvez exécuter des tâches de découverte pendant jusqu’à 31 jours et recevoir des recommandations gratuitement. DataSync Discovery conserve les données collectées et les recommandions correspondantes pendant 60 jours après la fin de la tâche.

DataSync fonctionne en natif avec les services de sécurité, de surveillance et d'audit d'AWS pour simplifier le mouvement des données et offrir une expérience de gestion cohérente à vos équipes informatiques, de stockage et DevOps. Outre les intégrations avec Simple Storage Service (Amazon S3), Amazon EFS et Amazon FSx for Windows File Server, DataSync prend en charge les points de terminaison de cloud privé virtuel (VPC) (à technologie AWS PrivateLink) afin de déplacer les fichiers directement vers votre VPC Amazon. Comme pour les autres services AWS, vous pouvez utiliser AWS Identity and Access Management (IAM) pour gérer de façon sécurisée l'accès à DataSync. Pareillement, vous pouvez configurer un rôle IAM pour contrôler les services ayant accès à votre compartiment Amazon S3.