Características de AWS DataSync

Para las transferencias de datos en línea, AWS DataSync simplifica, automatiza y agiliza la copia de grandes cantidades de datos entre el almacenamiento local, ubicaciones periféricas, otros proveedores de servicios en la nube y el almacenamiento de AWS. DataSync puede copiar datos a y desde recursos compartidos del Sistema de archivos de red (NFS), recursos compartidos del Bloque de mensajes de servidor (SMB), Sistemas de archivos distribuidos de Hadoop (HDFS), almacenamiento de objetos autoadministrado, almacenamiento de objetos en otras nubes como Google Cloud Storage y Wasabi Cloud Storage (consulte la lista completa de nubes compatibles), Azure Files, Azure Blob Storage (incluido Azure Data Lake Storage Gen2), almacenamiento compatible con Amazon S3 en Snowball Edge, Amazon Simple Storage Service (Amazon S3), sistemas de archivos Amazon Elastic File System (Amazon EFS), sistemas de archivos Amazon FSx para Windows File Server, sistemas de archivos Amazon FSx para Lustre, sistemas de archivos Amazon FSx para OpenZFS y sistemas de archivos Amazon FSx para NetApp ONTAP.

AWS DataSync emplea un protocolo de transferencia diseñado por AWS, desacoplado del protocolo de almacenamiento, para acelerar el movimiento de datos. El protocolo lleva a cabo optimizaciones sobre cómo, dónde y qué datos se envían en la red. Las optimizaciones de red realizadas por DataSync incluyen transferencias incrementales, compresión en línea y detección de archivos dispersos, como así también la validación y el cifrado de datos en línea.

Las conexiones entre el agente local de DataSync y los componentes de servicio en la nube están en archivos de multiprocesos que potencian el rendimiento sobre una red de área amplia (WAN). Una sola tarea de DataSync es capaz de utilizar completamente 10 Gbps a través de un enlace de red entre su entorno en las instalaciones y AWS.

Todos sus datos se cifran en tránsito entre el agente y el servicio de DataSync mediante la seguridad de la capa de transporte (TLS). DataSync admite usar el cifrado en reposo predeterminado para los buckets de Amazon S3. DataSync también admite el cifrado de datos en reposo y en tránsito para Amazon EFS y Amazon FSx.

DataSync garantiza la llegada intacta de sus datos. Por cada transferencia, el servicio realiza revisiones en tránsito y en reposo. Estas revisiones aseguran que los datos escritos en su destino concuerden con los datos leídos de su fuente, lo que valida la coherencia.

AWS DataSync lo ayuda a mover datos entre AWS, sistemas de archivos locales y otros servicios de almacenamiento en la nube. AWS siguió ampliando sus servicios en la nube para ayudar a los clientes a optimizar, administrar y gobernar su infraestructura y aplicaciones híbridas y multinube. Para los clientes que operan en entornos multinube, AWS DataSync ahora puede mover datos hacia y desde el almacenamiento en varias nubes. Además de la compatibilidad con Google Cloud Storage, Azure Files y Azure Blob Storage, con DataSync puede mover los datos de sus objetos a escala entre el almacenamiento compatible con S3 en otras nubes y los servicios de almacenamiento de AWS, como Amazon S3. Esto incluye soporte para el almacenamiento de objetos en Wasabi Cloud, Oracle Cloud, Cloudflare, DigitalOcean Spaces y Backblaze, entre otros.

Más información:

• Simplifique el movimiento de datos multinube dondequiera que se almacenen los datos con AWS DataSync
• Migración de Google Cloud Storage a Amazon S3 con AWS DataSync
• Configurar las transferencias de AWS DataSync con Google Cloud Storage
• Configuración de las transferencias de AWS DataSync con Microsoft Azure Blob Storage
• Migración de Azure Blob Storage a Amazon S3 mediante AWS DataSync
• Cómo transferir datos de recursos compartidos para pequeñas y medianas empresas de Azure Files a AWS mediante AWS
• Migración de DigitalOcean Spaces a Amazon S3 con AWS DataSync
• Cómo London Stock Exchange Group migró 30 PB de datos de mercado con AWS DataSync
• Migración del Oracle Cloud Infrastructure Object Storage a Amazon S3 mediante AWS DataSync

La transferencia de datos fríos o calientes no debería obstaculizar su negocio. DataSync está equipado con controles pormenorizados para optimizar el consumo de ancho de banda. Acelere las velocidades de transferencia de hasta 10 Gbps durante las horas de inactividad y establezca límites cuando se necesite disponibilidad de red en otro lugar.

El agente de DataSync se conecta a sus sistemas de almacenamiento existentes mediante los protocolos NFS y SMB estándar del sector, a su clúster de Hadoop como cliente HDFS, a su almacenamiento de objetos autoadministrado o Google Cloud Storage mediante la interfaz de programación de aplicaciones (API) de Amazon S3; o a Azure Blob Storage mediante la API de Blob. El agente transfiere los datos rápidamente y los escribe en el bucket designado de Amazon S3 y el sistema de archivos de Amazon EFS, Amazon FSx para Windows File Server o Amazon FSx.

Los permisos y metadatos de los archivos se conservan al copiar objetos o datos entre Amazon S3, Amazon EFS, Amazon FSx para Windows File Server, Amazon FSx para Lustre, Amazon FSx para OpenZFS o Amazon FSx para NetApp ONTAP.

Al copiar datos en Amazon S3, DataSync convierte automáticamente cada archivo en un único objeto de S3 en una relación 1:1, y conserva los metadatos POSIX de los recursos compartidos de NFS o HDFS como metadatos de objetos de Amazon S3. Cuando copia objetos que contienen metadatos del sistema de archivos a formatos de archivo, se restauran los metadatos del archivo original (que DataSync copió en S3).

DataSync incorpora un mecanismo de programación, lo que le permite ejecutar periódicamente tareas de transferencia de datos para detectar y copiar cambios desde su sistema de almacenamiento fuente al destino. Puede programar las tareas mediante la consola de AWS DataSync o AWS Command Line Interface (CLI) sin escribir scripts para administrar transferencias repetidas. La programación de tareas ejecuta automáticamente las tareas en su programación configurada con opciones por hora, por día o semanal proporcionadas directamente en la consola de AWS.

Los informes de tareas de DataSync proporcionan archivos de salida con formato JSON que incluyen un resumen e informes detallados de todos los archivos transferidos, omitidos, verificados y eliminados, lo que le permite verificar y auditar con facilidad las operaciones de transferencia de datos para cada ejecución de tareas. Los informes de tareas se generan una vez finalizadas las tareas de transferencia y se almacenan en su bucket de Amazon S3. Esto le permite utilizar fácilmente los servicios de AWS, como AWS Glue, Amazon Athena y Amazon QuickSight, para catalogar, analizar y visualizar automáticamente los resultados de los informes de tareas para comprobar el progreso de las transferencias de datos en todas las ejecuciones de tareas. Los informes de tareas simplifican el seguimiento y la auditoría, lo que le permite comprender fácilmente las tendencias comunes de ejecución de tareas o los patrones de error, así como obtener información fundamental sobre sus procesos de transferencia de datos.

Con Amazon CloudWatch, puede supervisar el estado de cualquier transferencia de DataSync actualmente en curso y verificar el historial de transferencia de datos anterior. Con las métricas de CloudWatch, puede ver la cantidad de archivos y la cantidad de datos copiados. Consulte CloudWatch Logs para obtener información sobre archivos individuales transferidos en un momento determinado, así como los resultados de la verificación de la integridad de DataSync. De este modo, se simplifican el monitoreo, la generación de informes y la resolución de problemas, lo que le permite brindar actualizaciones oportunas a las partes interesadas. Además, se desencadenan CloudWatch Events a medida que se completan las tareas de transferencia, lo que permite la automatización de los flujos de trabajo dependientes. Para fines de auditoría, puede consultar AWS CloudTrail que registra todas las acciones que DataSync lleva a cabo.

AWS DataSync Discovery le permite simplificar la planificación de la migración y agilizar la migración de datos a AWS, pues permite ver el uso y rendimiento del almacenamiento local, además de proporcionar recomendaciones para migrar datos a los servicios de almacenamiento de AWS, como Amazon FSx para NetApp ONTAP, Amazon FSx para Windows File Server y Amazon Elastic File System (EFS). DataSync Discovery le permite comprender mejor el uso de la capacidad y el rendimiento del almacenamiento local a través de la recopilación y el análisis automatizados de datos, lo que le permite identificar rápidamente datos que debe migrar y recomendaciones generadas por el uso para seleccionar servicios de almacenamiento de AWS que se ajusten a sus necesidades de rendimiento y de capacidad.

Con AWS DataSync, solo paga por el uso del servicio. No se requieren licencias de software, contratos ni tarifas de mantenimiento. Esto proporciona un costo total de propiedad (TCO) más bajo en comparación con la creación, operación y optimización manual de sus propias transferencias con scripts de alto rendimiento, así como un costo total más bajo que la compra y ejecución de herramientas de transferencia comerciales.

Cuando usa AWS DataSync Discovery, puede ejecutar trabajos de detección durante un máximo de 31 días y recibir recomendaciones gratis. DataSync Discovery guarda datos recopilados y recomendaciones asociadas durante 60 días a partir de que se completa el trabajo.

DataSync funciona de forma nativa con los servicios de seguridad, supervisión y auditoría de AWS para simplificar el movimiento de datos y ofrecer una experiencia de administración coherente a sus departamentos de TI, almacenamiento y DevOps. Además de las integraciones con Amazon S3, Amazon EFS y Amazon FSx, DataSync admite puntos de conexión de la nube virtual privada (VPC) de AWS (con tecnología de AWS PrivateLink) para mover archivos directamente a su Amazon VPC. Al igual que otros servicios de AWS, puede usar AWS Identity and Access Management (IAM) para administrar de forma segura el acceso a DataSync. Del mismo modo, puede configurar un rol de IAM para controlar los servicios que acceden a su bucket de Amazon S3.