AWS-DataSync-Features

Für Online-Datenübertragungen, vereinfacht, automatisiert und beschleunigt AWS DataSync das Kopieren großer Datenmengen zwischen On-Premises-Speicher, Edge-Standorten oder anderen Cloud-Anbietern und AWS-Speicherservices. DataSync kann Daten von und zu NFS-Freigaben (Network File System), SMB-Freigaben (Server Message Block), Hadoop Distributed File Systems (HDFS), selbstverwalteten Objektspeichern, Objektspeichern in anderen Clouds wie Google Cloud Storage und Wasabi Cloud Storage (siehe vollständige Liste der unterstützten Clouds), Azure Files, Azure Blob Storage (einschließlich Azure Data Lake Storage Gen2), Amazon S3-kompatibler Speicher auf Snowball Edge, Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS) Dateisysteme, Amazon FSx für Windows File Server-Dateisysteme, Amazon FSx für Lustre-Dateisysteme, Amazon FSx für OpenZFS-Dateisysteme und Amazon FSx für NetApp ONTAP-Dateisysteme.

AWS DataSync verwendet ein von AWS entwickeltes Übertragungsprotokoll, das vom Speicherprotokoll entkoppelt ist, um die Datenübertragung zu beschleunigen. Das Protokoll optimiert die Art und Weise, wie, wann und welche Daten über das Netzwerk gesendet werden. Die Netzwerkwerkoptimierung durch DataSync umfasst neben inkrementeller Übertragung, Inline-Komprimierung und Erkennung von Dateien mit geringer Dichte auch Inline-Validierung und Verschlüsselung von Daten.

Verbindungen zwischen dem lokalen DataSync-Agenten und den Cloud-internen Service-Komponenten werden parallel genutzt (multi-thread), um die Leistung über das Wide Area Network (WAN) zu maximieren. Eine einzelne DataSync-Aufgabe ist in der Lage, 10 Gbit/s über eine Netzwerkverbindung zwischen Ihrer On-Premises-Umgebung und AWS vollständig zu nutzen.

Alle Ihre Daten werden bei der Übertragung zwischen dem DataSync Kundendienstmitarbeiter und dem DataSync-Dienst mit Transport Layer Security (TLS) verschlüsselt. DataSync unterstützt die Verwendung der Standardverschlüsselung im Ruhezustand für Amazon-S3-Buckets. DataSync unterstützt auch die Verschlüsselung von Daten im Ruhezustand und übetragenen Darten für Amazon EFS und Amazon FSx.

DataSync stellt sicher, dass Ihre Daten intakt ankommen. Der Service führt im Rahmen jeder Übertragung und im Speicher Integritätsprüfungen durch. Diese Prüfungen stellen sicher, dass die in Ihr Ziel geschriebenen Daten mit den von Ihrer Quelle gelesenen Daten übereinstimmen und somit die Kontinuität gewährleistet ist.

Mit AWS DataSync Daten zwischen AWS, On-Premises-Dateisystemen und anderen Services für die Speicherung in der Cloud verschieben. AWS hat seine Cloud-Services weiter ausgebaut, um Kunden bei der Optimierung, Verwaltung und Steuerung ihrer Hybrid- und Multicloud-Infrastruktur und -Anwendungen zu unterstützen. Für Kunden, die in Multicloud-Umgebungen arbeiten, kann AWS DataSync jetzt Daten zum und vom Speicher in verschiedenen Clouds verschieben. Zusätzlich zur Unterstützung von Google-Cloud-Speicher, Azure Dateien und Azure-Blob-Speicher können Sie mit DataSync Ihre Objektdaten in großem Maßstab zwischen S3-kompatiblen Speichern in anderen Clouds und AWS-Speicher-Services wie Amazon S3 verschieben. Dies umfasst unter anderem die Unterstützung für die Objektspeicherung in Wasabi Cloud, Oracle Cloud, Cloudflare, DigitalOcean Umgebungen und Backblaze.

Weitere Informationen:

• Multicloud-Datenverschiebung vereinfachen, unabhängig davon, wo die Daten gespeichert sind, mit AWS DataSync
• Migrieren von Google-Cloud-Speicher zu Amazon S3 mithilfe von AWS DataSync
• Konfiguration von AWS-DataSync-Übertragungen mit Google-Cloud-Speicher
• Konfiguration von AWS-DataSync-Übertragungen mit Microsoft-Azure-Blob-Speicher
• Migrieren von Azure-Blob-Speicher zu Amazon S3 mithilfe von AWS DataSync
• So verschieben Sie Daten von Azure-Dateien-SMB-Freigaben nach AWS mithilfe von AWS
• Migrieren von DigitalOcean Spaces zu Amazon S3 mithilfe von AWS DataSync
• Wie die London Stock Exchange Group 30 PB an Marktdaten mithilfe von AWS DataSync migrierte
• Migration von Oracle Cloud Infrastructure Object Storage zu Amazon S3 mit AWS DataSync

Die Übertragung von heißen oder kalten Daten sollte Ihr Unternehmen nicht behindern. DataSync verfügt über genaue Kontrollen zur Optimierung des Bandbreitenverbrauchs. Drosseln Sie die Übertragungsgeschwindigkeiten auf bis zu 10 Gbit/s außerhalb der Geschäftszeiten und setzen Sie Grenzen, wenn die Netzwerkverfügbarkeit anderweitig benötigt wird.

Der DataSync-Agent stellt über die branchenüblichen NFS- und SMB-Protokolle eine Verbindung zu Ihren vorhandenen Speichersystemen her, zu Ihrem Hadoop-Cluster als HDFS-Client, zu Ihrem selbst verwalteten Objektspeicher oder zu Google Cloud Storage über die Amazon-S3-Anwendungsprogrammierschnittstelle (API) oder zu Azure Blob Storage über die Blob-API. Der Agent überträgt Daten schnell und schreibt sie in den angegebenen Amazon-S3-Bucket, das Amazon-EFS-Dateisystem, das Amazon-FSx-für-Windows-File-Server-Dateisystem oder das Amazon-FSx-Dateisystem.

Dateiberechtigungen und Metadaten werden beim Kopieren von Objekten und/oder Daten zwischen Amazon S3, Amazon EFS, Amazon FSx für Windows File Server, Amazon FSx für Lustre, oder Amazon FSx für OpenZFS oder Amazon FSx für NetApp ONTAP aufbewahrt.

Beim Kopieren von Daten in Amazon S3 konvertiert DataSync automatisch jede Datei in ein einzelnes S3-Objekt in einer 1:1-Beziehung und bewahrt POSIX-Metadaten von NFS-Freigaben oder HDFS als Amazon-S3-Objekt-Metadaten auf. Wenn Sie Objekte mit Dateisystem-Metadaten wieder zurück in Dateiformate kopieren, werden die ursprünglichen Dateimetadaten (die DataSync in S3 kopiert hat) wiederhergestellt.

DataSync verfügt über einen integrierten Zeitplanungsmechanismus, mit dem Sie regelmäßig Datentransferaufgaben ausführen können, um Änderungen von Ihrem Quellspeichersystem zu erkennen und auf das Zielsystem zu kopieren. Sie können Ihre Aufgaben mit der AWS-DataSync-Konsole oder der AWS Command Line Interface (CLI) planen, ohne Skripte zur Verwaltung wiederholter Übertragungen zu schreiben. Die Aufgabenplanung führt automatisch Aufgaben nach dem von Ihnen konfigurierten Zeitplan aus, wobei die Optionen stündlich, täglich oder wöchentlich direkt in der AWS-Konsole zur Verfügung stehen.

DataSync-Aufgabenberichte stellen JSON-formatierte Ausgabedateien bereit, die eine Zusammenfassung und detaillierte Berichte für alle übertragenen, übersprungenen, überprüften und gelöschten Dateien enthalten, sodass Sie die Datenübertragungsvorgänge für jede Aufgabenausführung einfach überprüfen und kontrollieren können. Aufgabenberichte werden nach Abschluss Ihrer Übertragungsaufgaben generiert und in Ihrem Amazon-S3-Bucket gespeichert. Auf diese Weise können Sie AWS-Services wie AWS Glue, Amazon Athena und Amazon QuickSight problemlos nutzen. Damit können Sie die Ausgabe von Aufgabenberichten automatisch katalogisieren, analysieren und visualisieren, um den Fortschritt Ihrer Datenübertragungen über alle Aufgabenausführungen hinweg zu überprüfen. Aufgabenberichte vereinfachen die Nachverfolgung und Prüfung, so dass Sie allgemeine Trends bei der Aufgabenausführung oder Fehlermuster leicht nachvollziehen und wichtige Einblicke in Ihre Datenübertragungsprozesse gewinnen können.

Mit Amazon CloudWatch können Sie den Status aller laufenden DataSync-Übertragungen überwachen und den Verlauf früherer Datenübertragungen überprüfen. Mit CloudWatch Metrics können Sie die Anzahl der Dateien und die Menge der kopierten Daten sehen. In den CloudWatch-Protokollen finden Sie Informationen über einzelne Dateien, die zu einem bestimmten Zeitpunkt übertragen wurden, sowie die Ergebnisse der DataSync-Integritätsprüfung. Dies vereinfacht die Überwachung, Berichterstattung und Fehlerbehebung und ermöglicht es Ihnen, den Stakeholdern zeitnahe Updates zu liefern. Darüber hinaus werden CloudWatch-Ereignisse ausgelöst, wenn Ihre Übertragungsaufgaben abgeschlossen sind, was die Automatisierung abhängiger Workflows ermöglicht. Für Prüfungszwecke können Sie AWS CloudTrail aufrufen, das alle von DataSync ausgeführten Aktionen protokolliert.

AWS DataSync Discovery hilft Ihnen, die Migrationsplanung zu vereinfachen und die Datenmigration zu AWS zu beschleunigen, indem es Ihnen Einblick in die Leistung und Auslastung Ihres On-Premises-Speichers gibt und Empfehlungen für die Migration Ihrer Daten zu AWS Storage Services wie Amazon FSx für NetApp ONTAP, Amazon FSx für Windows File Server und Amazon Elastic File System (EFS) bereitstellt. DataSync Discovery ermöglicht es Ihnen, Ihre On-Premises-Speicherleistung und Kapazitätsnutzung durch automatisierte Datenerfassung und -analyse besser zu verstehen. So können Sie die zu migrierenden Daten schnell identifizieren und die generierten Empfehlungen nutzen, um AWS-Speicherservices auszuwählen, die Ihren Leistungs- und Kapazitätsanforderungen entsprechen.

Mit AWS DataSync zahlen Sie nur für Ihre Nutzung des Service. Es sind keine Softwarelizenzen, Verträge oder Wartungsgebühren erforderlich. Im Vergleich zum manuellen Entwickeln, Betreiben und Optimieren eigener hochleistungsfähiger skriptgesteuerter Übertragungen sind die Gesamtbetriebskosten (TCO) geringer, und auch die Gesamtkosten sind niedriger als beim Kauf und Betrieb kommerzieller Übertragungstools.

Mit AWS DataSync Discovery können Sie Discovery-Aufträge bis zu 31 Tage lang ausführen und erhalten kostenlose Empfehlungen. DataSync Discovery speichert die gesammelten Daten und die damit verbundenen Empfehlungen für 60 Tage nach Abschluss des Auftrags.

DataSync arbeitet systemeigen mit AWS-Sicherheits-, Überwachungs- und Prüfungsservices, um die Datenbewegung zu vereinfachen und Ihren IT-, Speicher- und DevOps-Teams ein konsistentes Verwaltungserlebnis zu bieten. Zusätzlich zu den Integrationen mit Amazon S3, Amazon EFS und Amazon FSx unterstützt DataSync AWS Virtual Private Cloud (VPC)-Endpunkte (powered by AWS PrivateLink), um Dateien direkt in Ihre Amazon VPC zu verschieben. Wie andere AWS Services können Sie AWS Identity and Access Management (IAM) verwenden, um den Zugriff auf DataSync sicher zu verwalten. In ähnlicher Weise können Sie eine IAM-Rolle konfigurieren, um die Services, die auf Ihren Amazon-S3-Bucket zugreifen, zu kontrollieren.