AWS DataSync 功能

針對線上資料傳輸，AWS DataSync 可簡化、自動化並加速在內部部署儲存、邊緣節點或其他雲端供應商和 AWS 儲存服務之間複製大量資料。DataSync 可在網路檔案系統 (NFS) 共享、伺服器訊息區塊 (SMB) 共享、Hadoop 分散式檔案系統 (HDFS)、自我管理物件儲存、其他雲端 (例如 Google Cloud Storage 和 Wasabi Cloud Storage，參見支援雲端的完整清單) 中的物件儲存、Azure Files、Azure Blob Storage (包括 Azure Data Lake Storage Gen2)、Snow 上的 Amazon S3 相容儲存、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic File System (Amazon EFS) 檔案系統、Amazon FSx for Windows File Server 檔案系統、Amazon FSx for Lustre 檔案系統、Amazon FSx for OpenZFS 檔案系統和 Amazon FSx for NetApp ONTAP 檔案系統中來回複製資料。

AWS DataSync 採用 AWS 設計的傳輸協定，由於從儲存協定分離，因此能加快資料移動的速度。此協定會針對透過網路傳送資料的方式、時間點和種類進行優化。DataSync 執行的網路優化功能包括增量傳輸、內嵌壓縮及疏鬆檔案偵測，還有內嵌資料驗證與加密。

本機 DataSync 代理程式與雲端服務元件間的連線是多執行緒作業，藉此最大化廣域網路 (WAN) 的傳輸效能。單個 DataSync 任務能夠透過內部部署環境和 AWS 之間的網路連結完全使用 10 Gbps。

您的所有資料在 DataSync 代理程式與 DataSync 服務之間傳輸時，都會使用 Transport Layer Security (TLS) 進行加密。DataSync 支援針對 Amazon S3 儲存貯體使用預設靜態加密。DataSync 還支援對 Amazon EFS 和 Amazon FSx 的靜態資料和傳輸中資料進行加密。

DataSync 確保資料到達時完整無缺。這項服務會針對每項傳輸作業執行完整性檢查 (包括傳輸中與靜態資料)。這些檢查可確保寫入目的地的資料與從來源讀取的資料是一致的。

AWS DataSync 可協助您在 AWS、內部部署檔案系統和其他雲端儲存服務之間移動資料。AWS 持續擴充其雲端服務，協助客戶簡化、管理和治理其混合雲端與多雲端基礎設施和應用程式。對於在多雲端環境中操作的客戶，AWS DataSync 現在可以在各種雲端上的儲存裝置之間移動資料。除了支援 Google Cloud Storage、Azure Files 和 Azure Blob Storage 之外，使用 DataSync，您還可以在其他雲端上的 S3 相容儲存和 AWS 儲存服務 (例如 Amazon S3) 之間大規模移動物件資料。這包括支援 Wasabi Cloud、Oracle Cloud、Cloudflare、DigitalOcean Spaces 和 Backblaze 等服務上的物件儲存。

進一步了解：

• 透過 AWS DataSync，不論資料儲存在何處，都能簡化多雲端資料移動
• 使用 AWS DataSync 將 Google Cloud Storage 移轉至 Amazon S3
• 使用 Google Cloud Storage 設定 AWS DataSync 傳輸
• 使用 Microsoft Azure Blob Storage 設定 AWS DataSync 傳輸
• 使用 AWS DataSync 將 Azure Blob Storage 移轉至 Amazon S3
• 如何使用 AWS 將資料從 Azure Files SMB 共用移動至 AWS
• 使用 AWS DataSync 將 DigitalOcean Spaces 移轉至 Amazon S3
• London Stock Exchange Group 如何使用 AWS DataSync 移轉 30 PB 的市場資料
• 使用 AWS DataSync 將 Oracle 雲端基礎設施物件儲存移轉至 Amazon S3

傳輸熱資料或冷資料不應妨礙您的業務。DataSync 配備精密控制以優化頻寬消耗。在非工作時間調節傳輸速度高達 10 Gbps，並在其他地方需要網路可用性時設定限制。

DataSync 代理程式使用產業標準 NFS 和 SMB 協定連線到您現有的儲存系統，並作為 HDFS 用戶端連線到 Hadoop 叢集，使用 Amazon S3 應用程式介面 (API) 連線至您的自我管理物件儲存或 Google Cloud Storage，或者使用 Blob API 連線至 Azure Blob Storage。代理程式可將資料快速地傳輸並寫入到您指定的 Amazon S3 儲存貯體、Amazon EFS 檔案系統、Amazon FSx for Windows File Server 檔案系統或 Amazon FSx 檔案系統。

在 Simple Storage Service (Amazon S3)、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS 或 Amazon FSx for NetApp ONTAP 之間複製物件及/或資料時，會保留檔案許可和中繼資料。

DataSync 在將資料複製到 Simple Storage Service (Amazon S3) 時，會自動將每個檔案轉換成具有一對一關係的單一 S3 物件，並將來自 NFS 共享或 HDFS 的 POSIX 中繼資料保存為 Amazon S3 物件中繼資料。當您將包含檔案系統中繼資料的物件複製回檔案格式時，就會還原 DataSync 複製到 S3 的原始檔案中繼資料。

DataSync 內建排程機制，可讓您定期執行資料傳輸任務，以偵測並將來源儲存系統的變更複製到目的地。您可以使用 AWS DataSync Console 或 AWS Command Line Interface (CLI) 排定您的任務，而無需編寫指令碼來管理重複的傳輸。任務排程會以 AWS 主控台中直接提供的每小時、每日或每週選項，自動按您設定的排程執行任務。

DataSync 任務報告提供 JSON 格式的輸出檔案，其中包括所有已傳輸、略過、驗證和刪除檔案的摘要和詳細報告，讓您能夠輕鬆地驗證和稽核每項任務執行的資料傳輸操作。任務報告會在傳輸任務完成後產生，並存放在 Amazon S3 儲存貯體中。這可讓您輕鬆地使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 等 AWS 服務，自動編目、分析和視覺化任務報告，以檢查所有任務執行中的資料傳輸進度。任務報告簡化了追蹤與稽核，讓您能夠輕鬆了解常見的任務執行趨勢或故障模式，並獲得對資料傳輸程序的關鍵洞察。

有了 Amazon CloudWatch，您可以監控目前進行中的任一 DataSync 傳輸狀態，並檢查先前的資料傳輸歷史記錄。透過 CloudWatch 指標，您可以查看已複製的檔案數目和資料量。您可以查閱 CloudWatch Logs，了解在給定時間傳輸的單個檔案，以及 DataSync 的完整性驗證結果。這可簡化監控、報告和疑難排解，讓您能夠及時向利益相關者提供更新。此外，在您的傳輸任務完成時觸發的 CloudWatch Events 也能自動化相依的工作流程。針對稽核用途，您可以查閱記錄 DataSync 執行的所有動作的 AWS CloudTrail。

AWS DataSync Discovery 可讓您深入了解內部部署儲存效能和使用率，並提供將資料移轉至 AWS 儲存服務的建議，以協助您簡化移轉規劃並加速向 AWS 的資料移轉，如 Amazon FSx for NetApp ONTAP、Amazon FSx for Windows File Server 和 Amazon Elastic File System (EFS)。 AWS DataSync Discovery 讓您透過自動化資料收集和分析，更好地了解您的內部部署儲存效能和容量用量，進而能夠快速識別要遷移的資料，並使用產生的建議來選擇符合您的效能和容量需求的 AWS 儲存服務。

使用 AWS DataSync，您僅需為服務的用量付費。不需要支付軟體授權、合約或維護費用。這比自行嘗試手動建立、操作和優化高效能的指令碼傳輸作業的總體擁有成本 (TCO) 更低，並且比購買和執行商業傳輸工具的總成本更低。

使用 AWS DataSync Discovery，您可以執行長達 31 天的探索任務並免費獲得建議。在任務完成後，DataSync Discovery 將收集的資料和相關建議將保留 60 天。

DataSync 可完美搭配 AWS 安全、監控和稽核服務，簡化資料移動，也能為您的 IT、儲存和 DevOps 團隊提供一致的管理體驗。除了與 Amazon S3、Amazon EFS 和 Amazon FSx 整合，DataSync 還支援 AWS Virtual Private Cloud (VPC) 端點 (採用 AWS PrivateLink 技術)，以便將檔案直接移至 Amazon VPC。與其他 AWS 服務一樣，您可使用 AWS Identity and Access Management (IAM) 安全地管理 DataSync 的存取。同樣，您可以設定 IAM 角色來控制存取您 Amazon S3 儲存貯體的服務。