Amazon EMR の Apache Hadoop

Amazon EMR は、クラスターのノード間で、Hadoop MapReduce、YARN、HDFS、Apache Tez などの Hadoop プロジェクト内のアプリケーションをプログラムによってインストールおよび設定します。

Hadoop MapReduce と Tez は Hadoop エコシステム内の実行エンジンで、ジョブを小さな部分に細分化するフレームワークを使用してワークロードを処理します。細分化されたジョブは、Amazon EMR クラスター内の複数のノードに分散できます。Hadoop MapReduce と Tez は、クラスター内のどのマシンにも障害が発生する可能性があることを考慮に入れて構築されており、耐障害性のある設計になっています。タスクを実行しているサーバーに障害が発生した場合は、Hadoop により、そのタスクが完了するまで別のマシンで再実行されます。

Java で MapReduce や Tez のプログラムを記述すること、Hadoop Streaming を使用してカスタムスクリプトを並列実行すること、MapReduce や Tez の高レベルな抽象化のために Hive や Pig を利用すること、Hadoop とのやり取りに他のツールを利用することができます。

Hadoop 2 以降、リソース管理は Yet Another Resource Negotiator (YARN) によって管理されます。YARN によって、全クラスターのリソースすべてが追跡され、処理のジョブタスクを実行するためそれらのリソースが動的に割り当てられます。YARN を使うと、Hadoop MapReduce や Tez のワークロード、および Apache Spark といった他の分散フレームワークを管理できます。

Amazon EMR クラスターで EMR ファイルシステム (EMRFS) を使用することで、Hadoop のデータレイヤーとして Amazon S3 を活用できます。Amazon S3 は高度にスケーラブル、低コストで、かつ耐久性を備えた設計になっているため、ビッグデータ処理向けのデータストアとして非常に優れています。Amazon S3 にデータを保存することで、コンピューティングレイヤーとストレージレイヤーを分離させることができるため、クラスターのストレージを最大にするためにクラスターにノードを追加することなく、ワークロードに必要な CPU とメモリに合わせて Amazon EMR クラスターのサイズを設定できます。さらに、Amazon EMR クラスターがアイドル状態の場合は、終了することでコストを節減できます。この場合もデータは Amazon S3 に残ります。

EMRFS は、Hadoop で Amazon S3 に並列で高パフォーマンスの読み書きが直接行えるよう最適化されており、Amazon S3 のサーバー側とクライアント側の暗号化により暗号化されたオブジェクトを処理できます。EMRFS では、Amazon S3 をデータレイクとして使用でき、Amazon EMR の Hadoop を伸縮自在なクエリレイヤーとして使用できます。

Hadoop には、クラスターのローカルディスクに大きなブロックでデータを保存する分散ストレージシステムである Hadoop Distributed File System (HDFS) が含まれています。HDFS ではレプリケーション係数を設定でき (デフォルトは 3x)、可用性と耐久性が強化されています。HDFS によってレプリケーションがモニタリングされ、ノードの障害および新しいノードの追加に応じて、ノード間のデータのバランスが調整されます。

HDFS は Hadoop とともに Amazon EMR クラスターに自動的にインストールされ、HDFS と Amazon S3 を併用して入出力データを保存できます。Amazon EMR のセキュリティ設定を使用すると、HDFS を簡単に暗号化できます。また、Amazon EMR では、入力データが Amazon S3 に存在する場合でも、Hadoop MapReduce ジョブ内で作成された中間データには HDFS とローカルディスクを使用するよう、Hadoop を設定できます。

新しい Hadoop クラスターを動的にすばやく初期化することや、既存の Amazon EMR クラスターにサーバーを追加することができ、ユーザーやデータサイエンティストがリソースを利用できるようになるまでの時間を大幅に短縮します。Hadoop を AWS プラットフォームで使用することにより、実験や開発のためのリソース割り当てにかかるコストと時間が減少し、組織としての俊敏性が向上します。

Hadoop の設定、ネットワーク、サーバーインストール、セキュリティ設定、継続的な管理メンテナンスは、複雑で困難なアクティビティになる可能性があります。マネージドサービスの Amazon EMR では Hadoop のインフラストラクチャ要件が処理されるため、ユーザーはコアビジネスに専念することができます。

Hadoop 環境を Amazon S3、Amazon Kinesis、Amazon Redshift、Amazon DynamoDB などの他のサービスと簡単に統合して、AWS プラットフォーム上のさまざまなサービス間でデータの移動、ワークフロー、分析を実現できます。さらに、AWS Glue データカタログを Apache Hive や Apache Spark のマネージドメタデータレポジトリとして使用できます。

Hadoop のジョブの多くは本質的にスパイクが発生しやすいものです。例えば、ETL ジョブは 1 時間ごと、1 日ごと、1 か月ごとに実行される場合がありますが、一方で金融会社や遺伝子配列のモデリングジョブは年に数回のみ発生するという場合があります。Amazon EMR で Hadoop を使用することで、これらのワークロードのクラスターを簡単に立ち上げ、結果を保存することができ、必要がなくなった Hadoop リソースをシャットダウンすれば、不要なインフラストラクチャのコストを削減できます。 EMR 6.x は、Hadoop 3 をサポートしており、これにより、YARN NodeManager は、EMR クラスターホスト上で直接、または Docker コンテナ内でコンテナを起動できます。詳細については、ドキュメントをご覧ください。

Amazon EMR での Hadoop を使用することで、どの AWS リージョンにおいても、必要な数のアベイラビリティーゾーンにクラスターを起動できる柔軟性が得られます。1 つのリージョンやゾーンに対する潜在的な問題や脅威は、別のゾーンにクラスターを起動することで数分のうちに簡単に回避できます。

Hadoop 環境をデプロイする前にキャパシティープランを立てた場合、しばしば高価なリソースのアイドル状態や、リソースの制限という結果が発生します。Amazon EMR では、必要なキャパシティーを持つクラスターを数分で作成でき、EMR マネージドスケーリングを使用してノードを動的にスケールアウトおよびスケールインできます。