Apache Hadoop di Amazon EMR

Amazon EMR secara terprogram menginstal dan mengonfigurasi aplikasi di proyek Hadoop, termasuk Hadoop MapReduce, YARN, HDFS, dan Apache Tez di seluruh simpul di klaster Anda.

Hadoop MapReduce dan Tez, mesin eksekusi dalam ekosistem Hadoop, memproses beban kerja menggunakan kerangka kerja yang membagi tugas menjadi bagian kerja yang lebih kecil yang dapat didistribusikan di seluruh node di klaster Amazon EMR Anda. Mesin eksekusi tersebut dibuat dengan ekspektasi bahwa mesin apa pun yang ditentukan dalam klaster Anda bisa saja gagal kapan pun dan dirancang untuk toleran terhadap kegagalan. Jika server yang menjalankan tugas gagal, Hadoop menjalankan kembali tugas tersebut pada mesin lain sampai selesai.

Anda dapat membuat program MapReduce dan Tez di Java, menggunakan Streaming Hadoop untuk menjalankan skrip kustom dengan cara paralel, menggunakan Hive dan Pig untuk abstraksi dengan tingkat lebih tinggi dari MapReduce dan Tez, atau peralatan lain untuk berinteraksi dengan Hadoop.

Mulai Hadoop 2, pengelolaan sumber daya dilakukan dengan Yet Another Resource Negotiator (YARN). YARN melacak semua sumber daya di seluruh klaster Anda, dan memastikan bahwa sumber daya ini secara dinamis dialokasikan untuk menyelesaikan tugas pada tugas pemrosesan Anda. YARN mampu mengelola beban kerja Hadoop MapReduce dan Tez serta kerangka kerja terdistribusi lain seperti Apache Spark.

Dengan menggunakan EMR File System (EMRFS) di klaster Amazon EMR Anda, Anda dapat meningkatkan Amazon S3 sebagai lapisan data untuk Hadoop. Amazon S3 sangat mudah diskalakan, rendah biaya, dan dirancang untuk ketahanan, yang membuatnya menjadi penyimpanan data yang sangat baik untuk pemrosesan big data. Dengan menyimpan data di Amazon S3, Anda dapat melakukan pelepasan lapisan komputasi dari lapisan penyimpanan Anda, memungkinkan Anda menentukan ukuran klaster Amazon EMR untuk jumlah CPU dan memori yang diperlukan untuk beban kerja Anda alih-alih memiliki node lebih banyak pada klaster untuk memaksimalkan penyimpanan klaster. Selain itu, Anda dapat menghentikan klaster Amazon EMR jika dalam keadaan diam untuk menghemat biaya, sementara data Anda tetap berada di Amazon S3.

EMRFS dioptimalkan untuk Hadoop untuk membaca dan menulis secara langsung dan paralel dengan Amazon S3, dan dapat memproses objek yang dienkripsi dengan enkripsi sisi server dan sisi klien Amazon S3. EMRFS memungkinkan Anda menggunakan Amazon S3 sebagai data lake, dan Hadoop di Amazon EMR dapat digunakan sebagai lapisan kueri elastis.

Hadoop juga mencakup sistem penyimpanan terdistribusi, Hadoop Distributed File System (HDFS), yang menyimpan data di seluruh disk lokal pada klaster Anda di blok besar. HDFS memiliki faktor replikasi yang dapat dikonfigurasi (dengan default 3x), memberikan ketersediaan dan ketahanan yang lebih baik. HDFS memantau replikasi dan keseimbangan data Anda di seluruh node pada saat terjadi kegagalan node dan node baru ditambahkan.

HDFS secara otomatis diinstal dengan Hadoop di klaster Amazon EMR, dan Anda dapat menggunakan HDFS bersama dengan Amazon S3 untuk menyimpan data input dan output Anda. Anda dapat dengan mudah mengenkripsi HDFS menggunakan konfigurasi keamanan Amazon EMR. Selain itu, Amazon EMR mengonfigurasi Hadoop untuk menggunakan HDFS dan disk lokal untuk data perantara yang dibuat selama tugas Hadoop MapReduce Anda, bahkan jika data input Anda terletak di Amazon S3.

Anda dapat memulai klaster Hadoop baru secara dinamis dan cepat, atau menambahkan server ke klaster Amazon EMR Anda yang sudah ada, yang secara signifikan mengurangi waktu yang diperlukan untuk membuat sumber daya tersedia untuk pengguna dan saintis data Anda. Menggunakan Hadoop di platform AWS dapat meningkatkan ketangkasan organisasi Anda secara drastis dengan mengurangi biaya dan waktu yang diperlukan untuk mengalokasikan sumber daya untuk eksperimentasi dan pengembangan.

Konfigurasi Hadoop, jaringan, instalasi server, konfigurasi keamanan, dan pemeliharaan administratif yang sedang berjalan dapat menjadi aktivitas yang rumit dan menantang. Sebagai layanan yang terkelola, Amazon EMR memenuhi persyaratan infrastruktur Hadoop, sehingga Anda dapat berfokus pada bisnis inti Anda.

Anda dapat dengan mudah mengintegrasikan lingkungan Hadoop Anda dengan layanan lain seperti Amazon S3, Amazon Kinesis, Amazon Redshift, dan Amazon DynamoDB untuk memungkinkan pergerakan data, alur kerja, dan analitik pada beragam layanan pada platform AWS. Selain itu, Anda dapat menggunakan Katalog Data AWS Glue sebagai repositori metadata terkelola untuk Apache Hive dan Apache Spark.

Banyak tugas Hadoop yang sifatnya berubah-ubah. Misalnya, tugas ETL dapat berjalan setiap jam, harian, atau bulanan, sementara tugas pemodelan untuk perusahaan keuangan atau pengurutan genetik bisa saja terjadi hanya beberapa kali dalam satu tahun. Menggunakan Hadoop di Amazon EMR memungkinkan Anda mengatur kluster beban kerja dengan mudah, menyimpan hasilnya, dan mematikan sumber daya Hadoop Anda saat tidak lagi diperlukan, untuk menghindari biaya infrastruktur yang tidak diperlukan. EMR 6.x mendukung Hadoop 3, yang memungkinkan YARN NodeManager meluncurkan kontainer secara langsung di host kluster EMR atau di dalam kontainer Docker. Baca dokumentasi kami untuk mempelajari selengkapnya.

Dengan menggunakan Hadoop di Amazon EMR, Anda memiliki fleksibilitas untuk meluncurkan klaster Anda dalam sejumlah Zona Ketersediaan di wilayah AWS mana pun. Masalah atau ancaman potensial pada satu wilayah atau zona dapat dihindari dengan mudah dengan meluncurkan klaster di zona lain dalam hitungan menit.

Perencanaan kapasitas sebelum men-deploy lingkungan Hadoop sering kali dapat mengakibatkan sumber daya dalam keadaan diam yang mahal atau keterbatasan sumber daya. Dengan Amazon EMR, Anda dapat membuat kluster dengan kapasitas yang dibutuhkan dalam hitungan menit dan menggunakan EMR Managed Scaling untuk meningkatkan dan menurunkan skala di node secara dinamis.