Apache Hadoop en Amazon EMR

Amazon EMR instala y configura mediante programación aplicaciones en el proyecto Hadoop, incluidas Hadoop MapReduce, YARN y HDFS, y Apache Tezen los nodos de su clúster.

Hadoop MapReduce y Tez, motores de ejecución del ecosistema Hadoop, procesan cargas de trabajo con marcos que dividen los trabajos en porciones más pequeñas que se pueden distribuir en nodos de su clúster de Amazon EMR. Como existe la posibilidad de que cualquier equipo del clúster falle, los motores se diseñaron para ofrecer tolerancia a errores. Si se produce un fallo en un servidor que está ejecutando una tarea, Hadoop la ejecuta en otro equipo hasta que se finalice.

Puede escribir programas de MapReduce y Tez en Java, usar Hadoop Streaming para ejecutar scripts personalizados de forma paralela, utilizar Hive y Pig para abstracciones de nivel superior en lugar de MapReduce y Tez, u otras herramientas que interactúen coh Hadoop.

En lo referente a Hadoop 2, Yet Another Resource Negotiator (YARN) se encarga de la administración de recursos. YARN supervisa todos los recursos de su clúster y se asegura de que se asignen de forma dinámica a fin de completar las tareas del trabajo de procesamiento. YARN puede administrar cargas de trabajo de Hadoop MapReduce y Tez, además de otros marcos distribuidos, como Apache Spark.

Al utilizar el sistema de archivos de EMR (EMRFS) en su clúster de Amazon EMR, puede aprovechar Amazon S3 como capa de datos para Hadoop. Amazon S3 es altamente escalable, de bajo costo y está diseñado para ofrecer durabilidad, lo que lo convierte en un almacén de datos ideal para el procesamiento de big data. Al almacenar sus datos en Amazon S3, puede separar la capa informática de la capa de almacenamiento, lo que le permite elegir el tamaño del clúster de Amazon EMR idóneo en función de la capacidad de CPU y memoria necesarias para sus cargas de trabajo en lugar de poseer nodos adicionales en su clúster para maximizar el almacenamiento en clúster. Además, puede eliminar el clúster de Amazon EMR cuando esté en reposo para ahorrar costos, mientras que los datos seguirán estando en Amazon S3.

EMRFS está optimizado para Hadoop a fin de realizar lecturas y escrituras en paralelo en Amazon S3 con alto rendimiento de manera directa. Además, puede procesar objetos cifrados con el cifrado del lado del cliente y del lado del servidor de Amazon S3. EMRFS le permite utilizar Amazon S3 como almacén de datos, mientras que Hadoop se puede usar en Amazon EMR como capa de consultas elástica.

Hadoop también incluye un sistema de almacenamiento distribuido, Hadoop Distributed File System (HDFS), que almacena datos en discos locales de su clúster en bloques de gran tamaño. HDFS tiene un factor de replicación configurable (con x3 por defecto), lo que aporta mayor disponibilidad y durabilidad. HDFS monitoriza la replicación y equilibra los datos entre los nodos si se producen fallos en los nodos y se agregan nodos nuevos.

HDFS se instala automáticamente con Hadoop en su clúster de Amazon EMR, y puede usar HDFS con Amazon S3 para almacenar sus datos de entrada y salida. Puede cifrar HDFS con facilidad con las configuraciones de seguridad de Amazon EMR. Además, Amazon EMR configura Hadoop para que use HDFS y el disco local para los datos intermedios creados durante los trabajos de Hadoop MapReduce, incluso si los datos de entrada se encuentran en Amazon S3.

Puede iniciar un nuevo clúster de Hadoop de forma dinámica y rápida, o añadir servidores a su clúster de Amazon EMR existente, con lo que se reduce significativamente el tiempo que se tarda en poner los recursos a disposición de sus usuarios y científicos de datos. El uso de Hadoop en la plataforma de AWS puede incrementar significativamente la agilidad de su empresa al reducir el costo y el tiempo que conlleva la asignación de recursos para la experimentación y el desarrollo.

La configuración, la creación de redes, la configuración de seguridad y la instalación del servidor en Hadoop, así como el constante mantenimiento administrativo, pueden resultar actividades complicadas y exigentes. Como servicio administrado, Amazon EMR satisface sus requisitos de infraestructura de Hadoop para que pueda concentrarse en sus actividades comerciales principales.

Puede integrar de forma sencilla su entorno de Hadoop con otros servicios como Amazon S3, Amazon Kinesis, Amazon Redshift y Amazon DynamoDB a fin de facilitar la transferencia de datos, los flujos de trabajo y el análisis en los diversos servicios de la plataforma de AWS. Además, puede usar el catálogo de datos de AWS Glue como un repositorio de metadatos administrado para Apache Hive y Apache Spark.

Muchos trabajos de Hadoop experimentan picos de tráfico. Por ejemplo, un trabajo de ETL se puede ejecutar una vez por hora, día o mes, mientras que es posible que los trabajos de modelado para empresas financieras o de secuenciación genética se ejecuten solamente unas pocas veces al año. El uso de Hadoop en Amazon EMR le permite iniciar estos clústeres de cargas de trabajo de forma sencilla, guardar los resultados y apagar sus recursos de Hadoop cuando ya no los necesite a fin de evitar costes de infraestructura innecesarios. EMR 6.x es compatible con Hadoop 3, que permite que YARN NodeManager lance contenedores ya sea directamente al alojamiento del clúster de EMR o dentro de un contenedor Docker. Consulte nuestra documentación para obtener más información.

Al usar Hadoop en Amazon EMR, dispone de la flexibilidad de lanzar sus clústeres en cualquier cantidad de zonas de disponibilidad en cualquier región de AWS. Un problema o amenaza potencial en una región o zona se puede evitar de forma sencilla mediante la implementación de un clúster en otra zona en cuestión de minutos.

La planificación de la capacidad antes de implementar un entorno de Hadoop puede resultar, con frecuencia, en la existencia de costosos recursos en reposo o limitaciones de recursos. Con Amazon EMR, puede crear clústeres con la capacidad necesaria en cuestión de minutos y utilizar Escalado administrado por EMR para ampliar y reducir los nodos automáticamente.