Apache Spark en Amazon EMR

EMR presenta el entorno de ejecución de Amazon EMR para Apache Spark, un entorno de tiempo de ejecución optimizado para el rendimiento de Apache Spark, activado de forma predeterminada en los clústeres de Amazon EMR. El tiempo de ejecución de Amazon EMR para Apache Spark puede ser hasta 3 veces más rápido que los clústeres sin el tiempo de ejecución de EMR y tiene una compatibilidad de API del 100 % con Apache Spark estándar. El aumento de rendimiento permite que las cargas de trabajo se ejecuten con mayor rapidez y que pueda ahorrar en costes informáticos, sin implementar cambios en las aplicaciones.

Al utilizar un motor de ejecución de gráficos acíclicos dirigidos (DAG), Spark puede crear planes de consultas eficaces para transformaciones de datos. Spark también almacena datos de entrada, de salida e intermedios en la memoria como marcos de datos, lo que facilita un procesamiento rápido sin costos de E/S y mejora el rendimiento de cargas de trabajo iterativas o interactivas.

Apache Spark dispone de compatibilidad nativa con Java, Scala, SQL y Python, con lo que dispone de diversos lenguajes para crear sus aplicaciones. Además, puede enviar consultas SQL o HiveQL a través del módulo Spark SQL. Además de ejecutar aplicaciones, puede usar la API de Spark de forma interactiva con Python o Scala directamente en el shell de Spark o mediante EMR Studio o los cuadernos de Jupyter en su clúster. La compatibilidad con Apache Hadoop 3.0 en EMR 6.0 permite usar contenedores de Docker para simplificar la administración de las dependencias. También puede aprovechar los cuadernos de EMR independientes del clúster (basados en Jupyter) o usar Zeppelin para crear cuadernos interactivos y colaborativos para la exploración y visualización de datos. Puede ajustar y depurar cargas de trabajo en la consola de EMR, que tiene un servidor de historial de Spark persistente fuera del clúster.

Apache Spark incluye varias bibliotecas para ayudar a crear aplicaciones de aprendizaje automático (MLlib), procesamiento de transmisiones (Spark Streaming) y procesamiento de gráficos (GraphX). Estas bibliotecas se integran a la perfección con el ecosistema de Spark y se pueden utilizar tal y como están para diversos casos de uso. Además, puede usar marcos de aprendizaje profundo, como Apache MXNet, con sus aplicaciones de Spark. La integración con AWS Step Functions le permite agregar automatización y orquestación de flujos de trabajo sin servidor en sus aplicaciones.

Envíe trabajos de Apache Spark con la API Step de EMR, utilice Spark con EMRFS para acceder directamente a los datos de S3, ahorre costos con la capacidad de spot de EC2, use el escalado administrado por EMR para agregar y eliminar capacidad de forma dinámica y lance clústeres transitorios o de larga duración en función de su carga de trabajo. También puede configurar de forma sencilla en Spark el cifrado y la autenticación con Kerberos mediante una configuración de seguridad de EMR. Además, puede usar el Catálogo de datos de AWS Glue para almacenar metadatos de tablas Spark SQL o utilizar Amazon SageMaker con sus canalizaciones de machine learning de Spark. EMR instala y administra Spark en Hadoop YARN, y puede añadir otras aplicaciones de big data a su clúster. EMR con Apache Hudi le permite administrar la captura de datos modificados (CDC) de una manera más eficiente y lo ayuda a cumplir regulaciones de privacidad, como GDPR y CCPA, mediante la simplificación de la eliminación de registros. Haga clic aquí para obtener más información sobre las características de EMR.

Reciba y procese datos en tiempo real de Amazon Kinesis, Apache Kafka u otras secuencias de datos con Spark Streaming en EMR. Realice el análisis de las transmisiones de forma tolerante a errores y escriba los resultados en S3 o HDFS en clúster.

Apache Spark en EMR incluye MLlib para ofrecer una variedad de algoritmos de aprendizaje automático escalables; también puede usar bibliotecas propias. Al almacenar conjuntos de datos en la memoria durante un trabajo, Spark ofrece un desempeño excelente en consultas iterativas comunes en cargas de trabajo de aprendizaje automático. Puede mejorar las capacidades de Amazon SageMaker conectando la instancia del bloc de notas a un clúster de Apache Spark que se ejecuta en Amazon EMR, con Amazon SageMaker Spark para entrenar y alojar modelos fácilmente.

Use Spark SQL para consultas interactivas de baja latencia con SQL o HiveQL. Spark en EMR puede usar EMRFS, de forma que disponga de acceso ad hoc a sus conjuntos de datos en S3. Además, puede utilizar EMR Studio, EMR Notebooks, bloc de notas de Zeppelin o herramientas de inteligencia empresarial a través de conexiones ODBC y JDBC.