Apache Spark no Amazon EMR

O EMR apresenta o Ambiente de Tempo de Execução do Amazon EMR para Apache Spark, um ambiente com runtime de desempenho otimizado para o Apache Spark, disponível e ativado por padrão nos clusters do Amazon EMR. O tempo de execução do Amazon EMR para o Apache Spark pode ser até 3x mais rápido do que os clusters sem o tempo de execução EMR, e tem compatibilidade API de 100% com o Apache Spark padrão. Essa performance aprimorada significa que cargas de trabalho executam com maior rapidez, reduzindo custos de computação sem qualquer alteração nos aplicativos.

Ao usar um mecanismo de execução de gráfico acíclico direcionado (DAG), o Apache Spark pode criar planos de consulta eficientes para transformações de dados. O Spark também armazena dados de entrada, saída e intermediários na memória como quadros de dados resilientes, o que permite um processamento rápido e sem custos de E/S, aumentando a performance de cargas de trabalho iterativas e interativas.

O Apache Spark oferece suporte nativo a Java, Scala, SQL e Python, oferecendo a você várias linguagens para a criação de aplicativos. Além disso, você pode enviar consultas SQL ou HiveQL usando o módulo Spark SQL. Além de executar aplicações, você pode usar a API do Spark de modo interativo com Python ou Scala diretamente no shell do Spark, por meio do EMR Studio ou cadernos Jupyter no seu cluster. O suporte ao Apache Hadoop 3.0 no EMR 6.0 proporciona o suporte ao contêiner do Docker para simplificar o gerenciamento de dependências. Você também pode utilizar cadernos do EMR independentes de clusters (baseados no Jupyter) ou usar o Zeppelin para criar cadernos interativos e colaborativos para a exploração e a visualização de dados. É possível ajustar e depurar workloads no console do EMR, que conta com um Servidor de Histórico do Spark fora do cluster e persistente.

O Apache Spark inclui várias bibliotecas para ajudar a criar aplicativos de machine learning (MLlib), processamento de streams (Spark Streaming) e processamento de gráficos (GraphX). Essas bibliotecas estão solidamente integradas ao ecossistema do Spark e podem ser utilizadas automaticamente para contemplar vários casos de uso. Além disso, é possível usar estruturas de aprendizado profundo como Apache MXNet com aplicativos Spark. A integração com o AWS Step Functions permite que você adicione automação e orquestração de fluxos de trabalho de workloads com tecnologia sem servidor em suas aplicações.

Envie trabalhos do Apache Spark com a API Step do EMR, use o Spark com o EMRFS para acessar dados diretamente no S3, reduza custos usando a capacidade spot do EC2, use o Ajuste de Escala Gerenciado do EMR para aumentar ou reduzir dinamicamente a capacidade e execute clusters de longa duração ou temporários, de acordo com a sua workload. Você também pode configurar facilmente a criptografia do Spark e a autenticação do Kerberos usando uma configuração de segurança do EMR. Além disso, é possível usar o Catálogo de Dados do AWS Glue para armazenar metadados de tabelas SQL do Spark ou usar o Amazon SageMaker com os pipelines de machine learning do Spark. O EMR instala e gerencia o Spark no Hadoop YARN, e você também pode adicionar outros aplicativos de big data ao seu cluster. O EMR com o Apache Hudi permite gerenciar com mais eficiência a Captura de dados alterados (CDC) e ajuda a cumprir regulamentos de privacidade como GDPR e CCPA simplificando a exclusão de registros. Clique aqui para obter mais detalhes sobre os recursos do EMR.

Consuma e processe dados em tempo real do Amazon Kinesis, do Apache Kafka ou de outros fluxos de dados com o Spark Streaming no EMR. Execute a análise de streaming de modo tolerante a falhas e grave os resultados no S3 ou no HDFS armazenado no cluster.

O Apache Spark no EMR inclui o MLlib para vários algoritmos de machine learning escaláveis ou você pode usar suas próprias bibliotecas. Ao armazenar conjuntos de dados na memória durante um trabalho, o Spark obtém excelente desempenho para consultas iterativas comuns em cargas de trabalho de Machine Learning. Você pode melhorar as capacidades do Amazon Sagemaker ao conectar a instância do notebook a um cluster do Apache Spark sendo executado no Amazon EMR, com o Amazon Sagemaker Spark para treinar facilmente modelos e hospedar modelos.

Use o Spark SQL para consultas interativas de baixa latência com SQL ou HiveQL. O Spark no EMR pode utilizar o EMRFS para que você tenha acesso ad hoc aos seus conjuntos de dados no S3. Além disso, você pode usar o EMR Studio, blocos de anotações do EMR ou do Zeppelin, ou ferramentas de BI por meio de conexões ODBC e JDBC.