Integrações com o Amazon DynamoDB

Por que usar o Amazon DynamoDB?

Com o Amazon DynamoDB, é possível integrar as workloads com facilidade ao Amazon DynamoDB Accelerator (DAX) para obter um aprimoramento da performance de até dez vezes, ao Amazon OpenSearch Service para habilitar funcionalidades de pesquisa e de analytics em tempo real, bem como a uma variedade de outros serviços da AWS. O DynamoDB oferece a flexibilidade de integração com uma ampla variedade de serviços da AWS que atendem aos requisitos do seu caso de uso.

Integrações ETL zero do DynamoDB

O DynamoDB possibilita diversas integrações ETL zero com outros serviços da AWS. Essas integrações sem a necessidade de codificação e totalmente gerenciadas automatizam a extração, a transformação e o carregamento de dados do DynamoDB para outros serviços da AWS. Essas integrações replicam seus dados para o serviço de destino sem complicações e não afetam sua workload de produção. Por fim, as integrações economizam semanas de esforço de engenharia necessário para projetar, desenvolver e gerenciar pipelines de dados, permitindo que você se concentre nos principais problemas de engenharia.
1

Integração ETL zero do DynamoDB com o Amazon SageMaker Lakehouse

Essa integração ETL zero possibilita que você execute uma ampla gama de analytics e machine learning (ML), como SQL analytics, analytics de pesquisa, business intelligence, IA generativa e muito mais. Em apenas algumas etapas rápidas no Console de Gerenciamento da AWS, você tem a flexibilidade de selecionar as tabelas do DynamoDB para replicá-las no SageMaker Lakehouse. 

2

Integração ETL zero do DynamoDB com o Amazon Redshift

Essa abordagem de integração ETL zero facilita a realização de analytics e o uso de ML. Escolha as tabelas do DynamoDB que deseja analisar, e os dados do DynamoDB serão replicados para o Amazon Redshift em poucos minutos após serem gravados no DynamoDB. Em seguida, é possível aproveitar as funcionalidades de analytics e de ML do Amazon Redshift, com suporte avançado a SQL, visões materializadas, compartilhamento de dados e consultas sem esquema, para transformar e enriquecer ainda mais os dados.

3

Integração ETL zero do DynamoDB com o Amazon OpenSearch Service

Essa integração ETL zero possibilita a realização de analytics de pesquisa praticamente em tempo real. Crie índices para executar pesquisa de texto completo, pesquisa vetorial, pesquisa geoespacial e outras funcionalidades. As pesquisas e agregações do OpenSearch Service funcionam em conjunto com as consultas do DynamoDB para permitir aplicações interativas e de alta performance. Os clientes do DynamoDB agora podem usar os amplos recursos de pesquisa e ML do OpenSearch Service para oferecer novas experiências que impulsionam o engajamento do usuário e melhoram a satisfação com suas aplicações.

Você pode criar rapidamente seu primeiro pipeline na guia Integrações no console do DynamoDB. A integração usa os pipelines de ingestão do OpenSearch para definir e processar as transformações, o roteamento e o mapeamento dos dados do DynamoDB para índices específicos do OpenSearch Service.

Gatilhos baseados em eventos com o AWS Lambda

Os acionadores do AWS Lambda para o Amazon DynamoDB possibilitam a configuração de uma lógica personalizada com facilidade para ser executada em resposta a qualquer alteração em um item no DynamoDB. Você pode criar rapidamente seu primeiro gatilho na guia Exportações e fluxos do console do DynamoDB, depois de habilitar Fluxos do DynamoDB. Após a configuração do gatilho, seu código do Lambda pode ser acionado em poucos segundos após qualquer alteração nos dados da sua tabela.

Com gatilhos do AWS Lambda para DynamoDB, você pode criar facilmente gatilhos de banco de dados para validar e enriquecer dados, integrar-se a outros serviços replicando os dados ou criar arquiteturas completas baseadas em eventos, como atendimento de pedidos ou processamento de mídia, que reagem à modificação de dados em tabelas do DynamoDB. A função do Lambda pode realizar qualquer ação que você especificar, como enviar uma notificação ou iniciar um fluxo de trabalho.  

Amazon DynamoDB Accelerator

O Amazon DynamoDB Accelerator (DAX) é um serviço de armazenamento em cache totalmente gerenciado e altamente disponível, desenvolvido para o Amazon DynamoDB. O DAX oferece uma melhoria de performance de até 10 vezes (de milissegundos para microssegundos) mesmo com milhões de solicitações por segundo. O DAX gerencia toda a invalidação do cache e a população de dados para adicionar aceleração na memória às suas tabelas do DynamoDB. O DAX é um cache embutido e, portanto, se o item em cache não existir ou estiver obsoleto, o DAX passará automaticamente para a tabela subjacente.

Agora, você pode se concentrar na criação de excelentes aplicações para os clientes sem se preocupar com a performance em grande escala. Como o DAX é compatível com as chamadas de API existentes do DynamoDB, nenhuma alteração na aplicação é necessária, facilitando assim os trabalhos iniciais. 

Tópicos da página

Geral
8

Geral

A Integração ETL zero do DynamoDB com o OpenSearch Service reduz a complexidade operacional na orquestração da replicação de dados de um datastore transacional para um datastore de pesquisa. Os pipelines de dados usados para manter os datastores transacionais e de pesquisa sincronizados podem ser desafiadores e caros de criar e gerenciar, além de sofrerem erros intermitentes que são difíceis de rastrear. 

Essa integração permite que os clientes do Amazon DynamoDB obtenham resultados de pesquisa quase em tempo real a partir de seus dados transacionais, oferecendo uma solução totalmente gerenciada para disponibilizar dados transacionais do DynamoDB no OpenSearch Service poucos segundos depois de serem gravados. Os clientes simplesmente escolhem as tabelas do DynamoDB contendo os dados que desejam analisar com o OpenSearch Service, e a Integração ETL zero replica perfeitamente o esquema e os dados no OpenSearch Service usando pipelines do OpenSearch Ingestion. Os clientes podem replicar dados de várias tabelas do DynamoDB em um único domínio gerenciado do OpenSearch Service ou coleção sem servidor para obter insights holísticos em várias aplicações e, ao mesmo tempo, consolidar seus principais ativos de análise, obtendo economias significativas de custos e eficiências operacionais. 

Os clientes podem começar usando o Console de Gerenciamento da AWS para DynamoDB, o OpenSearch Service, a AWS CLI, o SDK da AWS ou o AWS CloudFormation. Para habilitarem uma integração, os clientes escolhem primeiro a tabela do DynamoDB cujos dados precisam ser replicados. Em seguida, os clientes escolhem Fluxos do DynamoDB para replicação quase em tempo real ou Exportações incrementais do DynamoDB para replicação atrasada como o mecanismo de CDC para manter os dados em sincronia entre os dois sistemas. 

Essa Integração ETL zero configura um pipeline do OpenSearch Ingestion na conta do cliente que se encarrega de replicar os dados em um cluster gerenciado do OpenSearch Service ou em uma coleção sem servidor. O OpenSearch Ingestion compreende a estrutura das tabelas do DynamoDB e cria um domínio gerenciado equivalente do OpenSearch Service ou uma coleção sem servidor e inicializa o destino com os dados existentes das tabelas do DynamoDB. Opcionalmente, os clientes podem especificar um esquema para os índices que serão criados no OpenSearch Service. 

Essa Integração ETL zero fornece um painel no qual você pode monitorar o estado de sua integração de ponta a ponta com métricas e logs em tempo real do Amazon CloudWatch. É possível configurar alertas em caso de violação dos limites definidos pelo usuário. Essa integração também monitora continuamente o estado das tabelas do DynamoDB e dos índices do OpenSearch Service e notifica imediatamente os usuários em caso de regressões com qualquer uma dessas entidades.

Para garantir que o OpenSearch Ingestion tenha as permissões necessárias para replicar dados em ambos os sistemas, a Integração ETL zero do DynamoDB com o OpenSearch Service cria um perfil do IAM com as permissões necessárias para ler dados das tabelas do DynamoDB e gravar em um domínio ou coleção do OpenSearch. Esse perfil é então assumido por pipelines do OpenSearch Ingestion para garantir que a postura de segurança correta seja sempre mantida ao mover os dados da origem para o destino.

A Integração ETL zero usa os recursos nativos de transformação de dados dos pipelines do OpenSearch Ingestion para agregar e filtrar os dados enquanto eles estão em movimento. Ao mover os dados de uma tabela do DynamoDB, os clientes podem querer eliminar alguns campos ou criar novos campos com base nas agregações entre os campos existentes. 

Opcionalmente, os clientes também podem escrever uma lógica personalizada para o OpenSearch Ingestion de forma a obter uma capacidade de transformação personalizada. Para outros usuários, que desejam apenas mover seus dados inteiros da origem para o coletor, a integração ETL zero fornecerá esquemas do OpenSearch Ingestion prontos para uso, para que eles possam realizar as integrações com apenas alguns cliques de botão.

A Integração ETL zero oferece aos clientes opções para especificar seu esquema de dados personalizado junto com mapeamentos de índice usados pelo OpenSearch Ingestion ao gravar dados do DynamoDB no OpenSearch Service. Essa experiência é adicionada ao console da interface do usuário no DynamoDB, para que os clientes tenham controle total sobre o formato dos índices criados no OpenSearch Service.

Não há custo adicional para usar a Integração ETL zero do DynamoDB com o OpenSearch Service além do custo dos componentes subjacentes existentes. A Integração ETL zero usa o Amazon OpenSearch Ingestion para ler dados em tabelas do DynamoDB e os replica no OpenSearch Service. O custo envolvido no uso da Integração ETL zero do DynamoDB com o OpenSearch Service é o custo das unidades de computação (OCUs) do OpenSearch necessárias para o OpenSearch Ingestion replicar os dados nos sistemas. Além disso, os clientes têm a opção de escolher fluxos do DynamoDB ou exportações incrementais como opção de CDC. Para exportações incrementais, há um custo associado à gravação de dados em buckets do S3. Para streams do DynamoDB, os clientes pagam as taxas padrão de uso de streams do DynamoDB.

A integração ETL zero do DynamoDB com o Amazon OpenSearch Service está disponível em todas as regiões nas quais a Ingestão do OpenSearch está disponível atualmente.