Inclui dados estruturados armazenados em um banco de dados

Dados de texto não estruturados armazenados em documentos ou arquivos

e outros tipos de dados não estruturados, como áudio, vídeo, dados de streaming, etc.

1. Objetivo ETL: entrar no data warehouse com objetivos claros

2. Dados estruturados: entre no data warehouse

3. Data warehouse: o objetivo final é BI

Pode ser executado como um evento agendado regularmente (processamento em lote)

Pode ser executado quando novos dados ou dados são atualizados (em tempo real ou orientados por eventos)

Inclui a seleção dos dados necessários e a extração dos dados de origem

Os dados extraídos são então armazenados em um repositório físico de dados em disco ou na memória.

É tornar os dados selecionados compatíveis com a estrutura do banco de dados de destino

Mudanças de formato

mudanças estruturais

Mudanças semânticas

Elimine duplicatas

reorganizar

Pode ser executado em lotes ou em tempo real

Ou armazene os resultados da conversão na área de cache no estado físico

Ou armazene os dados convertidos na memória em um estado virtual

até passar para a etapa de carregamento

Armazene ou apresente fisicamente os resultados da conversão no sistema de destino

Visão geral

Se o sistema de destino tiver capacidades de conversão mais fortes do que o sistema de origem ou sistema de aplicação intermediário, a sequência de processamento de dados pode ser alterada para ELT --- extração, carregamento, conversão

ELT permite que os dados sejam carregados no sistema de destino antes de serem convertidos

O ELT permite que os dados de origem sejam instanciados no sistema de destino na forma de dados brutos, o que é benéfico para outros processos

Carregar no data lake usando ELT, o que é comum em ambientes de big data

é sinônimo de transformação, tanto o processo de construção de uma matriz de busca de uma estrutura de origem para uma estrutura de destino quanto o resultado desse processo

Define os dados de origem a serem extraídos e as regras de identificação para os dados extraídos, as regras de identificação para o destino a ser carregado e as linhas de destino a serem atualizadas e as regras de transformação ou cálculo a serem aplicadas.

Refere-se à diferença de tempo entre o momento em que os dados são gerados pelo sistema de origem e o momento em que os dados estão disponíveis no sistema de destino.

Diferentes métodos de processamento de dados levarão a diferentes graus de atraso de dados

Os dados são transferidos entre aplicativos e organizações em lotes de arquivos, com base em solicitações manuais de consumidores de dados ou acionados automaticamente e periodicamente. Este tipo de interação é chamado de processamento em lote ou ETL

Os dados movidos em lote representarão todos os dados em um determinado momento

Este conjunto de dados é chamado de incremento, e os dados em um determinado momento são chamados de instantâneo

Para soluções de integração de dados em lote, muitas vezes há um atraso significativo entre as alterações de dados na origem e as atualizações de dados no destino, resultando em alta latência de

Microlotes

oportunidade

É um método para reduzir os requisitos de largura de banda de transmissão adicionando filtragem para incluir apenas dados que foram alterados dentro de um intervalo de tempo específico

A captura de dados de alteração monitora alterações (inserções, alterações, exclusões) em um conjunto de dados e, em seguida, comunica essas alterações (deltas) a outros conjuntos de dados, aplicativos e organizações que consomem os dados

Como parte do processo de captura de dados alterados, os dados também podem ser marcados com identificadores, como tags ou carimbos de data/hora.

A captura de dados alterados pode ser baseada em dados ou em log

Com base em dados

Com base em registros

A maioria das soluções de integração de dados que não adotam uma abordagem em lote usa uma abordagem quase em tempo real ou orientada a eventos

Os dados são processados ​​em conjuntos menores dentro de uma programação específica ou conforme ocorrem eventos, como atualizações de dados

O processamento quase em tempo real tem menor latência em comparação ao processamento em lote

E como o trabalho é distribuído ao longo do tempo, a carga do sistema é menor

No entanto, geralmente é mais lento que a integração síncrona de dados

Soluções de integração de dados quase em tempo real são frequentemente implementadas usando um barramento de serviço corporativo

Num fluxo de dados assíncrono, o sistema que fornece os dados não espera que o sistema receptor confirme a atualização antes de continuar o processamento.

Assíncrono significa que o sistema de envio ou recebimento pode ficar offline por um período de tempo enquanto o outro sistema está funcionando normalmente

A integração assíncrona de dados não impede que o aplicativo do sistema de origem continue a execução, nem faz com que o aplicativo de origem fique indisponível se algum aplicativo de destino estiver indisponível

Como as atualizações de dados para o aplicativo em uma configuração assíncrona não são oportunas, isso é chamado de integração quase em tempo real

Existem situações em que atrasos ou outras diferenças entre os dados de origem e de destino não são permitidos

Quando os dados de um conjunto de dados devem estar perfeitamente sincronizados com dados de outro conjunto de dados, uma solução de sincronização em tempo real deve ser usada

Numa solução de integração síncrona, a execução aguarda a confirmação de outras aplicações ou processos antes de executar a próxima atividade ou transação.

Como é necessário gastar tempo aguardando a confirmação da sincronização de dados, isso significa que a solução só pode lidar com menos transações

Se qualquer aplicativo que precise atualizar dados estiver indisponível, as transações dentro do aplicativo não poderão ser concluídas.

Solução de integração de dados de baixa latência projetada para reduzir os tempos de resposta a incidentes

Use disco de estado sólido

Solução assíncrona

Multiprocessador massivo ou processamento paralelo

Normalmente monitore o log de alterações de um conjunto de dados em vez do próprio conjunto de dados

Como não competem com aplicações pelo acesso a conjuntos de dados, minimizam o impacto em qualquer aplicação operacional.

Somente dados do log de alterações são transferidos entre réplicas

As soluções de replicação padrão funcionam quase em tempo real

A grande maioria das interações entre sistemas de dados compartilhados são “ponto a ponto”, onde eles passam dados diretamente entre si

Este modelo funciona no contexto de um pequeno conjunto de sistemas

Mas quando muitos sistemas exigem os mesmos dados da mesma fonte, isso se torna ineficiente e aumenta o risco organizacional

Processamento de impacto

Interface de gerenciamento

possíveis inconsistências

Ele consolida dados compartilhados (físicos ou virtuais) em um data center central que os aplicativos podem usar

Todos os sistemas que desejam trocar dados o fazem através de um controle central de dados comum, em vez de diretamente com outros sistemas (ponto a ponto).

Armazéns de dados, data marts, armazenamentos de dados operacionais e centros de gerenciamento de dados mestres são exemplos de data centers.

O data center fornece visão consistente dos dados com impacto limitado no desempenho do sistema de origem

Adicionar sistemas ao mix requer apenas a construção de interfaces para o data center

Enterprise Service Bus (ESB) é uma solução de integração de dados para compartilhamento de dados quase em tempo real entre vários sistemas. Seu data center é um conceito virtual que representa um formato padrão e padronizado para compartilhamento de dados em uma organização.

Alguns modelos hub-and-spoke apresentam latência inaceitável ou problemas de desempenho

O próprio data center tem sobrecarga de criação em uma arquitetura hub-and-spoke

O modelo publicar e assinar envolve sistemas que promovem (publicam) dados e outros sistemas que aceitam (assinam) dados.

Os sistemas que enviam dados estão listados no catálogo de serviços de dados, e os sistemas que desejam usar os dados assinam esses serviços

Ao publicar dados, os dados serão enviados automaticamente aos usuários assinantes

O acoplamento descreve o grau em que dois sistemas estão interligados

Fortemente acoplado

acoplamento solto

Arranjo

controle do processo

No modelo de integração de aplicativos corporativos EAI, os módulos de software interagem apenas por meio de chamadas de interface bem definidas (API de interface de programação de aplicativos)

O armazenamento de dados só pode ser atualizado através de módulo de software próprio. Outros softwares não podem acessar diretamente os dados no aplicativo, apenas através da API definida.

O EAI é baseado em conceitos orientados a objetos, que enfatizam a capacidade de reutilizar e substituir qualquer módulo sem afetar nenhum outro módulo.

Atua como intermediário entre sistemas, entregando mensagens entre eles

Os aplicativos podem encapsular mensagens ou arquivos enviados e recebidos por meio dos recursos existentes do ESB

Como exemplo de acoplamento fraco, o ESB atua como um serviço entre duas aplicações

Dados push ou dados de atualização podem ser fornecidos por meio de chamadas de serviço bem definidas entre aplicativos

Os aplicativos não precisam interagir diretamente com outros aplicativos ou compreender o funcionamento interno de outros aplicativos

Oferece suporte à independência de aplicativos e à capacidade da organização de substituir sistemas sem fazer alterações significativas nos sistemas com os quais interage

O objetivo da SOA é definir interações bem definidas entre módulos de software independentes

Cada módulo pode ser usado por outros módulos de software ou consumidores individuais para executar funções (fornecer funcionalidade)

O conceito-chave da SOA é que um serviço independente é fornecido: o serviço não tem conhecimento prévio do aplicativo chamador e a implementação do serviço é uma caixa preta para o aplicativo chamador.

SOA pode ser implementada por meio de diversas tecnologias, como serviços Web, mensagens e APIs.

O processamento de eventos é um método de rastrear e analisar (processar) o fluxo de informações sobre um evento ocorrido e tirar conclusões dele.

O processamento de eventos complexos refere-se à fusão de dados de múltiplas fontes, identificação de eventos significativos, definição de regras para esses eventos para orientar o processamento e roteamento de eventos e, em seguida, prever comportamentos ou atividades e acionar automaticamente respostas em tempo real com base nos resultados previstos.

Como oportunidades de vendas, cliques na web, pedidos e ligações de clientes, etc.

O processamento de eventos complexos requer um ambiente que possa integrar vários tipos de dados

Como as previsões geralmente envolvem grandes quantidades de dados de vários tipos, o processamento complexo de eventos costuma estar associado ao big data.

O processamento de eventos complexos geralmente requer o uso de tecnologias que suportam latência ultrabaixa, como processamento de dados de streaming em tempo real e bancos de dados na memória

Quando os dados existem em diferentes repositórios de dados, eles também podem ser agregados por outros meios que não a integração física.

A federação de dados fornece acesso a uma combinação de repositórios de dados independentes, independentemente de suas respectivas estruturas.

A virtualização de dados permite que bancos de dados distribuídos, bem como vários armazenamentos de dados heterogêneos, sejam acessados ​​e visualizados como um único banco de dados

Software como serviçoSaaS

Dados como serviçoDaaS

Antes da computação em nuvem, a integração poderia ser dividida em integração interna e integração interempresarial B2B

Integração interna

integração interempresarial

Integração na nuvem

Encontrar e eliminar essas ineficiências ou configurações ineficazes pode ajudar muito no sucesso do projeto e melhorar a capacidade geral de uma organização de usar seus dados.

Hub-and-spoke, ponto a ponto, publicar-assinar