Propósito:

Tratamento de valor ausente

Processamento de dados barulhento

Objetivo: Integrar dados de múltiplas fontes de dados

Objetivo: obter uma expressão mais precisa dos dados

Estratégia de curadoria de dados

É uma operação realizada para padronizar, discretizar e estratificar conceitualmente os dados.

Método de transformação de dados

padrões de dados

Gerenciamento de metadados

Qualidade dos dados

serviço de dados

O tema refere-se aos objetivos e requisitos de análise e tomada de decisão. É proposto pelo tomador de decisão de acordo com as necessidades de trabalho e, em última análise, é implementado para servir o tomador de decisão.

Orientado ao assunto refere-se à organização necessária do assunto onde os dados no data warehouse devem ser encontrados.

Os tópicos aplicáveis ​​aos bancos geralmente incluem

A construção de data warehouse geralmente é a etapa mais complexa e crítica.

A análise e a tomada de decisões requerem grandes quantidades de dados para análise, comparação e identificação.

Existem muitas duplicações e inconsistências nos dados entre múltiplas fontes de dados. Somente através do processamento e limpeza sistemáticos o próximo passo de integração pode ser realizado.

Depois que os dados entram no armazém, eles precisam ser armazenados de forma relativamente estável por um longo período, condição básica para garantir a tomada de decisão correta.

A maioria das operações de banco de dados são consultas, com poucas modificações e exclusões.

Os minutos do data warehouse armazenam informações de dados que refletem o status histórico do tempo e também devem ser salvos em etapas com base em determinados pedidos de eventos.

(1) Dimensão

(2) Nível de dimensão

(3) Membros da dimensão

(4) Medição

(5) Coleta de dados multidimensionais

(6) Unidade de dados

(1) Rapidez

(2) Analisabilidade

(3) Multidimensionalidade

(4) Informativo

viabilidade técnica

viabilidade economica

viabilidade operacional

(1) "O que fazer"

(2) "Como fazer"

(3) "O que é necessário"

Camada pós-fonte: carregamento de dados do sistema de origem

Camada temática: por meio do processamento de dados, dados históricos detalhados, informações do cliente, informações da conta, dados de transações, etc. são armazenados de acordo com os temas.

Camada de resumo: resumir regularmente de acordo com as informações da conta e do cliente

Camada de aplicação: Finalmente, os dados necessários para a análise da aplicação são formados e armazenados.

Com o acúmulo de construção de data warehouse, é necessário formar um modelo de dados de data warehouse maduro que atenda às características.

mapeamento de dados

aplicar regras

(1) Definição e medição inicial

(2) Analisar e encontrar erros

(3) Encontre a origem do problema

(4) Resolver problemas de qualidade

(5) Monitorar o processo de melhoria

Estrutura do sistema unificado de gerenciamento de dados

necessidades de análise de negócios

Necessidades regulatórias

A necessidade de fornecer serviços adicionais aos clientes com base em dados históricos

Quanto maior a granularidade, menor o nível de detalhe e maior o grau de abrangência dos dados.

Quanto menor for a granularidade, maior será o nível de detalhe dos dados e menor será o nível de abrangência.

Estrutura de cima para baixo:

Estrutura de baixo para cima: primeiro construa um data mart desenvolvido de forma independente e, em seguida, construa um data warehouse baseado nesta tecnologia

A estrutura é simples. Os dados obtidos do sistema de fonte de dados são convertidos e carregados no data warehouse e, em seguida, fornecidos diretamente ao aplicativo de dados front-end por meio do data warehouse.

Não existe um data warehouse global. Os aplicativos de processamento de dados precisam se conectar a um ou mais data marts para chamar os dados.

A fonte de dados unificada conectada ao aplicativo de processamento de dados é apenas uma camada intermediária, que contém as regras e meios para acessar e integrar dados, e fornece uma visão virtual do data warehouse para os usuários do data warehouse.