Galeria de mapas mentais base de dados
O data warehouse é uma coleção estratégica que fornece todos os tipos de suporte de dados para o processo de tomada de decisão em todos os níveis da empresa. Este mapa cerebral analisa o design da estrutura do sistema do data warehouse, a tecnologia de análise multidimensional, a tecnologia de pré-processamento de dados. e os pontos-chave da construção do data warehouse bancário. Classifique-os para ajudar a compreender a conotação e o significado da construção do data warehouse.
Editado em 2024-01-19 15:42:49이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
base de dados
Pré-processamento de dados
Critérios de avaliação da qualidade dos dados
precisão
integridade
consistência
Oportunidade
Credibilidade
Interpretabilidade
Tecnologia de pré-processamento de dados
1. Limpeza de dados
Propósito:
Resolva erros e inconsistências de dados
Padronização de formatos, descoberta e processamento de dados anormais, correção de erros de dados, descoberta e remoção de dados duplicados
Tratamento de valor ausente
(1) Ignorar tuplas
(2) Preencha manualmente os valores ausentes
(3) Use enchimento constante e uniforme
(4) Preencher usando a média do atributo
(5) Use o valor médio dos atributos da amostra após o agrupamento
(6) Preencha com o valor mais provável
Processamento de dados barulhento
(1) Embalagem
(2) Agrupamento
(3) Combinação de inspeção computadorizada e manual
(4) Retorno
2. Integração de dados
Objetivo: Integrar dados de múltiplas fontes de dados
3. Curadoria de dados
Objetivo: obter uma expressão mais precisa dos dados
Estratégia de curadoria de dados
(1) Agregação de cubo de dados
(2) Protocolo de dimensão
Transformada wavelet
Análise do componente principal
(3) Compressão de dados
compressão sem perdas
Compressão com perda
(4) Compressão numérica
4. Mudanças de dados
É uma operação realizada para padronizar, discretizar e estratificar conceitualmente os dados.
Método de transformação de dados
(1) Agregação: resumir e agregar dados
(2) Generalização de dados: o processo de abstração de um nível conceitual relativamente baixo para um nível conceitual superior
(3) Padronização
(4) Construção de atributos/derivação de recursos
Gestão de dados
O estabelecimento de um sistema completo de governança de dados requer a melhoria das capacidades de gerenciamento de informações de dados em vários aspectos, como sistemas, padrões, monitoramento e processos, para resolver os seguintes problemas
padrões de dados
O suporte para negócios de plataforma de dados precisa ser padronizado
Sistema de controle de dados
Documento de especificação do processo
Definição de item de informação
Gerenciamento de metadados
Realizar análise de impacto e contexto de dados para realizar análises de impacto e relacionamento sanguíneo no fluxo de dados e relações de dependência
Qualidade dos dados
Os requisitos de qualidade dos dados são mensuráveis, e a qualidade dos dados da plataforma de dados precisa ser gerenciada de forma abrangente para implementar inspeção de qualidade de dados definível e análise dimensional, bem como rastreamento de problemas.
serviço de dados
Fornece canais de comunicação de serviço para a plataforma de dados para usuários corporativos e desenvolvedores de aplicativos
Tecnologia de análise multidimensional de data warehouse
Conceitos básicos de data warehouse
Definição básica: Um data warehouse é uma coleção de dados orientada para o assunto, integrada e relativamente estável que reflete mudanças históricas e é usada para apoiar a tomada de decisões na gestão.
Características técnicas do armazém de dados
orientado para o assunto
O tema refere-se aos objetivos e requisitos de análise e tomada de decisão. É proposto pelo tomador de decisão de acordo com as necessidades de trabalho e, em última análise, é implementado para servir o tomador de decisão.
Orientado ao assunto refere-se à organização necessária do assunto onde os dados no data warehouse devem ser encontrados.
Os tópicos aplicáveis aos bancos geralmente incluem
festa
organização interna
produtos
protocolo
evento
endereço
canal
marketing
finança
ativos do cliente
integrado
A construção de data warehouse geralmente é a etapa mais complexa e crítica.
A análise e a tomada de decisões requerem grandes quantidades de dados para análise, comparação e identificação.
Existem muitas duplicações e inconsistências nos dados entre múltiplas fontes de dados. Somente através do processamento e limpeza sistemáticos o próximo passo de integração pode ser realizado.
Relativamente estável (não volátil)
Depois que os dados entram no armazém, eles precisam ser armazenados de forma relativamente estável por um longo período, condição básica para garantir a tomada de decisão correta.
A maioria das operações de banco de dados são consultas, com poucas modificações e exclusões.
Refletir mudanças históricas (variante temporal)
Os minutos do data warehouse armazenam informações de dados que refletem o status histórico do tempo e também devem ser salvos em etapas com base em determinados pedidos de eventos.
Análise On-line (OLAP)
1. Definição básica: Refere-se à tecnologia de software que utiliza informações multidimensionais para acessar, analisar e verificar dados online para problemas específicos.
2. Conceitos básicos
(1) Dimensão
(2) Nível de dimensão
(3) Membros da dimensão
(4) Medição
(5) Coleta de dados multidimensionais
(6) Unidade de dados
3. Recursos técnicos
(1) Rapidez
(2) Analisabilidade
(3) Multidimensionalidade
(4) Informativo
Projeto de estrutura do sistema de data warehouse
Planejamento e preparação de data warehouse
1. Análise das necessidades do usuário
2. Análise de viabilidade
viabilidade técnica
viabilidade economica
viabilidade operacional
3. Coordenação de construção e análise de resistência
4. Formulação do plano de desenvolvimento do projeto
(1) "O que fazer"
Resolva a divisão de tarefas da construção de data warehouse
(2) "Como fazer"
Descrição da tarefa e planejamento do progresso para construção de data warehouse
(3) "O que é necessário"
Chamada e organização dos principais recursos: pessoal, hardware, software
Arquitetura de dados do data warehouse
1. Direção do fluxo de dados
Camada pós-fonte: carregamento de dados do sistema de origem
Camada temática: por meio do processamento de dados, dados históricos detalhados, informações do cliente, informações da conta, dados de transações, etc. são armazenados de acordo com os temas.
Camada de resumo: resumir regularmente de acordo com as informações da conta e do cliente
Camada de aplicação: Finalmente, os dados necessários para a análise da aplicação são formados e armazenados.
2. Modelo de dados
Com o acúmulo de construção de data warehouse, é necessário formar um modelo de dados de data warehouse maduro que atenda às características.
3. Padrões de dados
mapeamento de dados
aplicar regras
4. Qualidade dos dados
(1) Definição e medição inicial
(2) Analisar e encontrar erros
(3) Encontre a origem do problema
(4) Resolver problemas de qualidade
(5) Monitorar o processo de melhoria
5.Gerenciamento e controle de dados
Estrutura do sistema unificado de gerenciamento de dados
6. Política e capacidade de retenção de dados
necessidades de análise de negócios
Necessidades regulatórias
A necessidade de fornecer serviços adicionais aos clientes com base em dados históricos
Estrutura de organização de dados de data warehouse multigranularidade
Se a granularidade é razoável ou não, afeta diretamente a quantidade de dados armazenados no data warehouse e os tipos de consultas que o data warehouse pode manipular.
A granularidade é uma medida fundamental do grau de integração em um data warehouse
Quanto maior a granularidade, menor o nível de detalhe e maior o grau de abrangência dos dados.
Quanto menor for a granularidade, maior será o nível de detalhe dos dados e menor será o nível de abrangência.
Arquitetura de armazém de dados
Determine a funcionalidade básica e os recursos de expansão
1. De baixo para cima e de baixo para cima são arquiteturas
Estrutura de cima para baixo:
Vantagens: centralização, unificação e padronização
Desvantagens: Precisa ser concluído de uma só vez, o ciclo é longo e o custo é alto, podendo haver o risco de empurrá-lo para a reconstrução;
Estrutura de baixo para cima: primeiro construa um data mart desenvolvido de forma independente e, em seguida, construa um data warehouse baseado nesta tecnologia
2. Arquitetura pura de data warehouse
A estrutura é simples. Os dados obtidos do sistema de fonte de dados são convertidos e carregados no data warehouse e, em seguida, fornecidos diretamente ao aplicativo de dados front-end por meio do data warehouse.
3. Arquitetura pura de data mart
Não existe um data warehouse global. Os aplicativos de processamento de dados precisam se conectar a um ou mais data marts para chamar os dados.
Uma forma intermediária de data warehouse
4. Arquitetura de data warehouse virtual
A fonte de dados unificada conectada ao aplicativo de processamento de dados é apenas uma camada intermediária, que contém as regras e meios para acessar e integrar dados, e fornece uma visão virtual do data warehouse para os usuários do data warehouse.
A integração de dados ocorre apenas quando um usuário solicita que os dados de consulta sejam altos;
Pontos-chave da construção de data warehouse bancário
(1) O sistema de data warehouse deve primeiro atender aos requisitos da sede e filiais locais para armazenamento de dados, consulta, estatística, análise, etc.
(2) Ao construir o data warehouse, é necessário construir uma fonte de dados unificada e uma arquitetura unificada.
Preste atenção ao gerenciamento e liberação unificada de metadados
Preste atenção na construção de indicadores de vendedor padronizados, com padrões unificados e calibre consistente
Estabelecer um mecanismo de inspeção de dados, melhorar continuamente a qualidade dos dados e fortalecer a governança de dados em todos os aspectos
(3) Considerando o crescimento contínuo dos negócios, o plano de construção do data warehouse deve ser escalonável
(4) O negócio bancário tem requisitos de disponibilidade extremamente elevados e o sistema de informação empresarial não pode ser encerrado facilmente.