Mindmap-Galerie Engenheiro de Governança de Dados DAMA-CDGA-12.
O gerenciamento de metadados pode ajudar as organizações a compreender seus próprios dados, sistemas e processos, ao mesmo tempo que ajuda os usuários a avaliar a qualidade dos dados. É indispensável para o gerenciamento de bancos de dados e outros aplicativos. .
Bearbeitet um 2024-03-05 20:29:49Microbiologia medica, Infezioni batteriche e immunità riassume e organizza i punti di conoscenza per aiutare gli studenti a comprendere e ricordare. Studia in modo più efficiente!
La teoria cinetica dei gas rivela la natura microscopica dei fenomeni termici macroscopici e le leggi dei gas trovando la relazione tra quantità macroscopiche e quantità microscopiche. Dal punto di vista del movimento molecolare, vengono utilizzati metodi statistici per studiare le proprietà macroscopiche e modificare i modelli di movimento termico delle molecole di gas.
Este é um mapa mental sobre uma breve história do tempo. "Uma Breve História do Tempo" é um trabalho científico popular com influência de longo alcance. Ele não apenas introduz os conceitos básicos da cosmologia e da relatividade, mas também discute os buracos negros e a expansão. Do universo. questões científicas de ponta, como inflação e teoria das cordas.
Microbiologia medica, Infezioni batteriche e immunità riassume e organizza i punti di conoscenza per aiutare gli studenti a comprendere e ricordare. Studia in modo più efficiente!
La teoria cinetica dei gas rivela la natura microscopica dei fenomeni termici macroscopici e le leggi dei gas trovando la relazione tra quantità macroscopiche e quantità microscopiche. Dal punto di vista del movimento molecolare, vengono utilizzati metodi statistici per studiare le proprietà macroscopiche e modificare i modelli di movimento termico delle molecole di gas.
Este é um mapa mental sobre uma breve história do tempo. "Uma Breve História do Tempo" é um trabalho científico popular com influência de longo alcance. Ele não apenas introduz os conceitos básicos da cosmologia e da relatividade, mas também discute os buracos negros e a expansão. Do universo. questões científicas de ponta, como inflação e teoria das cordas.
12. Gerenciamento de metadados
introdução
Visão geral
1. Perspectiva técnica: metadados
2. Perspectiva de negócios: diretório de recursos de dados
3. Diretório de recursos de dados ≠ diretório de ativos de dados
4. Princípios de gerenciamento de metadados: devolver tudo o que é devido e coletar tudo o que é devido, ou seja, o diretório de recursos deve estar completo
definição
é "dados de dados"
descrever
dados em si
Banco de dados, elementos de dados, modelo de dados
Conceitos de representação de dados
Processos de negócios, sistemas de aplicativos, código de software, infraestrutura técnica
Conexões entre dados e conceitos
relação
significado
Os metadados podem ajudar as organizações a compreender os seus próprios dados, sistemas e processos, ao mesmo tempo que ajudam os utilizadores a avaliar a qualidade dos dados. São indispensáveis para a gestão de bases de dados e outras aplicações.
Ajuda a processar, manter, integrar, proteger e governar outros dados
Sem metadados confiáveis, uma organização não sabe quais dados possui, o que os dados representam, de onde vêm os dados, como se movem pelo sistema, quem tem acesso a eles e o que significa manter a alta qualidade.
Sem metadados, as organizações não podem gerir os seus dados como ativos
Na verdade, sem metadados, as organizações podem não conseguir gerir os seus dados.
impulsionadores de negócios
O gerenciamento de dados requer metadados, e os próprios metadados também precisam ser gerenciados
Um bom gerenciamento de metadados ajuda
Melhore a confiabilidade dos dados fornecendo contexto e realizando verificações de qualidade dos dados
Aumentar o valor das informações estratégicas, como dados mestres, ampliando seu uso
Melhore a eficiência operacional identificando dados e processos redundantes
Evite o uso de dados desatualizados ou incorretos
Reduza o tempo de pesquisa de dados
Melhore a comunicação entre usuários de dados e profissionais de TI
Crie análises de impacto precisas para reduzir o risco de falha do projeto
Reduza o tempo de lançamento no mercado, encurtando o tempo do ciclo de vida de desenvolvimento do sistema
Reduza os custos de treinamento e o impacto da rotatividade de funcionários documentando de forma abrangente o contexto, o histórico e a procedência dos dados
Atenda à conformidade regulatória
O gerenciamento inadequado de metadados pode facilmente levar aos seguintes problemas
Dados redundantes e processos de gerenciamento de dados
Dicionários, repositórios e outros armazenamentos de metadados duplicados e redundantes
Definições inconsistentes de elementos de dados e risco de uso indevido de dados
Diferentes versões de metadados são contraditórias e conflitantes, reduzindo a confiança dos usuários dos dados
Duvide da confiabilidade dos metadados e dados
Um bom gerenciamento de metadados pode garantir uma compreensão consistente dos recursos de dados e um desenvolvimento e uso mais eficientes nas organizações.
objetivos e princípios
Objetivo final: consulta e análise
Alvo
Documente e gerencie o conjunto de conhecimentos de termos comerciais relacionados a dados para garantir que as pessoas entendam e usem o conteúdo dos dados de forma consistente
Colete e integre metadados de diferentes fontes para garantir que as pessoas entendam as semelhanças e diferenças entre os dados de diferentes partes da organização
Garantir a qualidade, consistência, pontualidade e segurança dos metadados
Fornece uma maneira padrão para os consumidores de metadados acessarem os metadados
Promover ou impor o uso de padrões técnicos de metadados para permitir a troca de dados
em princípio
Compromisso organizacional
estratégia
A estratégia de metadados deve estar alinhada com as prioridades do negócio
Perspectiva empresarial
Garanta a escalabilidade futura a partir de uma perspectiva empresarial, alcançada por meio de entrega iterativa e incremental
Sutilmente
Impressionar o seu valor incentivará as empresas a usar metadados, ao mesmo tempo que fornece assistência de conhecimento às empresas.
acesso
Garanta que os funcionários entendam como acessar e usar metadados
qualidade
Os metadados geralmente são gerados por meio de processos existentes (modelagem de dados, SDLC, definição de processos de negócios), portanto o proprietário do processo é responsável pela qualidade dos metadados
auditoria
Desenvolver, implementar e revisar padrões de metadados para simplificar a integração e o uso de metadados
Melhorar
Crie um mecanismo de feedback para que os usuários dos dados possam reportar metadados incorretos ou desatualizados à equipe de gerenciamento de metadados
conceito básico
Metadados x dados
Os metadados também são um tipo de dados e devem ser gerenciados por meio de métodos de gerenciamento de dados.
Tipo de metadados
metadados de negócios
Concentra-se principalmente no conteúdo e nas condições dos dados, mas também inclui detalhes relacionados à governança de dados
metadados técnicos
Fornece informações sobre os detalhes técnicos dos dados, os sistemas nos quais os dados são armazenados e os processos pelos quais os dados fluem dentro e entre os sistemas.
Manipular metadados
Descreve os detalhes de processamento e acesso a dados
Padrão de registro de metadados ISO/IEC11179
Fornece uma estrutura para definir o registro de metadados
Metadados para dados não estruturados
Essencialmente, todos os dados possuem uma determinada estrutura, mas nem todos os dados são registrados na forma de linhas e colunas no banco de dados relacional familiar.
Quaisquer dados que não estejam em um banco de dados ou arquivo de dados são considerados dados não estruturados
incluir
Metadados de descrição
Metadados estruturais
Gerenciar metadados
metadados bibliográficos
Registrar metadados
Salvar metadados
As organizações que procuram aproveitar os data lakes e utilizar plataformas de big data, como o Hadoop, estão descobrindo que devem catalogar os dados que coletam para que possam ser acessados posteriormente.
Na maioria dos casos, a coleta de metadados como parte do processo de coleta de dados requer a coleta de um conjunto mínimo de atributos de metadados (como nome, formato, fonte, versão, data de recebimento, etc.). Gerar um diretório para conteúdo do data lake
Fonte de metadados
Repositório de metadados no aplicativo
Repositório de metadados refere-se às tabelas físicas que armazenam metadados, muitas vezes incorporados em ferramentas de modelagem, ferramentas de BI e outros aplicativos
glossário de negócios
O objetivo de um glossário comercial é registrar e armazenar os conceitos, termos, definições de negócios de uma organização e as relações entre esses termos.
Tal como acontece com todos os sistemas orientados a dados, a concepção de um glossário de negócios deve considerar hardware, software, bancos de dados, processos e recursos humanos com diferentes funções e responsabilidades.
O aplicativo de glossário comercial precisa ser construído para atender aos requisitos funcionais de três usuários principais
usuário empresarial
Analistas de dados, analistas de pesquisa, gerentes e outros que usam glossários de negócios para compreender a terminologia e os dados
usuário técnico
Os usuários técnicos usam o glossário de negócios para projetar arquitetura, projetar sistemas e decisões de desenvolvimento e realizar análises de impacto
Especialista em gerenciamento de dados
Especialistas em gerenciamento de dados usam glossários de negócios para gerenciar e definir o ciclo de vida dos termos e aprimorar o conhecimento empresarial vinculando ativos de dados ao glossário
ferramentas de inteligência de negócios
Ferramentas de business intelligence geram vários metadados relacionados ao design de business intelligence
Ferramentas de gerenciamento de configuração
Uma ferramenta de gerenciamento de configuração ou banco de dados CMDB fornece a funcionalidade para gerenciar e manter metadados relacionados a ativos de TI, seus relacionamentos e os detalhes do contrato dos ativos.
Dicionário de dados
Um dicionário de dados define a estrutura e o conteúdo de um conjunto de dados, normalmente para um único banco de dados, aplicativo ou data warehouse
Existe um dicionário de dados para cada banco de dados, e o dicionário de dados em cada banco de dados não é universal.
Ferramentas de integração de dados
Muitas ferramentas de integração de dados usam executáveis para mover dados de um sistema para outro ou entre diferentes módulos dentro do mesmo sistema
Gerenciamento de banco de dados e catálogo do sistema
Os catálogos de banco de dados são uma fonte importante de metadados. Eles descrevem o conteúdo do banco de dados, o tamanho das informações, a versão do software e outros atributos de metadados operacionais.
A forma mais comum de banco de dados é o relacional, que gerencia dados como um conjunto de tabelas e colunas
As soluções de metadados devem ser capazes de se conectar a vários bancos de dados e conjuntos de dados e ler todos os metadados expostos pelo banco de dados
Ferramenta de gerenciamento de mapeamento de dados
As ferramentas de gerenciamento de mapeamento são usadas durante as fases de análise e design dos projetos, convertendo requisitos em especificações de mapeamento, que são então usadas diretamente pelas ferramentas de integração de dados ou usadas pelos desenvolvedores para gerar código de integração de dados.
Ferramentas de qualidade de dados
As ferramentas de qualidade de dados avaliam a qualidade dos dados validando planos
dicionários e diretórios
Os dicionários e glossários de dados contêm informações detalhadas sobre termos, tabelas e campos, mas os dicionários ou catálogos contêm informações sobre os sistemas, fontes e locais de dados organizacionais relevantes.
ferramenta de mensagens de eventos
As ferramentas de mensagens de eventos movem dados entre diferentes sistemas, exigem metadados extensos e geram metadados que descrevem a movimentação
Ferramentas de modelagem e repositórios
Ferramentas de modelagem de dados são usadas para construir vários tipos de modelos de dados: modelos conceituais, lógicos e físicos
Banco de dados de referência
Os dados de referência registram o valor comercial e a descrição de vários tipos de dados enumerados para uso no contexto do sistema
Serviço de registro
Outros armazenamentos de metadados
Tipo de esquema de metadados
Arquitetura centralizada de metadados
Uma arquitetura centralizada de metadados consiste em um único repositório de metadados que inclui cópias de metadados de fontes separadas
Organizações com recursos de TI limitados, ou aquelas que buscam automatizar o máximo possível, podem optar por evitar esta opção arquitetônica.
As organizações que buscam um alto grau de consistência em um repositório público de metadados podem se beneficiar de uma arquitetura centralizada de metadados
vantagem
Altamente disponível porque é independente do sistema de origem
Recuperação rápida de metadados porque as funções de repositório e consulta estão juntas
Resolve problemas de estrutura de banco de dados para que não sejam afetados por propriedades exclusivas de terceiros ou sistemas comerciais
Ao extrair metadados, você pode convertê-los, personalizá-los ou complementá-los com metadados de outros sistemas de origem para melhorar a qualidade dos metadados.
deficiência
Processos complexos devem ser usados para garantir que as alterações na fonte de metadados sejam rapidamente sincronizadas com o repositório
Manter um repositório centralizado pode ser caro
A extração de metadados pode exigir módulos personalizados ou middleware
processo
Repositório centralizado expõe um portal para usuários finais enviarem consultas
O portal de metadados passa a solicitação para o repositório centralizado de metadados, que atenderá a solicitação com os metadados coletados
Como vários metadados são coletados em um repositório centralizado, os metadados coletados por diversas ferramentas podem ser pesquisados globalmente
Arquitetura de metadados distribuídos
Uma arquitetura totalmente distribuída mantém um único ponto de acesso
Os mecanismos de busca de metadados respondem às solicitações dos usuários recuperando dados dos sistemas de origem em tempo real
Arquitetura de metadados distribuídos sem banco de dados persistente
vantagem
Os metadados são sempre tão atualizados e válidos quanto possível porque são recuperados diretamente de sua fonte de dados
A consulta é distribuída, melhorando potencialmente a eficiência da resposta e do processamento
As solicitações de metadados de sistemas proprietários são limitadas ao processamento de consultas sem exigir conhecimento detalhado de estruturas de dados proprietárias, minimizando assim o esforço necessário para implementar e manter
O processamento automatizado de consultas de metadados pode ser mais simples de desenvolver, exigindo apenas uma intervenção humana mínima
Processamento em lote reduzido, sem cópia de metadados e processo de sincronização
deficiência
Itens de metadados definidos pelo usuário ou inseridos manualmente não podem ser suportados porque não há repositório para colocar essas adições
Os metadados de diferentes sistemas precisam ser apresentados em um método de exibição unificado e padronizado
A funcionalidade de consulta é afetada pela disponibilidade do sistema de origem
A governança dos metadados depende inteiramente do sistema de origem
processo
Não há repositório de metadados centralizado, o portal passa as solicitações do usuário para a ferramenta apropriada para execução
Como os metadados não são coletados de diversas ferramentas para armazenamento centralizado e cada solicitação deve ser delegada ao sistema de origem, não há capacidade de pesquisa global em diversas fontes de metadados.
Arquitetura híbrida de metadados
A arquitetura híbrida combina as características de arquiteturas centralizadas e distribuídas, os metadados ainda se movem diretamente do sistema de origem para o repositório centralizado, mas o design do repositório considera apenas metadados adicionados pelo usuário, metadados padronizados importantes e adicionados por meio de metadados de fontes manuais
A arquitetura se beneficia da recuperação e aumento quase em tempo real de metadados da fonte para melhor atender às necessidades do usuário quando necessário.
Com base nas prioridades e requisitos do usuário, os metadados são usados da forma mais atualizada e eficiente possível
A arquitetura híbrida não melhora a disponibilidade do sistema
Benéfico para organizações com metadados operacionais em rápida mudança que exigem uma organização de metadados unificada e consistente e onde os metadados e as fontes de metadados estão crescendo substancialmente
Para organizações com metadados principalmente estáticos ou pequenos incrementos de metadados, seu potencial pode não ser realizado.
Arquitetura de metadados bidirecional
Ele permite que os metadados sejam alterados em qualquer parte do esquema (fonte, integração de dados, interface do usuário) e, em seguida, sincroniza as alterações do repositório (agente) com sua fonte original para permitir feedback
Atividade
Defina uma estratégia de metadados
Entenda os requisitos de metadados
Definir esquema de metadados
Criar metamodelo
Criar um modelo de dados para um repositório de metadados, também chamado de metadados, é a primeira etapa do design após definir uma estratégia de metadados e compreender os requisitos de negócios.
Aplicar padrões de metadados
Gerenciar armazenamento de metadados
Criar e manter metadados
Integrar metadados
Verificação do repositório de metadados Existem duas maneiras diferentes
interface dedicada
Abordagem de etapa única
O scanner coleta metadados do sistema de origem e chama diretamente o carregador específico do formato para carregar os metadados no armazenamento de metadados.
Nesse processo, não há necessidade de gerar nenhum arquivo de metadados intermediário, e a coleta e o carregamento dos metadados também são concluídos em uma única etapa.
interface semiprivada
Use uma abordagem em duas etapas
O scanner coleta metadados do sistema de origem e os envia para um arquivo de dados em um formato específico
O scanner produz apenas arquivos de dados que o repositório de destino pode ler e carregar corretamente
Os arquivos de dados podem ser lidos de diversas maneiras, portanto a arquitetura desta interface é mais aberta
Uma área de armazenamento temporário de metadados não persistente pode ser usada para armazenar arquivos temporários e de backup. A área de armazenamento temporário deve suportar o processamento de reversão e recuperação e fornecer informações temporárias de trilha de auditoria para ajudar os administradores do repositório a rastrear a origem dos metadados ou problemas de qualidade.
A área de armazenamento temporário pode ter a forma de um diretório de arquivos ou banco de dados
Distribuir e entregar metadados
Consultar, relatar e analisar metadados
ferramenta
A principal ferramenta para gerenciar metadados é o repositório de metadados
As ferramentas de gerenciamento de metadados fornecem a capacidade de gerenciar metadados em um local de repositório centralizado
Os metadados podem ser inseridos manualmente ou extraídos de várias outras fontes através de conectores especializados
O repositório de metadados também fornece funcionalidade para troca de metadados com outros sistemas
método
Linhagem de dados e análise de impacto
Um aspecto importante da descoberta e registro de metadados para ativos de dados é que isso fornece informações sobre como os dados se movem entre sistemas.
A limitação da criação de linhagem de dados reside na cobertura do sistema de gerenciamento de metadados
Repositórios de metadados específicos de função ou ferramentas de visualização de dados fornecem informações de linhagem de dados dentro do seu escopo de gerenciamento e não serão capazes de fornecer informações relevantes além do seu escopo de gerenciamento.
O sistema de gerenciamento de metadados importa a "linhagem de implementação" por meio de ferramentas que podem fornecer detalhes da linhagem de dados e a complementa obtendo detalhes de implementação de arquivos de "linhagem de design" que não podem ser extraídos automaticamente.
O processo de união das diversas partes da linhagem de dados é chamado de “costura”, e o resultado da costura é uma vista panorâmica que representa o movimento dos dados de seu local original até seu local final.
Para descobrir com êxito as relações de parentesco de dados, é necessário levar em conta tanto o foco comercial quanto o foco técnico.
foco nos negócios
Encontre a relação sanguínea dos elementos de dados com base nas prioridades de negócios
Rastreie desde o local de destino até o sistema de origem onde os dados específicos foram originados
foco em tecnologia
Comece com o sistema de origem para identificar os usuários de dados diretamente relacionados e, em seguida, identifique os usuários de dados indiretos até que todos os sistemas sejam identificados.
Linhagem de dados
de baixo para cima
Análise de impacto
de cima para baixo
Metadados aplicados à coleta de big data
Seja interno ou externo, não há necessidade de mover dados para o mesmo local físico
Através de novas tecnologias, os programas girarão em torno de dados em vez de movê-los para programas, o que pode reduzir grandes quantidades de movimentação de dados e aumentar a velocidade de execução do programa.
Guia de implementação
Avaliação de Prontidão/Avaliação de Risco
Mudança organizacional e cultural
sub tópico
Governança de metadados
controle do processo
Documentação para soluções de metadados
Padrões e Diretrizes de Metadados
Métricas
Integridade do repositório de metadados
Maturidade do gerenciamento de metadados
Pessoal dedicado
Uso de metadados
atividades de terminologia empresarial
Conformidade de dados do Master Data Services
Qualidade do documento de metadados
Disponibilidade do repositório de metadados