Galeria de mapas mentais Engenheiro de governança de dados DAMA-CDGA-10. Dados de referência e dados mestres.
O gerenciamento de dados mestre e dados de referência garante que a organização tenha dados de referência e dados mestre completos, consistentes, atualizados e confiáveis em cada processo e reduz o custo de uso e integração de dados, adotando modelos de dados padrão e comuns e integração modos e complexidade.
Editado em 2024-03-05 20:27:15Microbiologia medica, Infezioni batteriche e immunità riassume e organizza i punti di conoscenza per aiutare gli studenti a comprendere e ricordare. Studia in modo più efficiente!
La teoria cinetica dei gas rivela la natura microscopica dei fenomeni termici macroscopici e le leggi dei gas trovando la relazione tra quantità macroscopiche e quantità microscopiche. Dal punto di vista del movimento molecolare, vengono utilizzati metodi statistici per studiare le proprietà macroscopiche e modificare i modelli di movimento termico delle molecole di gas.
Este é um mapa mental sobre uma breve história do tempo. "Uma Breve História do Tempo" é um trabalho científico popular com influência de longo alcance. Ele não apenas introduz os conceitos básicos da cosmologia e da relatividade, mas também discute os buracos negros e a expansão. Do universo. questões científicas de ponta, como inflação e teoria das cordas.
Microbiologia medica, Infezioni batteriche e immunità riassume e organizza i punti di conoscenza per aiutare gli studenti a comprendere e ricordare. Studia in modo più efficiente!
La teoria cinetica dei gas rivela la natura microscopica dei fenomeni termici macroscopici e le leggi dei gas trovando la relazione tra quantità macroscopiche e quantità microscopiche. Dal punto di vista del movimento molecolare, vengono utilizzati metodi statistici per studiare le proprietà macroscopiche e modificare i modelli di movimento termico delle molecole di gas.
Este é um mapa mental sobre uma breve história do tempo. "Uma Breve História do Tempo" é um trabalho científico popular com influência de longo alcance. Ele não apenas introduz os conceitos básicos da cosmologia e da relatividade, mas também discute os buracos negros e a expansão. Do universo. questões científicas de ponta, como inflação e teoria das cordas.
10. Dados de referência e dados mestre
introdução
Visão geral
1. Dados mestre: Para dados compartilhados, melhore a qualidade dos dados estabelecendo padrões de dados.
2. Dificuldade dos dados mestres: como identificar os dados mestres
3. Como identificar
Se a entidade é compartilhada
atributos importantes e relativamente estáveis
fundo
Em qualquer organização, existem dados que precisam ser usados em todas as áreas de negócios, processos e sistemas
Se esses dados forem compartilhados, toda a organização e seus clientes serão beneficiados
As atividades organizacionais orientadas por dados muitas vezes se concentram em dados transacionais (aumentar as vendas ou a participação no mercado, reduzir custos, demonstrar conformidade, etc.), mas a capacidade de aproveitar esses dados transacionais é altamente dependente da disponibilidade e qualidade dos dados de referência e mestres.
Drivers de gerenciamento de dados mestres
Atenda às necessidades de dados organizacionais
Várias áreas de negócios na organização precisam de acesso aos mesmos conjuntos de dados e confiam que esses conjuntos de dados estão completos, atualizados e consistentes
Os dados mestre são a base para esses conjuntos de dados
Gerencie a qualidade dos dados
O gerenciamento de dados mestre define entidades que são críticas para a organização por meio do uso de uma identidade unificada
Gerencie os custos de integração de dados
A integração de novas fontes de dados em um ambiente já complexo é mais dispendiosa sem dados mestres
Isto reduz custos adicionais decorrentes de mudanças na forma como as principais entidades são definidas e identificadas
reduzir o risco
Os dados mestre simplificam a arquitetura de compartilhamento de dados, reduzindo assim o risco
Drivers de gerenciamento de dados de referência
Atenda às necessidades de dados de vários projetos e reduza o risco e o custo da integração de dados usando dados de referência consistentes
Melhore a qualidade dos dados
Alvo
Garantir que a organização tenha referências e dados mestres completos, consistentes, atualizados e confiáveis em todos os processos
Incentivar as empresas a compartilhar dados de referência e dados mestres entre diversas unidades de negócios e sistemas aplicativos
Reduza o custo e a complexidade do uso e da integração de dados adotando modelos de dados e modos de integração padrão e comuns
em princípio
Compartilhar dados
Para que os dados de referência e os dados mestre sejam compartilhados em uma organização, esses dados devem ser gerenciados
propriedade
Os dados de referência e a propriedade dos dados mestre devem pertencer à organização, não a um sistema ou departamento
Porque precisa ser amplamente compartilhado, é necessária uma gestão organizacional global
qualidade
Dados de referência e dados mestres exigem monitoramento e qualidade contínuos da qualidade dos dados
Responsabilidades de gestão
Os especialistas em gerenciamento de dados empresariais são responsáveis por controlar e garantir a qualidade dos dados de referência
Controlar mudanças
Em um determinado momento, os valores dos dados mestres devem representar o melhor entendimento da organização sobre o que é preciso e atualizado
As regras de correspondência para alteração dos valores dos dados devem ser usadas com cautela e sob supervisão relevante
Qualquer operação que mescle ou divida dados mestre e de referência deve ser rastreável
As alterações nos dados de referência devem seguir um processo claro: as alterações devem ser comunicadas e aprovadas antes de serem implementadas
Permissões
Os valores dos dados mestres só devem ser copiados do sistema de registro
Para alcançar o compartilhamento interorganizacional de dados mestres, pode ser necessário estabelecer um sistema de gerenciamento de dados de referência
conceito básico
A diferença entre dados mestre e dados de referência
dados principais
Os dados mestre requerem a identificação e o desenvolvimento de uma versão de instância confiável para cada instância de uma entidade conceitual e a manutenção da atualidade dessa versão
O desafio dos dados mestres é a resolução da entidade, que é o processo de identificação e gerenciamento de associações entre dados de sistemas e processos distintos.
As entidades e instâncias representadas por cada linha de dados mestre possuem expressões diferentes em sistemas diferentes.
O gerenciamento de dados mestre visa eliminar essas diferenças para que entidades e instâncias individuais possam ser identificadas de forma consistente em diferentes ambientes.
Deve-se notar que este processo deve ser gerenciado continuamente para manter consistentes as identidades dessas entidades e instâncias de dados mestres.
semelhança
Ambos fornecem informações contextuais importantes para a criação e uso de dados transacionais (os dados de referência também fornecem contexto para dados primários), a fim de compreender o significado dos dados.
Ambos são recursos compartilhados gerenciados no nível empresarial
Ter múltiplas instâncias dos mesmos dados de referência reduzirá a eficiência e inevitavelmente levará a inconsistências entre as instâncias. A inconsistência levará à ambiguidade, e a ambiguidade trará riscos para a organização.
diferente
Os dados de referência não mudam facilmente e seu conjunto de dados é geralmente menor, menos complexo e tem menos colunas e linhas do que um conjunto de dados de transação ou um conjunto de dados mestre.
A gestão de dados de referência não inclui os desafios da resolução da entidade
Diferentes prioridades de gestão
Gerenciamento de dados de referência
Necessidade de controlar os valores de domínio definidos e suas definições
O objetivo é garantir que as organizações tenham acesso a um conjunto completo de valores precisos e atualizados para cada conceito
Gerenciamento de dados mestre
Os valores e identificadores dos dados mestres precisam ser controlados para que os dados mais precisos e oportunos das principais entidades comerciais possam ser usados de forma consistente em todos os sistemas
As metas incluem garantir a precisão e usabilidade dos valores atuais, ao mesmo tempo que mitiga os riscos associados a identificadores ambíguos
Um desafio no gerenciamento de dados de referência é quem lidera ou é responsável pela definição e manutenção dos dados de referência
Alguns dados de referência são obtidos fora da organização que os utiliza, Eles cruzam fronteiras dentro da organização e pertencem a mais de um departamento
Outros dados de referência podem ser criados e mantidos dentro de um departamento, mas tem valor potencial em outras partes da organização
Identificar responsabilidades pela aquisição de dados e gerenciar atualizações faz parte do gerenciamento de dados de referência
A falta de responsabilidade pela manutenção cria riscos, pois discrepâncias nos dados de referência podem levar a mal-entendidos do contexto dos dados
Como os dados mestre e de referência fornecem informações contextuais às transações, eles moldam os dados transacionais que entram na organização à medida que ela opera e apoiam a análise da estrutura dos dados transacionais.
Data de referência
Quaisquer dados que possam ser usados para descrever ou classificar outros dados ou para conectar dados a informações fora da organização
O gerenciamento de dados de referência requer o controle e manutenção de valores de domínio definidos, definições e valores entre valores de domínio
O objetivo do gerenciamento de dados de referência é garantir que os valores referenciados em diferentes funções sejam consistentes, atualizados e acessíveis dentro da organização.
Como outros dados, os dados de referência requerem metadados
Um importante atributo de metadados dos dados de referência é a sua fonte, como o órgão regulador dos dados de referência padrão da indústria.
Estrutura de dados de referência
lista
Os dados de referência mais simples são uma lista de valores de código e descrições de código
Lista de dados de referência cruzada
Diferentes aplicações podem usar diferentes conjuntos de códigos para representar o mesmo conceito
Conjuntos de dados de referência cruzada podem ser convertidos entre valores de código
taxonomia
O sistema de dados de referência classificados obtém informações com base em diferenças em diferentes níveis.
Dados de referência categóricos podem ser armazenados em um relacionamento recursivo
Ontologia
Algumas organizações usam as ontologias usadas para gerenciar o conteúdo do site como parte de seus dados de referência. Isso ocorre porque os modelos de ontologia também são usados para descrever outros dados ou para conectar dados organizacionais com informações fora dos limites organizacionais.
O modelo de ontologia pode ser entendido como uma forma de metadados
As melhores práticas para manutenção de ontologias são semelhantes às melhores práticas para gerenciamento de dados de referência
Um dos principais casos de uso da Ontologia é o gerenciamento de conteúdo
Dados de referência proprietários ou internos
Muitas organizações criam dados de referência para apoiar processos e aplicações internas
Dados de referência da indústria
Usado para descrever um conjunto de dados criado e mantido por uma associação industrial ou agência governamental, e não por uma organização, para fornecer um padrão comum para a codificação de conceitos importantes.
Por exemplo, os códigos da Classificação Internacional de Doenças (CID) fornecem uma forma comum de classificar condições e tratamentos de saúde.
Dados de referência geográfica ou geoestatística
Podem ser classificados ou analisados com base em informações geográficas
Por exemplo, o Census Bureau informa sobre a densidade populacional, tradução de informações meteorológicas históricas em categorias geográficas estritas
Calcular dados de referência
Muitas atividades comerciais dependem do uso de alguns dados comuns calculados continuamente
Por exemplo, os cálculos cambiais baseiam-se em tabelas de taxas de câmbio bem geridas e atualizadas.
A principal diferença entre dados de referência computacionais e outros tipos de dados de referência é a frequência com que eles mudam.
Metadados para conjuntos de dados de referência padrão
Como outros dados, os dados de referência mudam com o tempo
Por ser comumente usado em diversas organizações, é importante manter os dados principais em conjuntos de dados de referência para garantir que seus processos de linhagem e circulação sejam compreendidos e mantidos.
dados principais
Dados mestre são dados sobre entidades empresariais que fornecem informações contextuais para transações e análises comerciais
Entidades são objetos no mundo objetivo
As entidades são representadas por entidades e instâncias na forma de dados e registros.
Os dados mestre devem representar os dados confiáveis e mais precisos relacionados às principais entidades comerciais
sistema de registro, sistema de referência
Quando podem existir diferentes versões de uma “verdade”, é necessário distinguir entre elas
Para tal, é necessário saber de onde provêm ou são acedidos os dados, bem como a utilização e finalidade específica para a qual foram preparados.
Um sistema de registro é um sistema oficial que cria, captura e mantém dados usando um conjunto definido de regras e expectativas.
Um sistema de referência também é um sistema confiável. Os consumidores de dados podem recuperar dados confiáveis do sistema de referência para apoiar transações e análises, mesmo que as informações não sejam originárias do sistema de referência.
Aplicativos mestres de gerenciamento de dados MDM, centro de compartilhamento de dados DSH e data warehouse DW são frequentemente usados como sistemas de referência
Fonte confiável, disco de ouro
Fontes confiáveis são consideradas a “melhor versão da verdade”
Entre as fontes confiáveis, o registro que representa os dados mais precisos para uma entidade ou instância pode ser chamado de registro dourado
Gerenciamento de dados mestre
O gerenciamento de dados mestre só pode garantir o uso consistente dos dados mais precisos e oportunos para as principais entidades comerciais em todos os sistemas, controlando os valores e identificadores dos dados mestre.
As metas incluem garantir a disponibilidade de valores precisos e atualizados, ao mesmo tempo que mitigam o risco de identificadores ambíguos
etapa
Identifique fontes de dados candidatas que fornecem uma visão abrangente das entidades de dados mestres
Desenvolva regras para correspondência exata e fusão de entidades e instâncias
Estabeleça métodos para identificar e recuperar dados que não correspondam ou sejam mesclados adequadamente
Estabeleça uma maneira de distribuir dados confiáveis para sistemas em toda a empresa
Principais etapas de processamento no gerenciamento de dados mestre
Gerenciamento de modelo de dados
coleção de dados
Validação de dados, padronização e enriquecimento de dados
Resolução de entidades e gerenciamento de identificadores
Dados mestre do partido
são dados sobre indivíduos, organizações e suas funções nas relações comerciais
Dados mestre financeiros
Inclui dados sobre unidades de negócios, centros de custo, centros de lucro, contas contábeis, orçamentos, planos e projetos
Dados mestre legais
Inclui dados sobre contratos, regulamentos e outras questões legais
Dados mestre do produto
PLM de gerenciamento do ciclo de vida do produto
PDM de gerenciamento de dados de produtos
Planejamento de recursos empresariaisERP
Sistema de Execução de Fabricação MES
CRM de gerenciamento de relacionamento com o cliente
dados mestre de localização
Fornece a capacidade de rastrear e compartilhar informações geográficas e criar hierarquias ou mapas com base em informações geográficas
Dados Mestres do Setor - Diretório de Referência
Um catálogo de referência é a lista oficial de entidades de dados mestres (empresas, pessoas, produtos, etc.) que as organizações podem adquirir e usar como base para transações.
arquitetura de compartilhamento de dados
Registro
O registro é um índice para registros de dados mestres em vários sistemas de registro
Registre os dados mestre locais no aplicativo de gerenciamento do sistema e acesse os dados mestre com base no índice mestre
Um registro é relativamente fácil de implementar porque requer poucas alterações no sistema de registro
Centro comercial
Nesta abordagem, cada aplicação interage com um sistema central para acessar e atualizar dados mestres.
Os dados mestre existem no Trading Center e não em qualquer outro aplicativo
Transaction Center é o sistema de registro de dados mestre
modo de mistura
O modo híbrido é uma mistura de Registro e Centro de Transações
Registre dados mestre locais para aplicativos de gerenciamento de sistema
Os dados mestres são consolidados em um repositório comum e compartilhados através de um centro de compartilhamento de dados, eliminando a necessidade de acesso direto a partir de sistemas de registro
Atividade
Atividades de gerenciamento de dados mestres
Identifique motivadores e necessidades
Avalie e avalie fontes de dados
Definir abordagem arquitetônica
Modelagem de dados mestre
Definir responsabilidades de gerenciamento e processos de manutenção
Estabelecer um sistema de governança para promover o uso de dados mestres
Atividades de gerenciamento de dados de referência
Definir motivadores e necessidades
Avalie fontes de dados
Definir abordagem arquitetônica
Modelagem de dados de referência
Definir responsabilidades de gerenciamento e processos de manutenção
Estabeleça um sistema de governança de dados de referência
Ferramentas e métodos
O gerenciamento de dados mestres pode ser alcançado por meio de ferramentas de integração de dados, ferramentas de reparo de dados, ODS de armazenamento de dados operacionais, centro de compartilhamento de dados DSH ou aplicativos especializados de gerenciamento de dados mestres.
Guia de implementação
Siga a arquitetura de dados mestre
Estabelecer e seguir uma arquitetura de referência apropriada é fundamental para gerenciar e compartilhar dados mestres em toda a organização
Detectar fluxo de dados
À medida que os dados fluem através de ambientes compartilhados de dados mestres e de referência, os fluxos de dados associados devem ser monitorados para os seguintes propósitos
Mostre como os dados são compartilhados e usados em toda a organização
Identifique a linhagem de dados em sistemas e aplicativos de gerenciamento
Auxiliar na análise de causa raiz de problemas
Demonstrar a eficácia das técnicas de integração de dados e integração de consumo
Exibindo a latência do valor dos dados dos sistemas de origem por meio do consumo de dados
Determine a validade das regras de negócios e das transformações realizadas nos componentes de integração
Gerenciar alterações nos dados de referência
As solicitações de alterações nos dados de referência devem seguir um processo estabelecido
acordo de compartilhamento de dados
Para garantir o acesso e a utilização adequados, deve ser estabelecido um acordo de partilha que estipule quais os dados que podem ser partilhados e em que condições.
Mudança organizacional e cultural
Dados de referência e governança de dados mestres
Decisões do processo de governança
Métricas
Qualidade e conformidade dos dados
atividade de alteração de dados
A auditoria da linhagem de dados confiáveis é necessária para melhorar a governança de dados em ambientes de compartilhamento de dados
Aquisição e consumo de dados
Estas métricas devem mostrar e rastrear quais sistemas estão contribuindo com dados e quais áreas de negócios estão assinando dados em um ambiente compartilhado.
acordo de nível de serviço
Os SLAs devem ser estabelecidos e comunicados aos colaboradores e assinantes para garantir o uso e a adoção em todo o ambiente de compartilhamento de dados
Cobertura de especialista em gerenciamento de dados
Essas métricas devem focar na pessoa ou equipe responsável pelo conteúdo dos dados e mostrar com que frequência a cobertura é medida
custo total de propriedade
Os custos podem incluir infraestrutura ambiental, licenças de software, pessoal de suporte, honorários de consultoria, treinamento, etc.
Volume e uso de compartilhamento de dados
Os volumes de dados e o uso incorporados aos dados mestres precisam ser rastreados para determinar a eficácia do ambiente de dados