Galerie de cartes mentales Ingénieur en gouvernance des données DAMA-CDGA-10. Données de référence et données de base.
La gestion des données de référence et des données de référence garantit que l'organisation dispose de données de référence et de données de référence complètes, cohérentes, à jour et faisant autorité dans chaque processus, et réduit le coût d'utilisation et d'intégration des données en adoptant des modèles de données et d'intégration standard et communs. modes et complexité.
Modifié à 2024-03-05 20:27:15Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
10. Données de référence et données de base
introduction
Aperçu
1. Données de base : pour les données partagées, améliorez la qualité des données en établissant des normes de données.
2. Difficulté des données maîtres : comment identifier les données maîtres
3. Comment identifier
Si l'entité est partagée
Attributs importants et relativement stables
arrière-plan
Dans toute organisation, il existe des données qui doivent être utilisées dans tous les domaines d'activité, processus et systèmes.
Si ces données sont partagées, l’ensemble de l’organisation et ses clients en bénéficient
Les activités organisationnelles basées sur les données se concentrent souvent sur les données transactionnelles (augmenter les ventes ou la part de marché, réduire les coûts, démontrer la conformité, etc.), mais la capacité à exploiter ces données transactionnelles dépend fortement de la disponibilité et de la qualité des données de référence et de référence.
Pilotes de gestion des données de référence
Répondre aux besoins en matière de données organisationnelles
Plusieurs secteurs d'activité de l'organisation ont besoin d'accéder aux mêmes ensembles de données et ils ont confiance que ces ensembles de données sont complets, à jour et cohérents.
Les données de base constituent la base de ces ensembles de données
Gérer la qualité des données
La gestion des données de référence définit les entités critiques pour l'organisation grâce à l'utilisation d'une identité unifiée.
Gérer les coûts d'intégration des données
L'intégration de nouvelles sources de données dans un environnement déjà complexe est plus coûteuse sans données de référence
Cela réduit les coûts supplémentaires résultant des changements dans la façon dont les entités clés sont définies et identifiées.
réduire le risque
Les données de référence simplifient l'architecture de partage de données, réduisant ainsi les risques
Pilotes de gestion des données de référence
Répondez aux besoins en données de plusieurs projets et réduisez le risque et le coût de l'intégration des données en utilisant des données de référence cohérentes.
Améliorer la qualité des données
Cible
Veiller à ce que l'organisation dispose de données de référence et de référence complètes, cohérentes, à jour et faisant autorité dans tous les processus.
Encourager les entreprises à partager des données de référence et des données de base entre diverses unités commerciales et systèmes d'application
Réduisez le coût et la complexité de l’utilisation et de l’intégration des données en adoptant des modèles de données et des modes d’intégration standards et communs.
en principe
Partager des données
Afin de partager des données de référence et des données de référence au sein d'une organisation, ces données doivent être gérées
la possession
La propriété des données de référence et des données de base doit appartenir à l'organisation et non à un système ou à un service.
Parce qu’elle doit être largement partagée, une gestion organisationnelle globale est nécessaire
qualité
Les données de référence et les données de référence nécessitent un contrôle continu de la qualité et de la qualité des données.
Responsabilités de gestion
Les spécialistes en gestion de données métiers sont chargés de contrôler et d’assurer la qualité des données de référence
Contrôler les changements
À un moment donné, les valeurs des données de référence doivent représenter la meilleure compréhension qu'a l'organisation de ce qui est précis et à jour.
Les règles de correspondance pour modifier les valeurs des données doivent être utilisées avec prudence et sous supervision appropriée
Toute opération qui fusionne ou divise les données principales et de référence doit être traçable
Les modifications apportées aux données de référence doivent suivre un processus clair : les modifications doivent être communiquées et approuvées avant d'être mises en œuvre.
Autorisations
Les valeurs des données de base ne doivent être copiées qu'à partir du système d'enregistrement
Afin de parvenir au partage inter-organisationnel des données de base, il peut être nécessaire d'établir un système de gestion des données de référence.
concept de base
La différence entre les données de base et les données de référence
donnée principale
Les données de base nécessitent d'identifier et de développer une version d'instance fiable pour chaque instance d'une entité conceptuelle et de maintenir la devise de cette version.
Le défi avec les données de base est la résolution d'entités, qui est le processus d'identification et de gestion des associations entre les données provenant de systèmes et de processus disparates.
Les entités et instances représentées par chaque ligne de données maître ont des expressions différentes dans différents systèmes.
La gestion des données de référence consiste à éliminer ces différences afin que les entités et instances individuelles puissent être identifiées de manière cohérente dans différents environnements.
Il convient de noter que ce processus doit être géré en permanence pour maintenir la cohérence des identités de ces entités et instances de données de base.
ressemblance
Les deux fournissent des informations contextuelles importantes pour la création et l'utilisation de données transactionnelles (les données de référence fournissent également un contexte pour les données primaires) afin de comprendre la signification des données.
Les deux sont des ressources partagées gérées au niveau de l’entreprise
Avoir plusieurs instances des mêmes données de référence réduira l'efficacité et entraînera inévitablement des incohérences entre les instances. L'incohérence entraînera une ambiguïté, et l'ambiguïté entraînera des risques pour l'organisation.
différent
Les données de référence ne changent pas facilement et leur ensemble de données est généralement plus petit, moins complexe et comporte moins de colonnes et de lignes qu'un ensemble de données de transaction ou un ensemble de données maître.
La gestion des données de référence n'inclut pas les défis de résolution d'entité
Différentes priorités de gestion
Gestion des données de référence
Besoin de contrôler les valeurs de domaine définies et leurs définitions
L'objectif est de garantir que les organisations ont accès à un ensemble complet de valeurs précises et à jour pour chaque concept.
Gestion des données de référence
Les valeurs et les identifiants des données de base doivent être contrôlés afin que les données les plus précises et les plus actuelles des principales entités commerciales puissent être utilisées de manière cohérente dans tous les systèmes.
Les objectifs consistent notamment à garantir l'exactitude et la convivialité des valeurs actuelles tout en atténuant les risques associés aux identifiants ambigus.
L’un des défis de la gestion des données de référence est de savoir qui dirige ou est responsable de la définition et de la maintenance des données de référence.
Certaines données de référence proviennent de l'extérieur de l'organisation qui les utilise, Ils traversent les frontières de l'organisation et appartiennent à plusieurs départements.
D'autres données de référence peuvent être créées et maintenues au sein d'un département, mais a une valeur potentielle dans d’autres parties de l’organisation
L'identification des responsabilités en matière d'acquisition de données et de gestion des mises à jour fait partie de la gestion des données de référence.
Le manque de responsabilité en matière de maintenance crée des risques, car des divergences dans les données de référence peuvent conduire à une mauvaise compréhension du contexte des données.
Étant donné que les données de base et de référence fournissent des informations contextuelles sur les transactions, elles façonnent les données transactionnelles qui entrent dans l'organisation au cours de son fonctionnement et soutiennent l'analyse du cadre des données transactionnelles.
Donnée de référence
Toute donnée pouvant être utilisée pour décrire ou classer d'autres données, ou pour relier des données à des informations extérieures à l'organisation.
La gestion des données de référence nécessite le contrôle et la maintenance des valeurs de domaine définies, des définitions et des valeurs entre les valeurs de domaine
L'objectif de la gestion des données de référence est de garantir que les valeurs référencées dans les différentes fonctions sont cohérentes, à jour et accessibles au sein de l'organisation.
Comme les autres données, les données de référence nécessitent des métadonnées
Un attribut important des métadonnées des données de référence est leur source, telle que l'organisme directeur des données de référence standard de l'industrie.
Structure des données de référence
liste
Les données de référence les plus simples sont une liste de valeurs de code et de descriptions de code
Liste de données de référence croisée
Différentes applications peuvent utiliser différents jeux de codes pour représenter le même concept
Les ensembles de données de référence croisée peuvent convertir entre les valeurs de code
taxonomie
Le système de données de référence classifiées obtient des informations basées sur des différences à différents niveaux.
Les données de référence catégorielles peuvent être stockées dans une relation récursive
Ontologie
Certaines organisations utilisent les ontologies utilisées pour gérer le contenu des sites Web dans le cadre de leurs données de référence, car les modèles d'ontologie sont également utilisés pour décrire d'autres données ou pour relier les données organisationnelles à des informations en dehors des limites organisationnelles.
Le modèle d'ontologie peut être compris comme une forme de métadonnées
Les meilleures pratiques pour la maintenance des ontologies sont similaires aux meilleures pratiques pour la gestion des données de référence
L'un des principaux cas d'utilisation d'Ontology est la gestion de contenu.
Données de référence propriétaires ou internes
De nombreuses organisations créent des données de référence pour prendre en charge les processus et applications internes.
Données de référence de l'industrie
Utilisé pour décrire un ensemble de données créé et maintenu par une association industrielle ou un organisme gouvernemental plutôt que par une organisation afin de fournir une norme commune pour coder des concepts importants.
Par exemple, les codes de la Classification internationale des maladies (CIM) constituent un moyen courant de classer les problèmes de santé et les traitements.
Données de référence géographiques ou géostatistiques
Peut être classé ou analysé sur la base d’informations géographiques
Par exemple, le Bureau du recensement rend compte de la densité de population, de la traduction des informations météorologiques historiques en catégories géographiques strictes.
Calculer les données de référence
De nombreuses activités commerciales reposent sur l’utilisation de données communes calculées en continu.
Par exemple, les calculs de change s'appuient sur des tableaux de taux de change bien gérés et à jour.
La principale différence entre les données informatiques de référence et les autres types de données de référence réside dans la fréquence à laquelle elles changent.
Métadonnées pour les ensembles de données de référence standard
Comme les autres données, les données de référence évoluent avec le temps
Parce qu'il est couramment utilisé dans diverses organisations, il est important de conserver les données clés dans des ensembles de données de référence pour garantir que leurs processus de lignée et de circulation sont compris et maintenus.
donnée principale
Les données de base sont des données sur les entités commerciales qui fournissent des informations contextuelles pour les transactions et analyses commerciales.
Les entités sont des objets dans le monde objectif
Les entités sont représentées par des entités et des instances sous forme de données et d'enregistrements.
Les données de base doivent représenter les données faisant autorité et les plus précises liées aux entités commerciales clés
système d'enregistrement, système de référence
Lorsque différentes versions d’une « vérité » peuvent exister, il faut les distinguer
Pour ce faire, il est nécessaire de savoir d’où proviennent les données ou d’où elles sont consultées, ainsi que l’utilisation et la finalité spécifiques pour lesquelles elles ont été préparées.
Un système d'enregistrement est un système faisant autorité qui crée, capture et conserve des données à l'aide d'un ensemble défini de règles et d'attentes.
Un système de référence est également un système faisant autorité. Les consommateurs de données peuvent récupérer des données fiables du système de référence pour prendre en charge les transactions et les analyses, même si les informations ne proviennent pas du système de référence.
Les applications de gestion des données de référence MDM, le centre de partage de données DSH et l'entrepôt de données DW sont souvent utilisés comme systèmes de référence.
Source fiable, disque d'or
Les sources fiables sont considérées comme la « meilleure version de la vérité »
Parmi les sources fiables, l'enregistrement qui représente les données les plus précises pour une entité ou une instance peut être appelé un enregistrement doré.
Gestion des données de référence
La gestion des données de base ne peut garantir l'utilisation cohérente des données les plus précises et les plus actuelles pour les principales entités commerciales dans tous les systèmes qu'en contrôlant les valeurs et les identifiants des données de base.
Les objectifs consistent notamment à garantir la disponibilité de valeurs précises et à jour tout en atténuant le risque d'identifiants ambigus.
étape
Identifiez les sources de données candidates qui fournissent une vue complète des entités de données de base
Développer des règles pour la correspondance exacte et la fusion d'entités et d'instances
Établir des méthodes pour identifier et récupérer les données qui ne correspondent pas correctement ou qui ne sont pas fusionnées
Établir un moyen de distribuer des données fiables aux systèmes de l'entreprise
Étapes clés du traitement dans la gestion des données de référence
Gestion des modèles de données
collecte de données
Validation, standardisation et enrichissement des données
Résolution d’entités et gestion des identifiants
Données de base du parti
ce sont des données sur les individus, les organisations et leurs rôles dans les relations commerciales
Données de base financières
Comprend des données sur les unités commerciales, les centres de coûts, les centres de profit, les comptes du grand livre, les budgets, les plans et les projets
Données de base légales
Comprend des données concernant les contrats, les réglementations et autres questions juridiques
Données de base du produit
PLM de gestion du cycle de vie des produits
PDM de gestion des données produit
Planification des ressources d'entrepriseERP
Système d'exécution de la fabrication MES
CRM de gestion de la relation client
données de base de localisation
Offre la possibilité de suivre et de partager des informations géographiques et de créer des hiérarchies ou des cartes basées sur des informations géographiques.
Données de base de l'industrie – Répertoire de référence
Un catalogue de référence est la liste faisant autorité d'entités de données de base (entreprises, personnes, produits, etc.) que les organisations peuvent acheter et utiliser comme base pour les transactions.
architecture de partage de données
Enregistrement
Le registre est un index des enregistrements de données de base dans divers systèmes d'enregistrement
Enregistrez les données de base locales sur l'application de gestion du système et accédez aux données de base en fonction de l'index principal.
Un registre est relativement facile à mettre en œuvre car il nécessite peu de modifications du système d'enregistrement.
Centre de commerce
Dans cette approche, chaque application interagit avec un système central pour accéder et mettre à jour les données de base.
Les données de base existent dans Trading Center et dans aucune autre application
Transaction Center est le système d'enregistrement des données de base
mode de fusion
Le mode hybride est un mélange de Registry et de Transaction Center
Enregistrer les données de base locales dans les applications de gestion du système
Les données de base sont consolidées dans un référentiel commun et partagées via un centre de partage de données, éliminant ainsi le besoin d'un accès direct depuis les systèmes d'enregistrement.
Activité
Activités de gestion des données de référence
Identifier les motivations et les besoins
Évaluer et évaluer les sources de données
Définir l'approche architecturale
Modélisation des données de base
Définir les responsabilités de gestion et les processus de maintenance
Mettre en place un système de gouvernance pour promouvoir l’utilisation des données de référence
Activités de gestion des données de référence
Définir les motivations et les besoins
Évaluer les sources de données
Définir l'approche architecturale
Données de référence de modélisation
Définir les responsabilités de gestion et les processus de maintenance
Mettre en place un système de gouvernance des données de référence
Outils et méthodes
La gestion des données de référence peut être réalisée grâce à des outils d'intégration de données, des outils de réparation de données, un stockage de données opérationnel ODS, un centre de partage de données DSH ou des applications spécialisées de gestion des données de référence.
Guide de mise en œuvre
Suivez l'architecture des données de référence
L'établissement et le suivi d'une architecture de référence appropriée sont essentiels à la gestion et au partage des données de référence au sein de l'organisation.
Détecter le flux de données
À mesure que les données circulent à travers les environnements partagés de données de référence et de référence, les flux de données associés doivent être surveillés aux fins suivantes :
Montrer comment les données sont partagées et utilisées au sein de l'organisation
Identifier la lignée des données dans les systèmes de gestion et les applications
Aider à l’analyse des causes profondes des problèmes
Démontrer l’efficacité des techniques d’intégration des données et d’intégration de la consommation
Présentation de la latence de la valeur des données à partir des systèmes sources via la consommation de données
Déterminer la validité des règles métier et des transformations effectuées dans les composants d'intégration
Gérer les modifications des données de référence
Les demandes de modification des données de référence doivent suivre un processus établi
accord de partage de données
Pour garantir un accès et une utilisation appropriés, un accord de partage doit être établi qui stipule quelles données peuvent être partagées et dans quelles conditions.
Changement organisationnel et culturel
Données de référence et gouvernance des données de référence
Décisions liées au processus de gouvernance
Métrique
Qualité et conformité des données
activité de modification des données
L'audit du lignage des données fiables est nécessaire pour améliorer la gouvernance des données dans les environnements de partage de données.
Acquisition et consommation de données
Ces mesures doivent montrer et suivre quels systèmes fournissent des données et quels domaines d'activité s'abonnent aux données dans un environnement partagé.
accord de niveau de service
Les SLA doivent être établis et communiqués aux contributeurs et aux abonnés pour garantir leur utilisation et leur adoption dans l'environnement de partage de données.
Couverture des spécialistes de la gestion des données
Ces mesures doivent se concentrer sur la personne ou l'équipe responsable du contenu des données et montrer à quelle fréquence la couverture est mesurée.
coût total de possession
Les coûts peuvent inclure l'infrastructure environnementale, les licences de logiciels, le personnel d'assistance, les frais de conseil, la formation, etc.
Volume et utilisation du partage de données
Les volumes de données et leur utilisation incorporés dans les données de base doivent être suivis pour déterminer l'efficacité de l'environnement de données.