Galerie de cartes mentales Qualité des données
;Dama système de connaissances, la qualité des données est la mesure dans laquelle les données répondent aux objectifs des consommateurs de données et peuvent répondre aux besoins spécifiques des scénarios commerciaux dans un environnement commercial.
Modifié à 2024-04-07 10:12:18Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Qualité des données
introduction
Facteurs conduisant à des données de mauvaise qualité
1. Les organisations ne comprennent pas l’impact des données de mauvaise qualité
2. Manque de planification
3. Le système insulaire implique
4. Processus de développement incohérent
5. Documentation incomplète
6. Absence de normes ou manque de gouvernance, etc.
La gestion de la qualité des données n'est pas un projet, mais un effort continu
diagramme de contexte
définition
Pour garantir que les besoins des consommateurs de données sont satisfaits, des techniques de gestion des données sont appliquées aux activités de gestion telles que la planification, la mise en œuvre et le contrôle.
Cible
Développer une approche de gestion qui rend les données adaptées à leur objectif en fonction des besoins des utilisateurs de données
Définir les normes, exigences et spécifications pour le contrôle de la qualité des données dans le cadre du cycle de vie des données
Définir et mettre en œuvre des processus pour mesurer, surveiller et rapporter les niveaux de qualité des données
Identifier et améliorer les opportunités de qualité des données grâce à des améliorations des processus et des systèmes
entrer
Politiques et normes en matière de données
Attentes en matière de qualité des données
Les besoins de l'entreprise
Règles commerciales
Exigences en matière de données
métadonnées commerciales
métadonnées techniques
Sources de données et stockage des données
Lignage des données
Activité
1. Données régulières de haute qualité (P)
2. Définir la stratégie de qualité des données (P)
3. Identifier les données clés et les règles métier (P)
1) Identifier les données clés
2) Identifier les règles et modèles existants
4. Effectuer une première évaluation de la qualité des données (P)
1) Identifier et prioriser les problèmes
2) Analyse des causes profondes des problèmes d'exécution
5. Identifier et prioriser les améliorations
1) Prioriser les actions en fonction de leur impact business
2) Développer des mesures préventives et correctives
3) Confirmer les actions planifiées
6. Définir les opérations de qualité des données (P)
7. Développer et déployer des opérations de qualité des données (D)
1) Élaborer des règles de fonctionnement de la qualité des données
2) Corriger les défauts de qualité des données
3) Mesurer et surveiller la qualité des données
4) Rapporter les niveaux de qualité des données et les résultats
Livrables
Stratégie et cadre de qualité des données
Organisation de planification de la qualité des données
Profilage des données
Recommandations basées sur l'analyse des causes profondes du problème
Procédures de gestion de la qualité des données
Rapport sur la qualité des données
Rapport sur la gouvernance de la qualité des données
Accord de niveau de service de qualité des données
Politiques et directives en matière de données
méthode
Plusieurs recoupements par vous-même
Étiqueter et annoter les problèmes de données
Analyse de la cause originelle
Contrôle des processus statistiques
outil
Outils d’analyse et de requête de données
Modèle de règles de qualité des données
Module d'assurance qualité et de code d'audit
référentiel de métadonnées
Métrique
Mesures de cohérence de la gouvernance
Mesures de la qualité des données
Tendances en matière de qualité des données
Métriques de gestion des problèmes de données
Cartographie contextuelle – Qualité des données
moteurs d'activité
1. Possibilités d'augmenter la valeur des données organisationnelles et leur utilisation
2. Réduire les risques causés par des données de mauvaise qualité
3. Améliorer l’efficacité et la productivité organisationnelles
4. Protéger et améliorer la réputation de l’organisation
principe de but
objectifs de gestion
1) En fonction des besoins des consommateurs de données, développer une approche gérée pour adapter les données aux exigences.
2) Définir des normes et des spécifications pour le contrôle de la qualité des données et les intégrer à l'ensemble du cycle de vie des données.
3) Définir et mettre en œuvre des processus pour mesurer, surveiller et rapporter les niveaux de qualité des données.
La direction suit des principes
1) Importance.
La gestion de la qualité des données doit se concentrer sur les données les plus importantes pour l'entreprise et ses clients, et les améliorations doivent être priorisées en fonction de l'importance des données et du niveau de risque si les données sont incorrectes.
2) Gestion complète du cycle de vie.
La gestion de la qualité des données doit couvrir l'ensemble du cycle de vie des données, depuis leur création ou leur création jusqu'à leur élimination, y compris la gestion des données lorsqu'elles circulent au sein et entre les systèmes (chaque maillon de la chaîne de données doit garantir que les données produisent des résultats de haute qualité) .
3) Prévention.
Un programme de qualité des données doit se concentrer sur la prévention des erreurs de données et des situations qui réduisent la disponibilité des données, et non sur la simple correction des enregistrements.
4) Correction des causes profondes.
Améliorer la qualité des données ne se limite pas à corriger les erreurs. Étant donné que les problèmes de qualité des données sont souvent liés à la conception des processus ou des systèmes, l'amélioration de la qualité des données nécessite souvent de modifier les processus et les systèmes qui les prennent en charge, et pas seulement de les comprendre et de les résoudre.
5) Gouvernance.
Les activités de gouvernance des données doivent soutenir le développement de données de haute qualité, et les activités de planification de la qualité des données doivent soutenir et maintenir un environnement de données gouverné.
6) Pilote standard.
Toutes les parties prenantes du cycle de vie des données auront des exigences en matière de qualité des données. Dans la mesure du possible, des exigences quantifiables en matière de qualité des données doivent être définies sous la forme de normes et d’attentes mesurables.
7) Mesure objective et transparence.
Les niveaux de qualité des données doivent être mesurés de manière objective et cohérente. Les processus et méthodes de mesure doivent être discutés et partagés avec les parties prenantes car ce sont elles qui sont les arbitres de la qualité.
8) Intégrez les processus métier.
Les propriétaires de processus métier sont responsables de la qualité des données générées par leurs processus et doivent mettre en œuvre des normes de qualité des données dans leurs processus.
9) Application du système.
Les propriétaires du système doivent appliquer les exigences de qualité des données sur le système.
10) Lié au niveau de service.
Les rapports sur la qualité des données et la gestion des problèmes doivent être intégrés dans les accords de niveau de service (SLA).
concept de base
Qualité des données
Le terme qualité des données fait référence à la fois aux caractéristiques pertinentes des données de haute qualité et aux processus utilisés pour mesurer ou améliorer la qualité des données.
données clé
La plupart des organisations disposent de grandes quantités de données, mais toutes les données n’ont pas la même importance. Un principe de la gestion de la qualité des données consiste à concentrer les améliorations sur les données les plus importantes pour l'organisation et ses clients.
Évaluer les besoins en données critiques
1. Rapports réglementaires
2. Rapports financiers
3. Politique commerciale
4. Continuité de l'exploitation
5. Stratégie commerciale, notamment stratégie concurrentielle différenciée
Dimensions de la qualité des données
Une dimension de qualité des données est une caractéristique mesurable des données
Trois missions les plus marquantes
Le cadre Strong-Wang se concentre sur les perspectives des consommateurs de données sur les données.
Dans son livre « Data Quality in the Information Age », Thomas Redman a développé un ensemble de dimensions de qualité des données basées sur la structure des données. Redman définit un élément de données comme un « triple représentable » : une collection d'attributs et de valeurs d'entité.
Dans son livre « Improving Data Warehousing and Business Information Quality », Larry English a proposé un ensemble d'indicateurs complets, divisés en deux catégories : les caractéristiques inhérentes et les caractéristiques pratiques. Les fonctionnalités intrinsèques n'ont rien à voir avec l'utilisation des données. Les fonctionnalités pratiques sont dynamiques et liées à l'expression des données. Leur valeur de qualité dépend de l'utilisation des données.
6 dimensions fondamentales de la qualité des données
1) Complétude. Volume de données stockées en pourcentage du volume de données potentiel
2) Unicité. Les instances d'entités (choses) ne doivent pas être enregistrées plusieurs fois sur la base d'une reconnaissance d'objet satisfaisante.
3) Rapidité. La mesure dans laquelle les données représentent la réalité à partir du moment demandé.
4) Efficacité. Les données sont valides si elles sont conformes à leur syntaxe définie (format, type, plage).
5) Précision. La mesure dans laquelle les données décrivent avec précision l'objet ou l'événement du « monde réel » décrit.
6) Cohérence. Comparez les différences entre diverses expressions et définitions de choses.
Qualité des données et métadonnées
Les métadonnées sont essentielles à la gestion de la qualité des données. La qualité des données consiste à répondre aux attentes, et les métadonnées sont le principal moyen de clarifier les attentes.
Cycle de vie de l’amélioration de la qualité des données
Méthodes courantes pour améliorer la qualité des données
Le cercle de Deming est un modèle de résolution de problèmes connu sous le nom de « planifier-faire-vérifier-agir ».
P : planifier
D : Exécuter
C : Vérifier
A : Action/processus
Types de règles métier de qualité des données
1) Définir la cohérence.
Confirmer que les définitions de données sont comprises de manière identique et sont mises en œuvre et utilisées correctement dans toute l'organisation ;
2) Valoriser l’existence et l’exhaustivité des enregistrements.
Règles définissant si les valeurs manquantes sont acceptables
3) Conformité du format.
Une valeur attribuée à un élément de données selon un modèle spécifié, tel qu'une norme de formatage des numéros de téléphone
4) Correspondance de plage de valeurs.
L'affectation de l'élément de données spécifié doit être incluse dans la valeur d'énumération d'un certain champ de valeur de données. Par exemple, la valeur raisonnable du champ d'état est le code postal américain à 2 caractères.
5) Cohérence de la portée.
L'attribution des éléments de données doit se situer dans un nombre, un dictionnaire ou une plage de temps définie, telle qu'une plage de nombres supérieure à 0 et inférieure à 100.
6) Cohérence de la cartographie.
Représente une valeur attribuée à un élément de données qui doit correspondre à une valeur sélectionnée qui correspond à une autre plage de valeurs correspondante équivalente.
7) Règles de cohérence.
Fait référence à la détermination conditionnelle de la relation entre deux (ou plusieurs) attributs en fonction des valeurs réelles de ces attributs.
8) Vérification de l'exactitude.
Comparez la valeur des données à la valeur correspondante dans le système d'enregistrement ou dans une autre source de vérification (telle que des données marketing achetées auprès du fournisseur) pour vérifier que les valeurs correspondent.
9) Vérification de l'exactitude.
Règles qui spécifient quelles entités doivent avoir des représentations uniques et avoir exactement un enregistrement pour chaque représentation d'un objet du monde réel.
10) Vérification de la ponctualité.
Règles indiquant les caractéristiques censées être associées à l’accessibilité et à la convivialité des données.
Causes courantes des problèmes de qualité des données
1) Problèmes causés par le manque de leadership
2) Problèmes causés par le processus de saisie des données
3) Problèmes causés par les fonctions de traitement des données
4) Problèmes causés par la conception du système
5) Résoudre les problèmes causés par le problème
Profilage des données : le profilage des données est une forme d'analyse des données utilisée pour examiner les données et évaluer leur qualité.
méthode
Action corrective
Effectuer des méthodes de correction des données
1. Correction automatique
2. Inspection et correction manuelles
3. Correction manuelle
Mesures efficaces de la qualité des données
fonctionnalité
1) Mesurabilité.
2) Pertinence commerciale.
3) Acceptabilité.
4) Système de responsabilité/gestion.
5) Contrôlabilité.
6) Analyse des tendances.
qualité des donnéesgouvernance des données
Métrique
Indicateurs de haut niveau de qualité des données
1) Retour sur investissement
2) Niveau de qualité
3) Tendances en matière de qualité des données
4) Indicateurs de gestion des problèmes de données
5) Cohérence des niveaux de service
6) Diagramme schématique du plan de qualité des données