1. Comece primeiro com dados importantes

2. PDCA

3. Avalie as dimensões da governança de dados

4. Análise de causa raiz

5. Relatório de qualidade de dados

O pré-requisito para perceber o valor dos dados é que os próprios dados sejam fiáveis ​​e dignos de confiança. Por outras palavras, os dados devem ser de alta qualidade.

Todos os princípios de gestão de dados devem ajudar a melhorar a qualidade dos dados, e apoiar o uso de dados de alta qualidade pela organização deve ser o objetivo de todos os princípios de gestão de dados.

Tal como a governação de dados e a gestão geral de dados, a gestão da qualidade dos dados não é um projeto, mas um esforço contínuo

incluir

As organizações que procuram obter valor dos seus dados reconhecem que dados de alta qualidade são mais valiosos do que dados de baixa qualidade.

Usar dados de baixa qualidade está repleto de riscos

Dados de alta qualidade não são um fim em si; são um meio para o sucesso organizacional.

Com base nas necessidades dos consumidores de dados, desenvolva uma abordagem gerenciada para adaptar os dados aos requisitos

Definir padrões e especificações para controle de qualidade de dados como parte de todo o ciclo de vida dos dados

Definir e implementar processos para medir, monitorar e reportar níveis de qualidade de dados

importância

Gerenciamento completo do ciclo de vida

prevenção

correção da causa raiz

governança

Driver padrão

Medição objetiva e transparência

Incorporar processos de negócios

Aplicação do sistema

associado a níveis de serviço

refere-se às características relevantes de dados de alta qualidade

Também se refere ao processo usado para medir e melhorar a qualidade dos dados

alta qualidade

baixa qualidade

A qualidade dos dados depende do cenário dos dados e das necessidades dos consumidores de dados

A maioria das organizações possui grandes quantidades de dados, mas nem todos os dados são igualmente importantes

Um princípio do gerenciamento da qualidade de dados é focar as melhorias nos dados que são mais importantes para a organização e os clientes.

Isso esclarece o escopo do projeto e permite que ele tenha um impacto direto e mensurável nas necessidades do negócio.

Avalie os principais dados

figura

Uma dimensão de qualidade de dados é uma característica mensurável dos dados

As dimensões de qualidade de dados fornecem um conjunto de vocabulário que define os requisitos de qualidade de dados

Estas definições de dimensão permitem a avaliação da qualidade inicial dos dados e a eficácia das melhorias contínuas.

As dimensões são a base para as regras de medição

Dimensões principais DAMA

Os metadados são essenciais para gerenciar a qualidade dos dados

A qualidade dos dados depende de quão bem eles atendem às necessidades dos consumidores de dados

A qualidade dos dados tem a ver com atender às expectativas, e os metadados são o principal meio de esclarecer as expectativas

Metadados bem gerenciados também podem apoiar esforços de melhoria da qualidade dos dados

Melhorar a qualidade dos dados requer melhorar a capacidade de avaliar a relação entre entradas e saídas para garantir que as entradas atendam aos requisitos do processo e que as saídas sejam as esperadas

Fase de Planejamento P

Fase de execução D

Verifique o estágio C

Estágio de Processamento A

O custo de obter os dados corretos na primeira vez é muito menor do que o custo de obter os dados errados e corrigi-los

O custo de introduzir qualidade em um processo de gerenciamento de dados desde o início é menor que o custo de transformá-lo

As regras de negócios de qualidade de dados descrevem os dados úteis e a forma como os dados estão disponíveis na organização

Estas regras precisam cumprir os requisitos da dimensão qualidade e são usadas para descrever os requisitos de qualidade dos dados.

Problemas causados ​​pela falta de liderança

Problemas causados ​​pelo processo de entrada de dados

Problemas causados ​​por funções de processamento de dados

Problemas causados ​​pelo design do sistema

Resolver problemas causados ​​por problemas

O perfil de dados é uma forma de análise de dados usada para examinar os dados e avaliar a qualidade

O perfil de dados usa técnicas estatísticas para descobrir a verdadeira estrutura, conteúdo e qualidade das coletas de dados

O mecanismo de criação de perfil gera estatísticas que os analistas podem usar para identificar padrões no conteúdo e na estrutura dos dados

Por exemplo

Embora a criação de perfis seja uma forma eficaz de compreender os dados, é apenas o primeiro passo para melhorar a qualidade dos dados, permitindo que as organizações identifiquem potenciais problemas.

A resolução de problemas também requer outras formas de análise, incluindo análise de processos de negócios, análise de linhagem de dados e análise mais profunda de dados que podem ajudar a isolar a causa raiz do problema.

Embora os esforços de melhoria da governação de dados se concentrem na prevenção de erros, a qualidade dos dados também pode ser melhorada através de alguma forma de processamento de dados.

Limpeza de dados

aumento de dados

Análise e formatação de dados

Conversão e padronização de dados

Gerenciar regras de governança de dados

Meça e monitore a qualidade dos dados

Desenvolver procedimentos operacionais para gerenciar problemas de dados

Desenvolver acordo de nível de serviço de qualidade de dados

Escreva relatórios de qualidade de dados

As ferramentas de perfil de dados geram estatísticas de alto nível que permitem aos analistas identificar padrões nos dados e fazer avaliações iniciais das características de qualidade

As ferramentas de criação de perfil são particularmente importantes para os esforços de descoberta de dados, permitindo a avaliação de grandes conjuntos de dados

Ferramentas de criação de perfil, aprimoradas com recursos de visualização de dados, ajudarão no processo de descoberta

O perfil de dados é apenas o primeiro passo na análise de dados e ajuda a identificar possíveis problemas

Os membros da equipe de qualidade de dados também precisam consultar os dados mais profundamente para responder às questões levantadas pelos resultados da análise e encontrar padrões que possam fornecer insights sobre as causas básicas dos problemas de dados.

As ferramentas utilizadas para modelar dados e criar processos ETL têm impacto direto na qualidade dos dados

O uso dessas ferramentas pode levar a dados de maior qualidade se houver pensamento de dados no processo de utilização.

Se forem usados ​​cegamente sem a compreensão dos dados, podem ter efeitos prejudiciais

Os membros da equipe de qualidade de dados devem colaborar com as equipes de desenvolvimento para abordar os riscos de qualidade de dados e aproveitar ferramentas eficazes de modelagem e processamento de dados para garantir que a organização tenha acesso a dados de maior qualidade.

Os modelos de regras oferecem aos analistas a oportunidade de capturar as expectativas dos clientes em relação aos dados e ajudam a preencher a lacuna de comunicação entre as equipes técnicas e de negócios

O desenvolvimento contínuo de regras consistentes simplifica o processo de tradução dos requisitos de negócios em código.

Definir a qualidade dos dados requer metadados, e a definição de dados de alta qualidade é uma forma de apresentar o valor dos metadados.

A melhor maneira de criar dados de alta qualidade é evitar que dados de baixa qualidade entrem na organização

As precauções evitam a ocorrência de erros conhecidos; examinar os dados após o fato não melhora a qualidade;

métodos de prevenção

Depois que um problema ocorre e é detectado, ações corretivas são implementadas

Os problemas de qualidade dos dados devem ser resolvidos de forma sistemática e fundamental para minimizar o custo e o risco de medidas corretivas.

Métodos para realizar correções de dados

Crie módulos de código compartilháveis, vinculáveis ​​e reutilizáveis ​​que os desenvolvedores podem extrair do repositório para repetir verificações de qualidade de dados e processos de auditoria

Módulos de código bem projetados podem evitar muitos problemas de qualidade de dados e, ao mesmo tempo, garantir a execução consistente do processo

Se o relatório de resultados de qualidade específicos for exigido por lei ou política, muitas vezes é necessário descrever a linhagem dos resultados, e o módulo de Inspeção de Qualidade pode fornecer esta funcionalidade.

Mensurabilidade

relevância comercial

aceitabilidade

Sistema de responsabilidade/gestão

Controlabilidade

análise de tendências

O Controle Estatístico de Processo (SPC) é um método de gerenciamento de processos por meio da análise de mudanças nos valores medidos de entradas, saídas ou etapas do processo.

Baseado na suposição de que quando um processo com entradas consistentes é executado de forma consistente, ele produzirá saídas consistentes. Ele usa medidas de tendência central (a tendência dos valores de uma variável de se aproximarem de seu valor central, como média, mediana ou moda) e variabilidade em torno do valor central (como intervalo, variância, desvio padrão) para determinar a tolerância ao desvio em um processo

A principal ferramenta utilizada no SPC é o gráfico de controle, que é um gráfico de série temporal que inclui uma linha central para a média (uma medida de tendência central) e limites de controle superior e inferior que descrevem a medição (a variabilidade em torno do valor central).

Uma vez que a causa raiz de um problema desaparece, o problema em si também desaparecerá

Analista de causa raiz Um processo de compreensão do que causa um problema e como ele funciona

O objetivo é identificar condições subjacentes que, uma vez removidas, farão com que o problema desapareça

Técnicas comuns de análise de causa raiz incluem análise de Pareto (regra 80/20), análise de diagrama de espinha de peixe, rastreamento e rastreamento, análise de processo e 5 POR QUE

retorno do investimento

nível de qualidade

Tendências de qualidade de dados

Métricas de gerenciamento de problemas de dados

Consistência de nível de serviço

Diagrama do plano de qualidade de dados