1. 最初に重要なデータから始める

2.PDCA

3. データ ガバナンスの側面を評価する

4. 根本原因の分析

5. データ品質レポート

データの価値を実現するためには、データそのものが信頼できるもの、つまり高品質であることが前提となります。

すべてのデータ管理原則はデータ品質の向上に役立つ必要があり、組織による高品質データの使用をサポートすることがすべてのデータ管理原則の目標である必要があります。

データ ガバナンスや全体的なデータ管理と同様、データ品質管理はプロジェクトではなく継続的な取り組みです

含む

データから価値を引き出そうとしている組織は、高品質のデータが低品質のデータよりも価値があることを認識しています。

低品質のデータの使用にはリスクが伴います

高品質のデータはそれ自体が目的ではなく、組織の成功への手段です。

データ利用者のニーズに基づいて、データを要件に適応させるための管理されたアプローチを開発します。

データライフサイクル全体の一部としてデータ品質管理の標準と仕様を定義する

データ品質レベルの測定、監視、報告のためのプロセスを定義および実装する

重要性

完全なライフサイクル管理

防止

根本原因の修正

ガバナンス

標準ドライバー

客観的な測定と透明性

ビジネスプロセスを組み込む

システムの施行

サービスレベルに関連する

高品質データの関連特性を指します。

データ品質を測定および改善するために使用されるプロセスも指します。

高品質

低品質

データの品質はデータのシナリオとデータ利用者のニーズによって決まります

ほとんどの組織は大量のデータを保有していますが、すべてのデータが同じように重要であるわけではありません。

データ品質管理の原則は、組織と顧客にとって最も重要なデータの改善に焦点を当てることです。

そうすることで、プロジェクトの範囲が明確になり、ビジネス ニーズに直接的かつ測定可能な影響を与えることができます。

主要なデータを評価する

形

データ品質の次元は、データの測定可能な特性です。

データ品質ディメンションは、データ品質要件を定義する一連の語彙を提供します。

これらのディメンション定義により、初期のデータ品質と継続的な改善の有効性の評価が可能になります。

寸法は測定ルールの基礎です

DAMA コアの寸法

メタデータはデータ品質の管理に不可欠です

データの品質は、データ利用者のニーズをどの程度満たしているかによって決まります。

データ品質は期待に応えることであり、メタデータは期待を明確にする主な手段です

適切に管理されたメタデータは、データ品質の向上への取り組みもサポートします

データ品質を向上するには、入力がプロセスの要件を満たし、出力が期待どおりであることを確認するために、入力と出力の関係を評価する能力を向上させる必要があります。

計画フェーズP

実行フェーズ D

チェックステージC

処理ステージA

最初にデータを正しく取得するコストは、間違ったデータを取得して修正するコストよりもはるかに低くなります。

データ管理プロセスに最初から品質を導入するコストは、データ管理プロセスを変革するコストよりも低くなります

データ品質ビジネス ルールでは、有用なデータと、組織内でデータを利用できる形式について説明します。

これらのルールは品質ディメンション要件に準拠する必要があり、データ品質要件を記述するために使用されます。

リーダーシップの欠如によって引き起こされる問題

データ入力プロセスによって引き起こされる問題

データ処理機能に起因する問題

システム設計に起因する問題

問題によって引き起こされた問題を解決する

データプロファイリングは、データを調べて品質を評価するために使用されるデータ分析の一形式です。

データプロファイリングは統計手法を使用して、データ収集の真の構造、内容、品質を発見します。

プロファイリング エンジンは、アナリストがデータの内容と構造のパターンを特定するために使用できる統計を生成します。

例えば

プロファイリングはデータを理解する効果的な方法ですが、組織が潜在的な問題を特定できるようにすることで、データ品質を向上させるための最初のステップにすぎません。

問題を解決するには、ビジネス プロセス分析、データ系統分析、問題の根本原因を特定するのに役立つ詳細なデータ分析など、他の形式の分析も必要です。

データ ガバナンス改善の取り組みはエラーの防止に重点を置いていますが、何らかの形式のデータ処理を通じてデータ品質を向上させることもできます。

データクリーニング

データ増強

データの解析とフォーマット

データ変換と標準化

データガバナンスルールを管理する

データ品質の測定と監視

データの問題を管理するための運用手順を開発する

データ品質のサービスレベル契約を策定する

データ品質レポートを作成する

データ プロファイリング ツールは、アナリストがデータ内のパターンを特定し、品質特性の初期評価を行うことを可能にする高レベルの統計を生成します。

プロファイリング ツールは、大規模なデータ セットの評価を可能にする、データ検出の取り組みにとって特に重要です。

データ視覚化機能で強化されたプロファイリング ツールは、発見プロセスを支援します。

データ プロファイリングはデータ分析の最初のステップにすぎず、潜在的な問題を特定するのに役立ちます

データ品質チームのメンバーは、分析結果によって生じた疑問に答え、データの問題の根本原因を洞察できるパターンを見つけるために、データをより深くクエリする必要もあります。

データのモデル化とETLプロセスの作成に使用されるツールは、データ品質に直接影響します。

これらのツールの使用は、使用プロセスにデータ思考があれば、より高品質なデータにつながる可能性があります。

データを理解せずに盲目的に使用すると、有害な影響が生じる可能性があります

データ品質チームのメンバーは、開発チームと協力してデータ品質リスクに対処し、効果的なモデリングおよびデータ処理ツールを活用して、組織がより高品質のデータにアクセスできるようにする必要があります。

ルール テンプレートにより、アナリストはデータに対する顧客の期待を把握し、ビジネス チームと技術チーム間のコミュニケーション ギャップを埋めることができます。

一貫したルールを継続的に開発することで、ビジネス要件をコードに変換するプロセスが簡素化されます。

データ品質の定義にはメタデータが必要であり、高品質データの定義はメタデータの価値を示す方法です。

高品質のデータを作成する最善の方法は、低品質のデータが組織に入らないようにすることです

予防措置は既知のエラーの発生を防ぎますが、事後的にデータを検査しても品質は向上しません。

予防方法

問題が発生して検出された後、是正措置が実施されます

データ品質の問題は体系的かつ根本的に解決して、是正措置のコストとリスクを最小限に抑える必要があります。

データ修正の実行方法

開発者がリポジトリから取得してデータ品質チェックと監査プロセスを繰り返すことができる、共有可能、リンク可能、再利用可能なコード モジュールを作成します。

適切に設計されたコード モジュールは、多くのデータ品質の問題を防ぐことができ、同時にプロセスの一貫した実行を保証します。

特定の品質結果の報告が法律または政策によって要求されている場合、多くの場合、結果の系統を説明する必要があり、品質検査モジュールがこの機能を提供できます。

測定可能性

ビジネスとの関連性

受容性

責任・管理体制

コントロール性

トレンド分析

統計的プロセス制御 (SPC) は、プロセスの入力、出力、またはステップの測定値の変化を分析することによってプロセスを管理する方法です。

一貫した入力を持つプロセスが一貫して実行されると、一貫した出力が生成されるという前提に基づいています。中心傾向 (平均、中央値、最頻値など、変数の値が中心値に近づく傾向) と中心値の周囲の変動性 (範囲、分散、標準偏差など) の尺度を使用して、偏差許容値を決定します。プロセスの中で

SPC で使用される主なツールは管理図です。これは、平均値の中心線 (中心傾向の尺度) と、測定値 (中心値の周りのばらつき) を表す管理上限および下限を含む時系列グラフです。

問題の根本原因が解消されると、問題自体も解消されます

根本原因分析者 問題の原因とそれがどのように機能するかを理解するプロセス

目的は、取り除けば問題が消える根本的な状態を特定することです。

一般的な根本原因分析手法には、パレート分析 (80/20 ルール)、特性要因図分析、トラック アンド トレース、プロセス分析、5WHY などがあります。

投資収益率

品質レベル

データ品質の傾向

データ問題管理の指標

サービスレベルの一貫性

データ品質計画図