Галерея диаграмм связей DAMA-CDGA データ ガバナンス エンジニア - 12. メタデータ管理
メタデータ管理は、組織が独自のデータ、システム、プロセスを理解するのに役立ち、また、データベースやその他のアプリケーションの管理に不可欠であり、その他のデータの管理にも役立ちます。 。
Отредактировано в 2024-03-05 20:29:4912. メタデータ管理
導入
概要
1. 技術的な観点: メタデータ
2. ビジネスの観点: データ リソース ディレクトリ
3. データリソースディレクトリ≠データ資産ディレクトリ
4. メタデータ管理原則: 期限内のものはすべて返し、期限内のものはすべて収集します。つまり、リソース ディレクトリは完全である必要があります。
意味
「データのデータ」です
説明する
データそのもの
データベース、データ要素、データモデル
データ表現の概念
ビジネスプロセス、アプリケーションシステム、ソフトウェアコード、技術インフラストラクチャ
データと概念の間のつながり
関係
意義
メタデータは、組織が独自のデータ、システム、プロセスを理解するのに役立ち、またユーザーがデータの品質を評価するのにも役立ちます。データベースやその他のアプリケーションの管理には不可欠です。
他のデータの処理、維持、統合、保護、管理に役立ちます
信頼できるメタデータがなければ、組織はどのようなデータを持っているか、データが何を表すか、データがどこから来たのか、データがシステム内をどのように移動するか、誰がデータにアクセスできるのか、高品質を維持することが何を意味するのかがわかりません。
メタデータがなければ、組織はデータを資産として管理できません
実際、メタデータがなければ、組織はデータをまったく管理できない可能性があります。
ビジネスドライバー
データ管理にはメタデータが必要であり、メタデータ自体も管理する必要がある
メタデータを適切に管理すると効果的です
コンテキストを提供し、データ品質チェックを実行することでデータの信頼性を向上します
マスターデータなどの戦略情報を活用範囲を広げて価値を高める
冗長なデータとプロセスを特定することで業務効率を向上させます
古いデータや間違ったデータの使用を防止する
データ調査時間を短縮する
データユーザーとIT専門家間のコミュニケーションを改善する
正確な影響分析を作成して、プロジェクト失敗のリスクを軽減します
システム開発ライフサイクルタイムを短縮して市場投入までの時間を短縮
データのコンテキスト、履歴、出所を包括的に文書化することで、トレーニング コストと従業員の離職の影響を削減します。
規制遵守への適合
メタデータ管理が不適切だと、次の問題が発生しやすくなります。
冗長データとデータ管理プロセス
重複および冗長な辞書、リポジトリ、およびその他のメタデータ ストア
一貫性のないデータ要素定義とデータ悪用のリスク
メタデータのバージョンが異なると矛盾や競合が発生し、データ ユーザーの信頼性が低下します。
メタデータとデータの信頼性を疑う
適切なメタデータ管理により、データ リソースを一貫して理解し、組織全体でより効率的な開発と使用が保証されます。
目標と原則
最終目標: クエリと分析
目標
データ関連のビジネス用語の一連の知識を文書化して管理し、人々がデータ コンテンツを一貫して理解して使用できるようにします。
さまざまなソースからメタデータを収集して統合し、組織のさまざまな部分からのデータ間の類似点と相違点を人々が確実に理解できるようにする
メタデータの品質、一貫性、適時性、セキュリティを確保する
メタデータ利用者がメタデータにアクセスするための標準的な方法を提供する
データ交換を可能にする技術的なメタデータ標準の使用を促進または強制する
原則として
組織的な取り組み
戦略
メタデータ戦略はビジネスの優先事項と一致する必要がある
企業の視点
反復的かつ段階的な配信を通じて、企業の観点から将来の拡張性を確保します
微妙に
その価値を印象付けることで、企業に知識支援を提供しながら、企業によるメタデータの使用が促進されます。
アクセス
従業員がメタデータにアクセスして使用する方法を確実に理解できるようにする
品質
メタデータは通常、既存のプロセス (データ モデリング、SDLC、ビジネス プロセス定義) を通じて生成されるため、プロセス所有者がメタデータの品質に責任を負います。
監査
メタデータの統合と使用を簡素化するためのメタデータ標準の開発、実装、レビュー
改善する
データ ユーザーが間違ったメタデータまたは古いメタデータをメタデータ管理チームに報告できるように、フィードバック メカニズムを作成します。
基本的な考え方
メタデータとデータ
メタデータもデータの一種であり、データ管理方法を使用して管理する必要があります。
メタデータの種類
ビジネスメタデータ
主にデータの内容と条件に焦点を当てますが、データ ガバナンスに関する詳細も含まれます
技術的なメタデータ
データの技術的な詳細、データが保存されるシステム、システム内およびシステム間でデータが流れるプロセスに関する情報を提供します。
メタデータの操作
データの処理とアクセスの詳細について説明します。
ISO/IEC11179メタデータ登録規格
メタデータ登録を定義するためのフレームワークを提供します
非構造化データのメタデータ
基本的に、すべてのデータは特定の構造を持っていますが、すべてのデータがよく知られたリレーショナル データベースに行と列の形式で記録されるわけではありません。
データベースまたはデータ ファイルにないデータは非構造化データとみなされます。
含む
説明メタデータ
構造メタデータ
メタデータの管理
書誌メタデータ
レコードのメタデータ
メタデータの保存
データ レイクを活用し、Hadoop などのビッグ データ プラットフォームを使用しようとしている組織は、収集したデータを後でアクセスできるようにカタログ化する必要があることに気づいています。
ほとんどの場合、データ収集プロセスの一環としてメタデータを収集するには、最小限のメタデータ属性セット (名前、形式、ソース、バージョン、受信日など) を収集する必要があります。 データ レイク コンテンツ用のディレクトリを生成します。
メタデータのソース
アプリケーション内メタデータ リポジトリ
メタデータ リポジトリは、メタデータを保存する物理テーブルを指し、多くの場合、モデリング ツール、BI ツール、その他のアプリケーションに組み込まれます。
ビジネス用語集
ビジネス用語集の目的は、組織のビジネス概念、用語、定義、およびこれらの用語間の関係を記録して保存することです。
すべてのデータ指向システムと同様に、ビジネス用語集を設計する際には、さまざまな役割と責任を持つハードウェア、ソフトウェア、データベース、プロセス、人的資源を考慮する必要があります。
ビジネス用語集アプリケーションは、3 人のコア ユーザーの機能要件を満たすように構築する必要があります。
ビジネスユーザー
データ アナリスト、リサーチ アナリスト、マネージャーなど、用語やデータを理解するためにビジネス用語集を使用するその他の人々
技術ユーザー
技術ユーザーはビジネス用語集を使用して、アーキテクチャの設計、システムの設計、開発上の意思決定を行い、影響分析を実施します。
データ管理スペシャリスト
データ管理スペシャリストは、ビジネス用語集を使用して用語のライフサイクルを管理および定義し、データ資産を用語集にリンクすることで企業の知識を強化します。
ビジネスインテリジェンスツール
ビジネス インテリジェンス ツールは、ビジネス インテリジェンスの設計に関連するさまざまなメタデータを生成します
構成管理ツール
構成管理ツールまたはデータベース CMDB は、IT 資産、それらの関係、および資産の契約詳細に関連するメタデータを管理および保守する機能を提供します。
データディクショナリ
データ ディクショナリは、通常は単一のデータベース、アプリケーション、またはデータ ウェアハウスのデータ セットの構造と内容を定義します。
各データベースには 1 つのデータ ディクショナリがあり、各データベースのデータ ディクショナリは汎用ではありません。
データ統合ツール
多くのデータ統合ツールは、実行可能ファイルを使用して、あるシステムから別のシステムに、または同じシステム内の異なるモジュール間でデータを移動します。
データベース管理とシステムカタログ
データベース カタログはメタデータの重要なソースであり、データベースの内容、情報のサイズ、ソフトウェアのバージョン、その他の運用メタデータ属性が記述されます。
データベースの最も一般的な形式はリレーショナルで、データをテーブルと列のセットとして管理します。
メタデータ ソリューションは、さまざまなデータベースやデータセットに接続し、データベースによって公開されるすべてのメタデータを読み取ることができる必要があります。
データマッピング管理ツール
マッピング管理ツールは、プロジェクトの分析および設計フェーズで使用され、要件をマッピング仕様に変換します。その後、データ統合ツールによって直接使用されるか、開発者がデータ統合コードを生成するために使用されます。
データ品質ツール
データ品質ツールは計画を検証することでデータ品質を評価します
辞書とディレクトリ
データ ディクショナリと用語集には、用語、テーブル、フィールドに関する詳細情報が含まれていますが、ディクショナリやカタログには、関連する組織データのシステム、ソース、および場所に関する情報が含まれています。
イベントメッセージングツール
イベント メッセージング ツールは、異なるシステム間でデータを移動し、広範なメタデータを必要とし、移動を説明するメタデータを生成します。
モデリングツールとリポジトリ
データ モデリング ツールは、概念モデル、論理モデル、物理モデルなど、さまざまなタイプのデータ モデルを構築するために使用されます。
参照データベース
参照データは、システムのコンテキスト内で使用するためのさまざまな種類の列挙データのビジネス価値と説明を記録します。
登録サービス
その他のメタデータ ストア
メタデータスキーマのタイプ
一元化されたメタデータ アーキテクチャ
一元化されたメタデータ アーキテクチャは、個別のソースからのメタデータのコピーを含む単一のメタデータ リポジトリで構成されます。
IT リソースが限られている組織、または可能な限り自動化しようとしている組織は、このアーキテクチャ オプションを避けることを選択する場合があります。
パブリック メタデータ リポジトリに高度な一貫性を求める組織は、一元化されたメタデータ アーキテクチャの恩恵を受けることができます。
アドバンテージ
ソースシステムから独立しているため可用性が高い
リポジトリ機能とクエリ機能が一緒になっているため、メタデータを高速に取得できます。
データベース構造の問題を解決し、サードパーティや商用システムに固有のプロパティの影響を受けないようにする
メタデータを抽出するときに、他のソース システムからのメタデータを変換、カスタマイズ、または補完して、メタデータの品質を向上させることができます。
欠点がある
メタデータ ソースの変更を確実にリポジトリに迅速に同期するには、複雑なプロセスを使用する必要があります。
集中リポジトリの維持にはコストがかかる場合がある
メタデータの抽出にはカスタム モジュールまたはミドルウェアが必要になる場合があります
プロセス
一元化されたリポジトリは、エンドユーザーがクエリを送信するためのポータルを公開します
メタデータ ポータルはリクエストを集中メタデータ リポジトリに渡し、収集されたメタデータでリクエストが満たされます。
さまざまなメタデータが集中リポジトリに収集されるため、さまざまなツールによって収集されたメタデータをグローバルに検索できます
分散メタデータ アーキテクチャ
完全に分散されたアーキテクチャにより単一のアクセス ポイントが維持されます。
メタデータ検索エンジンは、ソース システムからリアルタイムでデータを取得することでユーザーのリクエストに応答します。
永続的なデータベースを使用しない分散メタデータ アーキテクチャ
アドバンテージ
メタデータはデータ ソースから直接取得されるため、常に可能な限り最新かつ有効です。
クエリが分散されるため、応答と処理の効率が向上する可能性があります
独自のシステムからのメタデータ要求は、独自のデータ構造に関する詳細な知識を必要とせず、クエリ処理に限定されるため、実装と保守に必要な労力が最小限に抑えられます。
自動化されたメタデータ クエリ処理は、最小限の人的介入のみで開発が簡単になる可能性があります。
バッチ処理が削減され、メタデータのコピーと同期プロセスが不要になります。
欠点がある
ユーザー定義または手動で挿入されたメタデータ項目は、これらの追加を配置するリポジトリがないためサポートできません。
さまざまなシステムからのメタデータは、統一された標準化された表示方法で表示される必要がある
クエリ機能はソース システムの可用性によって影響されます
メタデータのガバナンスはソース システムに完全に依存します
プロセス
集中化されたメタデータ リポジトリはなく、ポータルはユーザーのリクエストを適切なツールに渡して実行します。
メタデータは集中ストレージ用のさまざまなツールから収集されず、各リクエストはソース システムに委任する必要があるため、さまざまなメタデータ ソースにわたるグローバル検索の機能はありません。
ハイブリッドメタデータアーキテクチャ
ハイブリッド アーキテクチャは、集中型アーキテクチャと分散型アーキテクチャの特性を組み合わせたもので、メタデータは依然としてソース システムから集中型リポジトリに直接移動しますが、リポジトリの設計では、ユーザーが追加したメタデータ、重要な標準化されたメタデータ、および手動で追加されたソース メタデータのみが考慮されます。
このアーキテクチャは、ソースからのメタデータをほぼリアルタイムで取得および拡張することにより、必要なときにユーザーのニーズに最適に応えることができます。
ユーザーの優先順位と要件に基づいて、メタデータは可能な限り最新かつ効率的に使用されます。
ハイブリッド アーキテクチャではシステムの可用性が向上しない
運用メタデータが急速に変化し、一貫した統一されたメタデータ組織が必要であり、メタデータとメタデータ ソースが大幅に増加している組織にとって有益です。
静的なメタデータがほとんどであるか、メタデータの増加が小さい組織では、その可能性が実現されない可能性があります。
双方向のメタデータ アーキテクチャ
スキーマの任意の部分 (ソース、データ統合、ユーザー インターフェイス) でメタデータを変更できるようにし、その変更をリポジトリ (エージェント) から元のソースに同期してフィードバックを可能にします。
活動
メタデータ戦略を定義する
メタデータ要件を理解する
メタデータスキーマの定義
メタモデルの作成
メタデータ リポジトリ (メタデータとも呼ばれる) のデータ モデルの作成は、メタデータ戦略を定義し、ビジネス要件を理解した後の最初の設計ステップです。
メタデータ標準を適用する
メタデータストレージを管理する
メタデータの作成と維持
メタデータの統合
メタデータ リポジトリのスキャン 2 つの異なる方法があります
専用インターフェース
シングルステップアプローチ
スキャナーはソース システムからメタデータを収集し、形式固有のローダーを直接呼び出してメタデータをメタデータ ストアにロードします。
このプロセスでは、中間メタデータ ファイルを出力する必要はなく、メタデータの収集と読み込みも 1 ステップで完了します。
セミプライベートインターフェース
2 段階のアプローチを使用する
スキャナーはソース システムからメタデータを収集し、それを特定の形式でデータ ファイルに出力します。
スキャナーは、ターゲット リポジトリが正しく読み取ってロードできるデータ ファイルのみを生成します。
データ ファイルは複数の方法で読み取ることができるため、このインターフェイスのアーキテクチャはよりオープンです
非永続メタデータ ステージング領域は、一時ファイルとバックアップ ファイルを保存するために使用できます。ステージング領域は、ロールバックとリカバリ処理をサポートし、リポジトリ管理者がメタデータのソースや品質の問題を追跡できるように一時的な監査証跡情報を提供する必要があります。
一時記憶領域は、ファイル ディレクトリまたはデータベースの形式にすることができます。
メタデータの配布と配信
メタデータのクエリ、レポート、分析
道具
メタデータを管理するための主要なツールはメタデータ リポジトリです
メタデータ管理ツールは、集中リポジトリの場所でメタデータを管理する機能を提供します。
メタデータは手動で入力することも、専用のコネクタを介して他のさまざまなソースから抽出することもできます
メタデータ リポジトリは、他のシステムとメタデータを交換するための機能も提供します。
方法
データリネージと影響分析
データ資産のメタデータを検出して記録する際の重要な側面は、データがシステム間でどのように移動するかに関する情報を提供することです。
データリネージ作成の制限は、メタデータ管理システムの範囲にあります
機能固有のメタデータ リポジトリまたはデータ視覚化ツールは、管理範囲内のデータ リネージュ情報を提供します。管理範囲を超えて関連情報を提供することはできません。
メタデータ管理システムは、データ リネージの詳細を提供できるツールを通じて「実装リネージ」をインポートし、自動的に抽出できない「デザイン リネージ」ファイルから実装の詳細を取得することでそれを補完します。
データ リネージのさまざまな部分を結合するプロセスは「ステッチング」と呼ばれ、ステッチングの結果は、元の場所から最終的な場所までのデータの移動を表すパノラマ ビューになります。
データの親族関係を適切に検出するには、ビジネスの焦点と技術の焦点の両方を考慮する必要があります。
ビジネスの焦点
ビジネスの優先順位に基づいてデータ要素の血縁関係を見つける
ターゲットの場所から特定のデータが発生したソース システムまでをトレースバックします。
テクノロジーの焦点
まずソース システムから直接関連するデータ ユーザーを特定し、次にすべてのシステムが特定されるまで間接的なデータ ユーザーを特定します。
データ系統
下から上へ
影響分析
上から下まで
ビッグデータ収集に適用されるメタデータ
内部でも外部でも、データを同じ物理的な場所に移動する必要はありません
新しいテクノロジーにより、プログラムはデータをプログラムに移動するのではなく、データを中心に展開するため、大量のデータの移動が削減され、プログラムの実行速度が向上します。
実装ガイド
準備状況評価/リスク評価
組織と文化の変化
サブトピック
メタデータのガバナンス
プロセス制御
メタデータ ソリューションのドキュメント
メタデータの標準とガイドライン
メトリクス
メタデータ リポジトリの整合性
メタデータ管理の成熟度
専任スタッフの配置
メタデータの使用法
ビジネス用語のアクティビティ
マスター データ サービスのデータ コンプライアンス
メタデータドキュメントの品質
メタデータ リポジトリの可用性