マインドマップギャラリー ファーウェイのデータアプローチ
Huawei Data Taoの学習と編集には、データガバナンスとデジタルトランスフォーメーション、企業ポリシーとフレームワークのコラボレーションなどが含まれており、データを理解するための全体的な理解と参照を提供できます。
2023-11-05 09:03:37 に編集されましたファーウェイのデータアプローチ
この本の枠組み
データガバナンスとデジタルトランスフォーメーション
チャレンジ
目標
ビジョン
青写真
フレーム
企業方針と体制の連携
企業レベルのデータ総合管理システム
データ、変更、運用、IT 間の相乗関係
ビジネスにおけるデータ責任管理の主題
さまざまなデータ管理方法とポイント
主要なタスク
情報アーキテクチャ
データベース
データサービス
主要な機能
完全な認識
総合的な品質向上
制御可能な共有
将来の考え方
AI ガバナンス
データ主権
データエコロジー
エンタープライズレベルのデータガバナンスシステム
各データに対する説明責任
管理責任は該当する事業部門が負う必要があります
一意のデータ所有者が必要です
データ管理の概要
原則として
情報アーキテクチャ管理原則
データ生成管理の原則
データ アプリケーション管理の原則
データの説明責任と賞罰管理の原則
ポリシー
情報アーキテクチャ管理方針
情報アーキテクチャの役割と責任の管理
情報アーキテクチャ構築要件
情報アーキテクチャのコンプライアンス管理
データソース管理ポリシー [データオリジンはガバナンスの中核概念]
データソース管理の原則
データソースの認証基準
データ品質管理ポリシー [品質の継続的改善はガバナンスの中核目標です]
データ品質管理の責任と要件
データ品質管理のためのビジネスルールと管理要件
変化、運用、IT への取り組み
データ管理プロセスを確立する
位置
L1:MBT&IT
L2:管理データ
L3: 経営情報アーキテクチャ
L3: データ品質の管理
L3: 経営データ分析
重要な役割
情報アーキテクチャエンジニア
データガバナンスエンジニア
データプラットフォームエンジニア
データアナリスト
データサイエンティスト
協力して、経営の変革、経営の品質、運営におけるデータ ソリューションの提供と検証を完了する
変換システムとオペレーション システムが共同でデータ ガバナンスの決定を行う
データ ガバナンスを IT 実装に統合する
内部統制システムによるデータガバナンスの強化
全社レベルの管理組織
データ所有者とデータスチュワードを任命する
会社数所有者
データ管理システムのビジョンとロードマップを作成する
データ管理の概念を広め、データ文化の雰囲気を作り出す
組織と任命、承認と説明責任などを含むデータ管理システムを構築および最適化します。
企業データ管理ポリシーおよび規制の承認
分野を超えたデータと管理に関する紛争を裁定し、分野を超えたデータと管理に関する主要な問題を解決する
ドメインデータ所有者
データ管理システムの構築を担当
情報アーキテクチャ構築を担当
データ品質管理の責任者
データベース構築とデータサービスを担当
データ紛争の裁定を担当します
データスチュワード
データ所有者のアシスタントおよび特定の作業の実行者
二輪組織
コーポレートデータ管理部
会社数所有者
ドメインデータ所有者
品質・プロセスIT管理部
品質業務部・○○管理部
XX データ管理部
XX データ管理部
XX データ管理部
クロスドメインデータ共闘チーム
データ品質実装グループ
情報アーキテクチャ構築グループ
データサービス推進グループ
データ分析ワーキンググループ
データベースワーキンググループ
メタデータワーキンググループ
データ管理組織の位置付け
システムビルダー
コンピテンスセンター
ビジネスデータパートナー
文化擁護者
データワークフレームワーク
情報元
データレイク
データ主体の結合
データ消費量
データガバナンス
データ分類管理フレームワーク
分類枠組み [データの特性]
記述的手段
メタデータ【meta-data】
データの所有権
外部データ【外部データ】
内部データ【内部データ】
保存特性
構造化データ【構造化データ】
基礎データ【参考データ】
マスターデータ【マスターデータ】
取引データ【取引データ】
観測データ【観測データ】
ルールデータ[条件データ]
レポートデータ【レポートデータ】
非構造化データ【非構造化データ】
構造化データ管理 [統一言語]
外部データ【外部データ】
分類の定義
定義: パブリック ドメインを通じて取得されたデータ
特徴: 客観的な存在、その作成および変更は会社の影響を受けません。
例: 国、通貨、為替レート
データガバナンス
コンプライアンス第一
明確な責任
効率的な流れ
監査可能で追跡可能
制御された承認
内部データ【内部データ】
分類の定義
定義: 企業内の業務によって生成されるデータ
特性: 企業のビジネスプロセスで生成されるか、経営管理規則で定義され、企業の運営とマーケティングの影響を受ける
例: 契約、プロジェクト、組織
構造化データ【構造化データ】
分類の定義
定義: リレーショナル データベースに保存でき、実装されたデータを表現するために 2 次元のテーブル構造を使用します。
特徴: リレーショナル データベースに保存できます。最初にデータ構造があり、どのようなデータが生成されるか?
例: 国、通貨、組織、製品、顧客
非構造化データ【非構造化データ】
分類の定義
定義: 形式が比較的不安定で、2 次元データベース ロジックを使用して表現するには不便なデータ。
特徴: さまざまな形式があり、通常はデータ量が大きいため、リレーショナル データベースに保存できません。
例: Web ページ、写真、ビデオ、オーディオ、XML
データガバナンス
基本的な機能とコンテンツを抽出し、メタデータを通じて実装します。
基礎データ【参考データ】
分類の定義
定義: 構造化言語を使用して属性、分類またはカタログ化に使用されるデータ (参照データとも呼ばれます) を説明します。
特徴: 通常、限られた範囲の許可/オプションの値で構成されます。静的データは非常に安定しており、ビジネス/IT スイッチ、責任/権限の分割、または統計レポートの次元として使用できます。
例: 契約の種類、立場、国、通貨
データガバナンス
変更管理と統一された標準管理に重点を置いています
マスターデータ【マスターデータ】
分類の定義
定義: ユニークで正確かつ信頼できるデータ ソースを使用して、企業内のプロセスやシステム全体で再利用できるビジネス価値の高いデータ
特徴: 通常、ビジネス イベントに参加し、企業内のプロセスやシステム全体で繰り返し呼び出すことができます。その値は、ビジネス イベントが発生する前に客観的に存在し、比較的安定しています。説明をマスターデータのカテゴリに分類できます
例:エンティティの組織、顧客、担当者の基本構成
データガバナンス
同じソースからの複数の使用を保証し、データ内容の検証に重点を置くことが重要です。
取引データ【取引データ】
分類の定義
定義: ビジネス プロセス中に発生するビジネス イベントを記録するために使用されます。その本質は、マスター データ間のアクティビティによって生成されるデータです。
特徴: 強力な適時性があり、通常は 1 回限りであるため、トランザクション データはメイン データから独立して存在できません。
例:BOQ、支払指図、マスター生産計画
データガバナンス
マスターデータと基本データの呼び出しとトランザクションデータ間の相関関係に重点を置く
観測データ【観測データ】
分類の定義
定義: 観察者は、観察ツールを通じて観察対象の動作/プロセスの記録を取得します。
特徴: 通常、データはプロセス指向であり、主に監視と分析に使用されます。データは機械によって自動的に収集されます。
例:システムログ、IoTデータ、輸送時に発生するGPSデータ
データガバナンス
管理対象としてビジネスオブジェクトとして定義されることはガバナンスの前提条件です
ルールデータ[条件データ]
分類の定義
定義: ビジネス ルール変数を記述する構造化データ (通常はデシジョン テーブル、アソシエーション テーブル、スコアカードなどの形式)。ビジネス ルールを実装するためのコア データです。
特徴: ルール データはインスタンス化できず、論理エンティティの形式でのみ存在します。ルール データの構造は垂直方向と水平方向で比較的安定しており、ほとんどの変更はルール データのコンテンツ更新であり、広範囲に影響を与えます。事業活動
例:従業員の償還コンプライアンススコアリングルール、出張補助金ルール
データガバナンス
目標は、構成可能、視覚的、追跡可能なルールを実現することです
軽量化とグレーディングの特性に応じてさまざまな方法で管理
ビジネス ルールは、プロセス内のビジネス活動に関連する必要があり、ビジネス活動の指針および基礎となります。
ルール変数と変数間の関係が含まれます
責任を負う固有のデータ所有者が必要です
そのメタデータはビジネス ルールとの関係を記録する必要があります
レポートデータ【レポートデータ】
分類の定義
定義: データ処理後の意思決定の基礎として使用されるデータを指します。
特徴: 通常、データは処理する必要があります。分析を改善するには、通常、さまざまなソースからのデータを明確にし、変換し、統合する必要があります。ディメンションと指標の値をレポート データに分類できます。
例: 収益、コスト
データガバナンス
アプリケーション関連のデータをベースに、データの種類を細分化して説明します。
メタデータ【meta-data】
分類の定義
定義: データを定義するデータとは、物理データ、企業が使用する技術プロセスおよびビジネスプロセス、データのルールと制約、データの物理構造および論理構造に関する情報です。
特徴: データ (データベース、データ要素、データ モデルなど)、関連する概念 (ビジネス プロセス、アプリケーション システム、ソフトウェア コード、技術アーキテクチャなど)、およびそれらの間の接続 (関係) を説明する説明的なラベルです。
例: データ標準、ビジネス用語、指標の定義
データガバナンス
目標と使命: 湖に入るには根拠があり、湖から出るときにインデックスを付けることができます。
「商取引」のための情報アーキテクチャ構築
業務運営プロセス
人や物などの「資源」を上手に管理する
さまざまなリソース間の直接接続、つまりさまざまなビジネス トランザクション「イベント」を管理します。
最終的に組織の目標や価値観を達成するために、各種イベントの実行効果を「全体的に記述・評価」する
情報アーキテクチャ
目的
業務プロセス全体に関わるさまざまな人、物、物的リソースを定義し、効果的なガバナンスを導入して、企業のさまざまな事業単位間であらゆる種類のデータが効率的かつ正確に送信され、上流および下流のプロセスが迅速に行われるようにします。実行され、運用されます。
4つの主要なコンポーネント
データ資産カタログ
要点
階層構造で表現
データの分類と定義
データ資産を明確にする
データモデルを構築するための入力
層状の
L1 トピックのグループ化
データ自体の特徴的な境界に基づいて
経営管理上の境界線に基づく
L2 サブジェクト ドメイン
重複しないデータカテゴリ
通常、対象ドメインには同じデータ所有者が含まれます。
L3 ビジネスオブジェクト
情報アーキテクチャのコア層
ビジネス領域で重要な人、物、事柄を定義する
アーキテクチャの構築とガバナンスは主にビジネスオブジェクトに焦点を当てています
エンタープライズ アーキテクチャ EA の範囲内で、情報アーキテクチャ (IA) は、ビジネス オブジェクトを通じてビジネス アーキテクチャ (BA)、アプリケーション アーキテクチャ (AA)、および技術アーキテクチャ (TA) と統合されます。
L4 データ論理エンティティ
ビジネス オブジェクトの特定の側面を説明する一連の属性
L5 属性
情報アーキテクチャの最小の粒子
特定の側面におけるビジネスオブジェクトの性質と特性を客観的に説明する
データ標準
要点
ビジネス定義仕様書
言語を統一し、曖昧さを排除する
データ資産の分類のための標準的なビジネス上の意味とルールを提供する
必要とする
ビジネスの観点からの要件
技術的な観点の要件
経営視点の要件
エンタープライズデータモデル
要点
E-R モデリングによるデータ関係の説明
IT 開発の指導は、アプリケーション システム実装の基礎です。
接続関係
比較的現実的な模擬ビジネス(シナリオ)
重要なビジネスモデルとルールの確立
データ配信
要点
ビジネスプロセスとITシステムを流れるデータのパノラマビュー
データの「出入り」を特定する
データの問題を見つけるためのナビゲーション
芯
情報元
認証データソース
原則として
企業レベルで共通の行動規範を確立する
特定の原則
原則 1: オブジェクトごとのデータ管理、明確なデータ所有者
原則 2: 企業の観点から情報アーキテクチャを定義する
原則 3: 会社のデータ分類管理フレームワークに準拠する
原則 4: ビジネスオブジェクトを構造化してデジタル化する
原則 5: データのサービス化、同じソースの共有
核となる要素
ビジネスオブジェクトに基づいて設計および実装する
ビジネスオブジェクトに基づいたアーキテクチャ設計
原則1:ビジネスオブジェクトとは、企業の運営と管理に不可欠な重要な人、物、物事を指します。
原則 2: ビジネス オブジェクトには一意の ID 情報がある
原則 3: ビジネス オブジェクトは比較的独立しており、属性の説明がある
原則 4: ビジネス オブジェクトはインスタンス化できる
ビジネスオブジェクトに応じたアーキテクチャの実装
データ・モデル
概念モデル
論理モデル
物理モデル
重要なポイントを制御する
論理データエンティティの設計
概念モデルと論理モデルの整合性を管理
ルール
1. ビジネス オブジェクトと論理エンティティ間の関係は 1 対 1 または 1 対多であり、多対 1 の状況は許可されません。
2. ビジネス オブジェクトのさまざまなビジネス特性を記述する、密接に関連した一連の属性。論理データ エンティティとして設計できます。
3. 論理エンティティの設計は 3 番目のパラダイムに従う必要があります
4. ビジネス領域全体で使用されるデータ サービスまたは基本データを提供するには、個別の論理エンティティを設計する必要があります。
5. 2 つのビジネス オブジェクト間の関係は、データ資産カタログ内で関係タイプの論理データ エンティティとして設計することもでき、後で表示されるビジネス オブジェクトをビジネスが発生した時間の順序で関連付けることができます。
統合モデリング管理
論理モデルと物理モデル間の一貫性
コントロールポイント
1. 製品の論理モデルと物理モデルの統合設計、メタデータ管理とデータモデル管理の統合
2. データ標準プールを構築します。エンティティ属性はデータ標準プールからのみ選択できます。
3. 製品メタデータとデータベースの自動比較と検証
4. 製品メタデータのリリース認証と情報資産の統合
5. トランザクション側の製品メタデータに基づいたセルフサービスのレイクへのエントリー
ビジネスのデジタル拡大に直面する
従来の情報アーキテクチャの課題
1. 多くの企業や業務で発生するデータを完全管理
2. 多数のビジネス プロセスが、目に見えて管理可能なデータを形成していますか?
3. 多くのビジネス ルールには管理が不足しており、柔軟に使用できません。
拡張メソッド
オブジェクトのデジタル化
目標は、デジタル世界におけるオブジェクト オントロジーのマッピングを確立することです。
フロー要件に基づいた少量のデータの管理ではなく、オブジェクトのデータ全体の管理です。
プロセスのデジタル化
営業活動を妨げず、自動で記録可能
ビジネスをオンライン化し、実行または操作の追跡を記録する
ルールのデジタル化
デジタル手段を使用して、複雑なシナリオで複雑なルールを管理します
ルール
クラスルールを定義する
行動ルール
「つながりシェア」のためのデータベース構築
建設フレームワーク
1. 構造化データと非構造化データの一元管理
2. データ供給チャネルを開放する
3. 企業データが完全で、一貫性があり、共有されていることを確認する
4. データのセキュリティと制御性を確保する
建設戦略
1. データセキュリティ原則
2. 需要と計画の二輪駆動原理
3. データ提供の複数シナリオの原則
4. 情報アーキテクチャのコンプライアンス原則
データレイク
企業データの「論理的な収集」を実現
特徴
1. 論理的な統一性
2. 多様な種類
3. オリジナルレコード
湖に入る
6つの基準
1. データ所有者を明確にする
2. データ標準を公開する
3. データソースの認証
4. データの機密性レベルを定義する
5. データ品質評価
6. メタデータの登録
方法
技術的手段
バッチ統合
データ複製の同期
メッセージの統合
ストリーミング統合
データ仮想化
分析表
方法
プルとプッシュの方法
データの種類
構造化された
1. 需要分析と管理
2. 適合性評価
データソースの準備状況を確認する
湖への立ち入り基準の評価
3. 入湖の実施
4.メタデータの登録
構造化されていない
管理範囲
ファイル自体
ファイルのプロパティ
ガイドライン
ダブリンコアのメタデータ Dublin Core™ メタデータ イニシアチブ (DCMI)
1.基本機能メタデータ
2. ファイル解析内容
3. ファイル関係
4.オリジナルファイル
データ主体の結合
データを「情報」に変える
5種類の接続用途シナリオ
多次元モデル
ビジネスを見据えた多視点・多次元分析
ステップ
1. ビジネスシナリオの決定
2. 宣言の粒度
3. 寸法設計
団結
一方向性
直交性
4. ファクトテーブルの設計
ファクト属性は、対応する詳細なファクトを定量化する属性です。通常、ファクト テーブルには 1 つ以上のファクト フィールドが含まれます。
異なる粒度のファクトが同じファクト テーブル内に存在することはできません
ビジネスプロセスに関連するすべての事実を可能な限り含め、無関係な事実を除外する
非加算的な事実を加算的な事実に分解する必要がある
ファクトの数値単位は一貫していなければなりません
グラフィカルモデル
データ間の相関関係の影響を分析して、企業が相関関係の影響を迅速に特定できるようにする
ステップ
1.ビジネスシナリオの定義
2.情報収集
3.グラフモデリング
4. エンティティ、概念、属性、関係の注釈
5. 実体と概念の特定
5. 属性の特定と関係の特定
ラベル
具体的な事業範囲の概要
分類
ファクトラベル
エンティティのプロパティから派生
客観的かつ静的
ルールラベル
データ加工により生成
比較的客観的かつ静的
モデルタグ
属性組み合わせアルゴリズムの生成
主観的でダイナミックな
ステップ
1. ラベルシステム構築
2. ラベル
データストレージ構造
実装
ファクトラベル
タグ値と属性の許容値
システムが自動的に
ルールラベル
ラベル付けロジックの設計
システムが自動的に
モデルタグ
ラベル付けアルゴリズム モデルを設計する
システムが自動的に
索引
業績、効率、品質の尺度
分類
アトミックインジケーター
複合インジケーター
ステップ
1. インジケーターの分解要件の明確化
2.インジケーター分解設計
指標重ね合わせ式に基づく指標の解体
インジケーターの分解結果に基づいてインジケーター データを特定する
3. 指標とデータ資産を一致させる
アルゴリズム
インテリジェントな分析シナリオのために、ビジネス上の判断と意思決定をサポートする高度な分析手法を提供します。
ステップ
1.ニーズアセスメント
ビジネス主導の分析には特定が必要です
データ駆動型分析には特定が必要です
価値と実現可能性の評価
2. データの準備
3. スキーム設計
4. モデリングと検証
分析モデリングが必要かどうかを決定する
モデリングと検証
試行分析
データ分析オフライン検証レポートの作成
IT開発が必要かどうかを決定する
モデルのオンライン検証
運用に移行
「セルフサービス消費」のためのデータサービス構築
セルフサービス、効率的、再利用可能
データ再配置の課題
料金
一貫性
データ共有モデルの開発動向
米国のスマートコミュニティ情報共有戦略を参照
意味
データ配布および公開フレームワーク
サービス品
ニーズを満たす
規格準拠
共有とセキュリティを考慮して
建設戦略
1. データ提供方法の明確化
2. データサービス管理の仕様とプロセスを開発する
3. データサービスセンターの構築
統一基準
1. 再利用性を満たし、データの「移動」を削減します
2. サービス ユーザーを特定し、それに応じて SLA を設計および定義する
3. アプリケーションとアプリケーションはサービス インターフェイスを使用して対話する必要がある
4. 統一プラットフォーム上での登録と公開
5. さまざまなシナリオに適したサービス指向アーキテクチャの粒度を選択する
ライフサイクル管理
フェーズ 1: サービスの識別と定義
1. データサービスのニーズを分析する
2. 再利用可能性を特定する
3. 入学条件を解釈する
4.反復計画を作成する
フェーズ 2: サービスの設計と実装
デザイン
サービス契約
基本情報
プロバイダー
サービスの種類
スキル要件
適時性
処理ロジック
セキュリティ戦略
SLA
データ契約
説明する
入出力パラメータ
ビジネスデータ資産のコーディング
物理的なランディング アセットのコーディング
サービス部門の粒度
原則として
事業の特徴
消費特性
管理機能
能力特性
参考仕様
同一提供形態では、1つのデータは1つのデータサービス内でのみ設計可能
同じディメンションのデータをサブジェクト (ビジネス オブジェクト) ごとにデータ サービスに設計します。
同じ論理エンティティのデータをデータ サービスとして設計する
単一機能のアルゴリズムとアプリケーション モデルをサービスとして設計する
届ける
要件の受信と管理
セルフサービス開発プラットフォームを構築する
自動コードレビュー
自動データ検証
機能自動テスト
サービスの展開
サービス分類の構築
データ統合サービス
意味
完全なデータセットへのアクセスを提供します
消費者が独自の処理ロジックを決定する
仕様
データレイク
ビジネスオブジェクト
データ資産
関連するマスターデータ
トピックの参加
テーマ
データ資産
データAPIサービス
意味
IT システムにデータ イベント駆動型の「応答」を提供する
特徴
プロバイダーは、ランダム データ イベントに基づいてデータをアクティブに送信します。
プロバイダーはイベントに基づいてデータ処理ロジックを定義し、コンシューマーは事前にサブスクライブしてランダムにトリガーします。
サービスのライフサイクルはイベントの後に続きます。イベントが終了すると、サービスは終了します。
統合サービスの利点を比較する
供給/消費データ サービス
高重合性
疎結合
データサプライスリーワン
1日
1週間
1ヶ月
フェーズ 3: サービス運用
知識の自律性
データマップ
独自の分析能力
成果管理から工程管理へ
「デジタルツイン」のためのデータ認識フレームワークを作成する
能力構造
硬い認識
柔らかい認識
「クリーンデータ」のための包括的な品質管理機能を構築する
PDCAによる総合的な品質管理体制
ISO 8000 データ品質とエンタープライズ マスター データ
SY/T 7005-2014 データの品質管理と評価の原則
業務異常データ監視
測定と改善
「安全でコンプライアンスに準拠した」データ制御可能な共有機能を作成する
メタデータ
認可と許可