マインドマップギャラリー プロセスと方法
データ サイエンスの理論と実践の第 3 章には、データ処理、データ監査、データ分析、データの視覚化、データ ストーリーテリング、データ サイエンス プロジェクト管理が含まれます。
2023-10-15 10:50:07 に編集されましたプロセスと方法
基本的なプロセス
デジタル化
人々の生活、ビジネス、社会活動を収集し、データに変換するプロセス
データ処理と正則化
クリーンデータ
データを整理する
データ処理における 2 つの基本的な問題
探索的データ分析
EDA法
抵抗
残留物
再発現
データ分析と洞察
記述的分析
予測分析
規範的分析
結果が表示されます
データプロダクトの提供
情報処理
データ処理とは、データが正式に処理される前に、後続のデータ計算のニーズに応じて元のデータセットを監査、クリーニング、変換、統合、感度解除、削減、およびラベル付けする一連の処理アクティビティを指します。
データ品質要件、データ計算要件
データクリーニング
欠落データの処理
冗長データ処理
ノイズの多いデータ処理
元のデータセットのビニング戦略に従って
各ボックスのメンバーデータに基づく置換方法
データ変換
スムージング
機能の構築
集める
標準化
離散化
データ統合
コンテンツの統合
構造的統合
パターンの統合
データの冗長性
競合の検出と排除
データの非感作化
一方向性
残留物なし
簡単に達成できる
データ削減
寸法削減
価値の削減
データの注釈
文法注釈
意味論的な注釈
データ監査
データ品質の一般的な規制と評価方法に従って、データの内容とその要素を監査して問題を特定します。
欠損値、ノイズ値、矛盾した値、不完全な値
事前定義された監査
データディクショナリ
ユーザー定義の整合性制約
データに関する自己記述的な情報
属性のドメイン値
データの自己完結型関連情報
カスタム監査
変数定義ルール
関数定義規則
データ監査の一般的な手法
数の第一法則
確率が小さい原理
言語規則
データ連続性理論
データ認証技術
目視監査
データ分析
記述的分析
過去に焦点を当て、何が起こったのかを答える
データ分析の第一歩
記述統計分析手法
診断分析
過去に焦点を当て、なぜそれが起こったのかを答えます
相関分析と因果分析
予測分析
未来に焦点を当て、何が起こるかを答えてください
分類分析と傾向分析を使用する
規範分析の基礎となる
規範的分析
シミュレーションと最適化の問題と、発生する問題を最適化する方法に注意してください。
オペレーションズリサーチ、シミュレーション、エミュレーション技術の使用
産業価値を直接生み出すことができる
データの視覚化
基本タイプ
科学的な視覚化
情報の可視化
ビジュアル分析
ビジュアル分析
情報の可視化
データマイニング
統計分析
分析的推論
人間とコンピュータの相互作用
ビジュアル分析モデル
データを知識に変換するプロセスに重点を置く
ビジュアル分析と自動モデリングの間の相互作用に重点を置く
データマッピングとデータマイニングの重要性を強調する
データ処理の必要性を強調する
人間とコンピュータの相互作用の重要性を強調
方法論
方法論的基礎
基本的な方法
ドメインメソッド
視覚知覚と視覚認知
視覚
客観的な物事が視覚感覚器官を介して人間の脳内で直接的な反応を引き起こすプロセス
視覚認知
個人による視覚情報のさらなる処理
視覚的な観点から見たデータ型
分類されたデータ
順序データ
インターバルデータ
比率データ
ビジュアルチャンネル選択方式
正確さ
可読性
視覚的アーティファクト
データビジュアライザーの意図またはデータ自体の現実と矛盾する、ターゲットユーザーによって生成される誤ったまたは不正確な視覚認識を指します。
使徒がいる山下の周囲環境を視覚化すると、視覚的なアーチファクトが発生する可能性があります
人間の目は明るさと色を相対的に判断するため、錯視を引き起こしやすい
対象ユーザーの経験や経験により、視覚的なアーティファクトが発生する可能性があります
データ視覚化における 6 つの有名なプラクティスとそのソース コード
宇宙の年齢を計算する
月を地球の色で表現する
ニューヨーク市でのタクシー乗車回数は 13 億回
17,000 の旅程で世界を見てみましょう
Eclipse のフォーマット
ジミ・ヘンドリックス・エクスペリエンス
データのストーリーテリング
定義: データをデータ ストーリーに変換するプロセスは、データ ストーリーテリングと呼ばれます
覚えやすい
認識しやすい
簡単に体験できる
データストーリーモデル
ビジネスニーズ
データ
分析的洞察
ストーリーモデル
ストーリーテリング
聴衆の行動
データストーリーテリングの関連用語
データ駆動型のストーリーテリング
視覚的なストーリーテリング
分析的なストーリーテリング
インタラクティブなストーリーテリング
データを使ってストーリーを伝える
デジタルストーリーテリング
データストーリーの役割
引きつける
説明する
鼓舞する
データストーリーを理解する
データストーリーの認識
語り手の物語的なナレーションは、視覚器官を通じて人間の脳に直接的な反応を引き起こします。
データストーリーを理解する
視聴者によるストーリーベースの感覚情報のさらなる処理
実践中のデータストーリー
データストーリーを聞いた後に視聴者がとる行動
データサイエンスプロジェクト管理
主人公
プロジェクト・スポンサー
プロジェクトマネージャー
クライアント
データサイエンティスト
データエンジニア
オペレーター
基本的なプロセス
プロジェクトの目標の定義
データの取得と管理
パターン、モデルからの洞察
パターン、モデルの検証、最適化
結果の視覚化と文書化
モデルのパターン、適用、メンテナンス
データサイエンスプロジェクトでよくある間違い
データを確認せずに分析する
データを理解せずに分析する
モデルをテストせずに使用する
データサイエンス分析作業には目標のみがあり、研究仮説はありません
データ モデルはデータと同時に更新されず、古いモデルが使用されます。
データ分析の結果について議論せずに、気軽に結論を導き出す
ビジネス専門家の関与の欠如
過度に複雑なモデル アルゴリズムを採用またはトレーニングする
データバイアスの存在
データ分析プロジェクトの結果のプレゼンテーション効果に十分な注意が払われていない
データサイエンス製品のユーザーエクスペリエンスを十分に重視していない
対象ユーザーの理解力を過大評価または過小評価する