作業手順

たくさん

多様な

高速

価値

人工知能、機械学習、統計などの方法を使用して、大量のデータから有用なこれまで知られていなかったパターンや知識を抽出するコンピューティング プロセス。

データの量は劇的に増加し、データベースベースの知識発見、および対応するデータマイニング理論と技術の研究という新しい研究の方向性が生まれました。

インターネットに次ぐテクノロジーのホットスポット

爆発的なデータだが知識は乏しい

ビジネスデータからビジネス情報への進化

データの前処理

データマイニング

モデルの評価

プロセス

データ

情報

知識

知恵

アソシエーションルールマイニング

教師あり機械学習

教師なし機械学習 - クラスタリング (類似性アルゴリズム)

戻る

教師あり学習

教師なし学習

エンタープライズ データ アプリケーション

半教師あり学習

強化学習

予測マイニング

記述的マイニング

データセットの概要

データ関連付けルール

分類と予測

クラスタリング

異種検出

時系列モデル

データオブジェクトで構成される

データオブジェクトはエンティティを表します

として知られている: サンプル、サンプル、インスタンス、データ ポイント、オブジェクト、タプル

データオブジェクトの特性

用語

分類

平均値、中央値、最頻値

範囲、四分位、四分位範囲

5 つの数字の要約、箱ひげ図、外れ値

分散、標準偏差

分位点プロット

分位数 - 分位数プロット

ヒストグラム

散布図

グラフィックを通じてデータを効果的に表現する

箱ひげ図 (箱ひげ図)

ヒストグラム

散布図

1 次元の値を視覚化する簡単な方法は、色がその次元の値を反映するピクセルを使用することです。

1 次元の値に適していますが、多次元の空間データの分布には適していません

ユーザーが多次元データの投影を発見できるようにします。幾何投影テクノロジの主な課題は、高次元空間を 2 次元で視覚化する方法を見つけ出すことです。

2 次元のデータ ポイントの場合、通常はデカルト座標系の散布図が使用され、散布図ではデータの 3 次元としてさまざまな色や形状を使用できます。

(3 次元データセットに使用) 散布図、散布図行列、平行座標の視覚化 (次元数が大きい場合)

少数のアイコンで多次元データ値を表現します

よく使用される 2 つのアイコン方法

すべての次元をサブセット (つまり、部分空間) に分割し、これらの部分空間を階層的に視覚化します。

一般的に使用される 2 つの階層視覚化方法

タグクラウド

類似性

似ていないこと

近接性

データ マトリックス (オブジェクト - 属性マトリックス)

相違度行列 (オブジェクト - オブジェクト行列)

数値属性オブジェクトの非類似性の距離測定を計算するためのいくつかの一般的な方法

属性の種類ごとにグループに分けられ、種類ごとにデータマイニング分析（クラスター分析など）が実行されます。 これらの分析で同じ結果が得られる場合、この方法は機能しますが、実際のアプリケーションでは、属性タイプの分類ごとに同じ結果を得るのは困難です。

より良いアプローチ: 1 回の分析を実行し、異なる属性を 1 つの相違度行列に結合し、属性を共通の区間 [0.0,0.1] に変換するだけです。

例

テキスト検索、生体情報マイニング

文書ベクトル、単語頻度ベクトル

最適な超平面を見つける

身長体重

順序なしカテゴリ変数

秩序ある分類

分類、順序、距離、比率

学習者は、データ D が与えられた場合、候補仮説セット H から最も可能性の高い仮説 h を選択します。h は最大事後仮説と呼ばれます。

通常、各属性は独立して同一に分散されていると想定されます。

属性は離散的または連続的にすることができます

強固な数学的基盤と安定した分類効率

欠損、ノイズの多いデータ、外れ値の影響を受けにくい

属性に関連性がない場合、分類効果は非常に優れています

アソシエーション ルール マイニングは、トランザクション データベース内のアイテム セット間の相関をマイニングし、サポートと信頼性の最小しきい値要件を満たすすべてのアソシエーション ルールをマイニングするために使用されます。

関連ルールは、大量のデータ内のデータ項目間の潜在的に有用な依存関係を見つけるために使用されます。

よく使うアイテムセット

最低限のサポートと信頼を満たす、またはそれを超えるルール

ビッグデータの項目集合において、出現数≧頻出項目集合を求める

上記で取得した頻出項目セットから、最低限のサポートと信頼性の条件を満たす相関ルールを確立します。

一貫性測定

相関測定

識別能力測定

情報計測

ステップバイステップで進むを選択してください

ステップバイステップの後方選択

単一の従属変数と 1 つ以上の独立変数の間の関係を研究するものです

予測とは、観測変数を使用して従属変数を予測することを指します。

因果分析では、独立変数を従属変数の原因として扱います。

線形依存関係を持たないモデル データ

多項式回帰モデリング手法を使用し、変数変換を実行して非線形モデルを線形モデルに変換し、最小二乗法を使用してそれを解きます。

結合された変数が主成分です

ビッグデータのライフサイクルの最初のステップ

従来のデータと比較して、ビッグデータのデータは大規模で、多様で、異質です。

ビッグデータは、収集から処理に至るまで、一貫性、可用性、パーティションのフォールトトレランスを考慮する必要があります。

分散システムのログ収集

ネットワークデータ収集

DPIディープパケットインスペクション

DFI深度/動的流量検査

特定のシステムインターフェースデータ収集

データ品質の向上

データクリーニング

データ統合

データ変換（正規化など）

1. 欠損値のクリーニング

2. 外れ値（外れ値、野生値）のクリーニング

3. フォーマットコンテンツのクリーニング

4. ロジックエラーのクリーニング

5. 不要なデータのクリーニング

6.適合性の検証

従来の意味でのデータ統合

一般的な意味でのデータ統合

モデルの重要性

冗長な属性の検出

次元削減が必要なシナリオ

代表的な次元削減手法 - PCA 主成分分析

ピクセルなどの品質を下げてデータのサイズを小さくします。

滑らかさ、属性構築、集約、正規化、離散化、概念階層化

正規化によるデータの変換

ビニングによる離散化

ヒストグラムビニングによる離散化

クラスタリング、デシジョン ツリー、相関分析による離散化

名目データの概念的階層化

等幅法

等周波数法

クラスタリング手法