コンピュータを利用した人間のパターン認識能力の実現とは、コンピュータを利用して人間のさまざまな物や現象の分析・説明・判断・識別を実現し、認識すべきものをさまざまなパターンカテゴリーに割り当てる技術です。

パターン認識は、パターンからカテゴリへのマッピングとして見ることができます

物質や現象に関する情報

大まかに言って、時間と空間に存在する観察可能なオブジェクトが同じまたは類似していると区別できる場合、パターンと呼ぶことができます。

パターンは、情報収集によって形成されたオブジェクトの説明であり、標準化され、理解しやすく、識別可能である必要があります。

説明する

特定の個別のものを観察することによって得られる時間的・空間的分布を伴う情報（サンプルまたはサンプルベクトルといいます）

パターンが属するカテゴリ、または同じカテゴリ内のパターンの母集団 (略してカテゴリ)

パターンが属するカテゴリ、または同じカテゴリ内のパターンの母集団 (略してカテゴリ)

デザイン（トレーニング・学習）

実現（意思決定、分類、判断）

データ収集（データ取得）

前処理

特徴の抽出と選択

分類決定またはモデルマッチング

このシステム構造は、人工ニューラル ネットワークにおける統計的パターン認識、ファジー パターン認識、教師あり手法に適しています。

構造パターン認識手法の場合、特徴抽出と選択の代わりにプリミティブ抽出のみが使用されます。

クラスター分析では、分類器の設計と意思決定が 1 つのステップに統合されます。

色

テクスチャ

形

空間関係

パターン集

特徴抽出と特徴選択

種類の識別

性能評価

計算の複雑さ

分類基準

n 次元の列ベクトル

x= (x1, x2, …, xn)T

クリティカルポイント（サンプル）

ファームセット

類似性

データの標準化

不完全な

うるさい

一貫性のないデータ型

正しさ：正しいかどうか、正確かどうかなど。

完全性: データが欠落しているか、取得できない場合

一貫性: 一部のデータは変更されているが、他のデータは変更されていない場合

信頼性: データが正しいという信頼度を表します。

データクリーニング

データ統合

データ変換と離散化

データ削減

特徴抽出と特徴選択

理由

対処する

理由

対処する

❑ 複数のデータソースからのデータを一貫したストアに統合する

❑ さまざまなデータソースからのメタデータを統合する

◼ 例: A.cust_id = B.customer_no

❑ さまざまなデータソースから現実世界のエンティティを照合する

◼ 例: ビル クリントン = ウィリアム クリントン

❑ 現実世界の同じエンティティでも、異なるデータソースからの属性値は異なる場合があります

❑ 考えられる理由: データ表現の違い、測定値の違いなど。

◆大規模なデータベースコンテンツの複雑なデータ分析には多くの時間がかかり、元のデータ分析が非現実的かつ実行不可能になります。

◆データ削減： データ削減またはリダクションとは、最終的なマイニング結果に影響を与えずに、マイニングされたデータのサイズを削減することです。

◆データ削減技術を使用すると、データ セットの縮小表現を取得できます。これははるかに小さいですが、元のデータの完全性の維持にほぼ近いものになります。

◆縮小されたデータセットをマイニングすると、マイニングの効率が向上し、同じ（またはほぼ同じ）結果が得られます。

◆データ削減に費やす時間は、削減されたデータ セットのマイニングで節約される時間を超えたり、「相殺」したりしてはなりません。

◆縮小して得られるデータは元のデータに比べて非常に小さいですが、同一またはほぼ同一の解析結果を得ることができます。

◆データキューブの集約。

◆次元削減（属性削減）。

◆データ圧縮。

◆数値の削減。

◆概念の離散化と階層化。

特定の類似性尺度に基づいて、分類された各モデルを分類します。

似たものを 1 つのカテゴリにグループ化する

類似度閾値と最小距離原理に基づくシンプルなクラスタリング手法

最小距離原則に従って 2 つのカテゴリを連続的に結合する方法

基準関数に基づく動的クラスタリング手法

クラスター分析は、他のアルゴリズムの前処理ステップとして使用できます。

データの分布を取得するための独立したツールとして使用可能

クラスター分析により孤立点マイニングを完了できる

距離タイプ

アルゴリズムの種類

データ オブジェクトのクラスター化ツリーを作成します。階層分解がボトムアップで形成されるかトップダウンで形成されるかに応じて、凝集型階層クラスタリングと分割型階層クラスタリングにさらに分けることができます。

2 つのクラスター間の距離を測定する方法。通常、各クラスターはオブジェクトのセットです。

距離型（クラスタ間距離測定方式）

アルゴリズムの種類

エリア内の点の密度が特定のしきい値よりも大きい限り、そのエリアは類似するクラスターに追加されます。

DBSCAN

光学

デンクルー

地物属性が複数ある場合

意味

簡略化

デシジョンテーブル

計算方法

ポイントの分類を決定する

トレーニング データ セット内の新しいインスタンスに最も近い k 個のトレーニング インスタンスを見つけて、最近の k 個のトレーニング インスタンスの中でクラス数が最も多いクラス (新しいインスタンスのクラス) を数えます。

トレーニング サンプルとテスト サンプルの各サンプル ポイント間の距離を計算します (一般的な距離の測定には、ユークリッド距離、マハラノビス距離などが含まれます)。

上記のすべての距離値を並べ替えます

距離が最小の最初の k 個のサンプルを選択します

これらの k 個のサンプルのラベルに基づいて投票し、最終的な分類カテゴリを取得します。

k 値が小さいほど、モデルは複雑になり、過学習が容易になります。ただし、k 値が大きいほど、モデルは単純になります。これは、どの点でもそのクラスであることを意味します。トレーニング セット内で最も多くのカテゴリが含まれています。 したがって、通常、k はより小さい値をとり、相互検証を使用して決定します。 ここでのいわゆる相互検証は、サンプルの一部を予測サンプル (95% トレーニングと 5% 予測など) に分割し、k はそれぞれ 1、2、3、4、5 などを使用して予測し、最終的な分類誤差を計算します。誤差が最小となる k を選択します。

目的は、一連の点セットを k 個のカテゴリに分割することです。

K-Means はクラスタリング アルゴリズムです

教師なし学習、同様のデータをグループ化して分類を取得、外部分類なし

トレーニング データ セットにはラベルがなく、乱雑です。クラスタリング後は、最初は乱雑になりますが、その後は秩序が生じます。

目的は、ポイントの分類を決定することです

KNN は分類アルゴリズムです

教師あり学習、分類対象は事前にわかっている

トレーニング データ セットにはラベルがあり、すでに完全に正しいデータです。

アイテム: たとえば、コーラ、ポテトチップス、パン、ビール、おむつはすべてアイテムと呼ばれます。

I={i1, i2,…,im} をすべての項目 (Item) の集合とします。

トランザクション T は購入レコードであり、各トランザクション T には Tid として記録される一意の識別子があります。

D はすべてのトランザクションのセットです。

itemset は調査したいセットです

A->B という形式の論理的含意。A も B も空ではなく、A⸦I、B⸦I、および (A と B が交差する = 空)。

アイテムセット A と B がすべてのトランザクションで同時に出現する確率を説明します D

S(A->B)=P(AB)=|AB|/|D|

サポートは相関ルールの重要性の尺度です

アイテムセットAが出現する物Tには、同時にアイテムセットBも出現する確率。

C(A->B)=P(B|A)=|AB|/|A|

信頼度は相関ルールの正確さの尺度です

D が I に対する最小限の支持と最小限の信頼性を満たす相関規則を強相関規則と呼びます。

リフト度は、アイテム セット A の外観がアイテム セット B の外観にどの程度影響するかを示します。

L(A->B)=P(AB)/(P(A)*P(B))

最小限のサポートを満たす項目セットは、頻繁な項目セットと呼ばれます。頻繁に出現する k 項目セットのセットは、通常、Lk と表されます。

ユーザーによる最小限のサポートを提供して、すべての頻繁なアイテムセットまたは最大の頻繁なアイテムセットを検索します

ユーザーによる最小限の信頼性を与えることにより、頻繁に使用される項目セット内の相関ルールを見つけます。

最初のステップは、反復を通じてトランザクション データベース内のすべての頻繁なアイテムセット、つまりサポートがユーザーが設定したしきい値を下回らないアイテムセットを取得することです。

2 番目のステップでは、頻繁に使用される項目セットを使用して、ユーザーの最小信頼レベルを満たすルールを構築します。