http://www.cs.waikato.ac.nz/ml/weka/

http://prdownloads.sourceforge.net/weka/weka-3-6-6jre.exe

これは、データの前処理、学習アルゴリズム (分類、回帰、クラスタリング、相関分析)、および評価手法を統合した包括的なデータ マイニング ツールです。

インタラクティブなビジュアルインターフェイスを備えています

アルゴリズムの学習と比較環境を提供する

そのインターフェイスを通じて、独自のデータ マイニング アルゴリズムを実装できます。

エリア 1 のいくつかのタブは、さまざまなマイニング タスク パネルを切り替えるために使用されます。

エリア 2 はよく使用されるボタンです。データを開く、編集、保存、データ変換などの機能が含まれます。たとえば、ファイル「bank-data.csv」を「bank-data.arff」として保存できます。

領域 3 では、フィルターを選択してデータをフィルターしたり、データに何らかの変換を実行したりできます。データの前処理は主にこれを使用して実装されます。

領域 4 には、リレーション名、属性の数、インスタンスの数などのデータ セットの基本情報が表示されます。

データセットのすべてのプロパティはエリア 5 にリストされます。

領域 6 には、領域 5 で選択された現在の属性の概要が表示されます。

エリア 7 は、エリア 5 で選択された属性のヒストグラムです。

エリア 8 ステータス バー、ログ ボタン、Weka バードを含むウィンドウの下部エリア。

テーブル内の行はインスタンスと呼ばれ、統計のサンプルまたはデータベースのレコードに相当します。

縦の行は属性と呼ばれ、統計における変数やデータベースのフィールドに相当します。

WEKA の観点では、このようなテーブルまたはデータ セットは、属性間の関係 (Relation) を表します。

上の図では、14 個のインスタンス、5 つの属性があり、関係名は「weather」です。

WEKA がデータを保存する形式は、ASCII テキスト ファイルである ARFF (Attribute-Relation File Format) ファイルです。

上記の 2 次元テーブルは、次の ARFF ファイルに格納されます。これは WEKA に付属する「weather.arff」ファイルで、WEKA インストール ディレクトリの「data」サブディレクトリにあります。

これは ASCII テキスト ファイルです (ASCII ((American Standard Code for Information Interchange): American Standard Code for Information Interchange))

ファイル拡張子は .arff です

ワードパッドを使用して ARFF ファイルを開いて編集できます

最初の部分は、関係の宣言や属性の宣言を含むヘッダー情報 (Head 情報) を提供します。

2 番目の部分はデータ情報 (Data information)、つまりデータセットで与えられるデータを与えます。 「@data」タグ以降はデータ情報です。

関係名は、ARFF ファイルの最初の有効な行で、@relation <関係名> の形式で定義されます。

<関係名> は文字列です。この文字列にスペースが含まれる場合は、引用符 (英語の句読点の場合は一重引用符または二重引用符) で囲む必要があります。

属性宣言は、「@attribute」で始まるステートメントのリストで表されます。

データセット内の各属性には、その属性名とデータ型 (datatype) を定義するための対応する「@attribute」ステートメントがあります。 @attribute <属性名> <データ型>

属性宣言ステートメントの順序は、データ セクション内の属性の位置を示すため重要です。

数値 数値型

<nominal-specation> 呼び形式

string 文字列型

date [<date-format>] 日付と時刻の型

知らせ

データ情報は、「@data」タグが専用行を占め、残りが各インスタンスのデータとなります。

各インスタンスは 1 行を占め、インスタンスの属性値はカンマ「,」で区切られます。

属性の値が欠損値の場合は疑問符「?」で表され、この疑問符は省略できません。

データ セットに多数の 0 値が含まれる場合があります。この場合、データをスパース形式で保存する方がスペースを節約できます。

スパース形式はデータ情報内のオブジェクトを表現するためのもので、ARFF ファイルの他の部分を変更する必要はありません。

注: ARFF データ セットの左端の属性列は列 0 です。したがって、1 X は、X が列 1 の属性値であることを意味します。

ARFF ファイル データを直接使用します。

CSV、C4.5、バイナリ、その他の形式のファイルからインポートします。

JDBC 経由で SQL データベースからデータを読み取ります。

URL（Uniform Resource Locator）からネットワークリソースデータを取得します。

ARFF 形式は、WEKA がサポートする最適なファイル形式です。

データ マイニングに WEKA を使用する場合、多くの場合、最初に直面する問題は、データが ARFF 形式ではないことです。

WEKA は CSV ファイルのサポートも提供しており、この形式は他の多くのソフトウェア (Excel など) でサポートされています。

WEKA を使用して、CSV ファイル形式を ARFF ファイル形式に変換できます。

WEKA 独自のデータセット C:\Program Files\Weka-3-6\data

ネットワークデータリソース http://archive.ics.uci.edu/ml/datasets.html

Excel の XLS ファイルでは、複数の 2 次元テーブルを異なるワークシート (シート) に配置でき、各ワークシートは異なる CSV ファイルとしてのみ保存できます。

XLS ファイルを開き、変換する必要があるワークシートに切り替え、CSV タイプとして保存し、「OK」、「はい」をクリックし、プロンプトを無視して操作を完了します。

CSV タイプのファイルを WEKA で開き、ARFF タイプのファイルとして保存します。

Explorer の前処理ページの領域 2 にある最初の 4 つのボタンは、データを WEKA にロードするために使用されます。

通常、データ マイニング タスクでは、ID などの情報は役に立たないため、削除しても問題ありません。

領域5の属性「id」を確認し、「削除」をクリックします。 新しいデータセットを保存して再度開きます

一部のアルゴリズム (相関分析など) は名目属性のみを処理できます。この場合、数値属性を離散化する必要があります。

値が制限されている数値属性は、.arff ファイル内の属性データ型を変更することで離散化できます。

多くの値を持つ数値属性の場合、WEKA の「Discretize」という名前のフィルターを使用して離散化を実行できます。

ベイズ: ベイズ分類器

Lazy: インスタンスベースの分類子

メタ：組み合わせ方法

ルール: ルールベースの分類子

ツリー: 決定木分類器

トレーニング セットの使用 トレーニング セットの評価の使用

付属のテストセット テストセットの評価を使用する

相互検証 相互検証

パーセンテージ分割保持方法。一定の割合のトレーニング例を評価に使用する

出力モデル。モデルを表示、視覚化できるように、トレーニング セット全体に基づいて分類モデルを出力します。このオプションはデフォルトで選択されています。

クラスごとの統計を出力します。各クラスの精度/再現率および真/偽統計を出力します。このオプションはデフォルトで選択されています。

出力評価尺度。出力エントロピー推定尺度。このオプションはデフォルトでは選択されていません。

混同行列の出力 分類器の予測結果の混同行列を出力します。このオプションはデフォルトで選択されています。

視覚化のために予測を保存します。分類子の予測を視覚的に表現できるように記録します。

予測を出力します。 テストデータの予測結果を出力します。相互検証中、インスタンスの番号はデータセット内での位置を表すものではないことに注意してください。

コスト重視の評価。誤差は値マトリックスに基づいて推定されます。 [設定…] ボタンは、値マトリックスを指定するために使用されます。

xval / % Split のランダム シード 評価目的でデータを分割する必要がある場合にデータをランダム化するために使用されるランダム シードを指定します。

[開始] ボタンをクリックすると、テキスト結果情報が分類子の出力ウィンドウに表示されます。

主要な指標

メインウィンドウで表示します。メイン ウィンドウで出力を表示します。

別ウィンドウでご覧ください。別の新しいウィンドウを開いて結果を表示します。

結果バッファの保存 (結果バッファを保存)。出力結果をテキスト ファイルに保存するためのダイアログ ボックスが表示されます。

モデルをロードします (ダウンロード モード)。バイナリ ファイルから事前トレーニング モード オブジェクトをロードします。

モデルを保存します。スキーマ オブジェクトをバイナリ ファイル、つまり JAVA のシリアル オブジェクト形式で保存します。

現在のテスト セットでモデルを再評価します (現在のテスト セットを再評価します)。確立されたスキーマを通じて指定されたデータ セットをテストし、[提供されたテスト セット] オプションの下にある [設定..] ボタンを使用します。

分類子のエラーを視覚化します。視覚化ウィンドウがポップアップして、分類子の結果グラフが表示されます。このうち、正しく分類されたインスタンスは×印で表され、誤って分類されたインスタンスは小さな四角形で表されます。

ツリーを可視化します(ツリー可視化)。可能であれば、分類子モデルの構造を説明するグラフィカル インターフェイスが表示されます (これは一部の分類子でのみ利用可能です)。空白領域を右クリックしてメニューをポップアップし、パネル内でマウスをドラッグしてクリックすると、各ノードに対応するトレーニング インスタンスが表示されます。

マージンカーブを視覚化します。予測マージンを示す散布図を作成します。マージンは、真の値を予測する確率と、真の値以外を予測する最高確率との差として定義されます。たとえば、加速されたアルゴリズムは、トレーニング データ セットのマージンを増やすことにより、テスト データ セットでより適切に機能します。

閾値曲線の可視化（閾値曲線の可視化）。散布図は、予測におけるトレードオフの問題を説明するために作成されます。トレードオフは、クラス間のしきい値を変更することによって取得されます。たとえば、デフォルトのしきい値は 0.5 で、インスタンスが正であると予測される確率は 0.5 より大きくなければなりません。これは、インスタンスが正であると正確に予測されるのは 0.5 であるためです。また、ROC 曲線分析 (正の正解率と正のエラー率) やその他の曲線などのグラフを使用して、精度とフィードバック率のトレードオフを視覚化できます。

コストカーブの可視化（コストカーブの可視化）。 Drummond と Holte が説明したように、予想されるコストを正確に表す散布図を作成します。

SimpleKMeans — カテゴリ属性をサポートする K 平均法アルゴリズム

DBScan — カテゴリ属性をサポートする密度ベースのアルゴリズム

EM — 混合モデルベースのクラスタリング アルゴリズム

FathestFirst — K 中心点アルゴリズム

OPTICS — 密度に基づく別のアルゴリズム

クモの巣 — 概念クラスタリング アルゴリズム

sIB — 情報理論に基づくクラスタリング アルゴリズム。カテゴリ属性はサポートされません。

XMeans — クラスターの数を自動的に決定できる拡張 K 平均法アルゴリズム。カテゴリ属性はサポートされません。

トレーニング セットの使用 — トレーニング オブジェクトのクラスタリングとグループ化の結果をレポートします

「開始」ボタンをクリックしてクラスタリングアルゴリズムを実行します。

右側の「Clusterer の出力」によって得られるクラスタリングの結果を観察します。また、左下の「結果一覧」で今回生成された結果を右クリックし、「別ウィンドウで表示」すると、新しいウィンドウで結果を閲覧することができます。

テキスト分析

グラフ分析

重要な出力情報

視覚的なクラスタリング結果を観察する

例: 牛乳、バター  パン、卵 (信頼度 0.9、支持度 2000)

サポート - 前件と後件の両方を観察する確率 サポート = Pr(L,R)

信頼度 - 前件が発生したときに後件が発生する確率。 信頼度 = Pr(L,R)/Pr(L)

WEKA データ マイニング プラットフォームでの相関ルール マイニングの主なアルゴリズムは次のとおりです。

これら 3 つのアルゴリズムはいずれも数値データをサポートしません。

実際、ほとんどの相関ルール アルゴリズムは数値型をサポートしていません。したがって、データを処理し、セグメントに分割し、ビンに離散化する必要があります。

アソシエーションルールマイニングアルゴリズム動作情報

エバリュエーターは、属性の良し悪しを表す一連の属性に値を割り当てる方法を決定します。

検索戦略によって、検索の実行方法が決まります。

「属性選択モード」列には 2 つのオプションがあります。

「分類」セクションと同様に、クラス属性を指定するためのドロップダウン ボックスがあります。

「開始」ボタンをクリックして、属性の選択プロセスを開始します。完了すると、結果が結果領域に出力され、結果リストにエントリが追加されます。

結果リストを右クリックすると、いくつかのオプションが表示されます。最初の 3 つ (メイン ウィンドウで表示、別ウィンドウで表示、結果バッファーの保存) は分類パネルと同じです。

削減されたデータセットを視覚化することもできます (削減されたデータの視覚化)

変換されたデータセットを視覚化する機能 (変換されたデータの視覚化)

縮小/変換されたデータは、[縮小データを保存...] または [変換されたデータを保存...] オプションを使用して保存できます。

[視覚化]パネルを選択すると、すべての属性に対して散布図マトリックスが表示され、選択したクラス属性に従って色付けされます。

ここでは、各 2D 散布図のサイズを変更したり、各点のサイズを変更したり、データをランダムにジッターしたり (隠れた点を表示したり) することができます。

また、色付けに使用される属性を変更したり、一連の属性のサブセットのみを選択して散布図マトリックスに配置したり、データのサブサンプルを取得したりすることもできます。

これらの変更は、「更新」ボタンをクリックした後にのみ有効になることに注意してください。

散布図行列の要素をクリックすると、別のウィンドウがポップアップして、選択した散布図を視覚化します。

データ ポイントはウィンドウのメイン領域全体に分散されます。上には、点の座標軸を選択するための 2 つのドロップダウン ボックスがあります。左側は X 軸として使用されるプロパティ、右側は Y 軸として使用されるプロパティです。

X 軸セレクターの隣には、配色を選択するためのドロップダウン ボックスがあります。選択した属性に基づいてポイントに色を付けます。

点線の領域の下には、各色が表す値を説明する凡例があります。値が離散的な場合は、ポップアップ表示される新しいウィンドウで色をクリックすることで色を変更できます。

ドット領域の右側にいくつかの水平バーがあります。各バーは属性を表し、その中の点は属性値の分布を表します。これらの点は垂直方向にランダムに広がっており、点の密度がわかります。

これらのバーをクリックして、メイン グラフに使用される軸を変更します。左クリックして X 軸のプロパティを変更し、右クリックして Y 軸を変更します。水平バーの隣の「X」と「Y」は、現在の軸で使用される属性を表します (「B」は、X 軸と Y 軸の両方に使用されることを示します)。

プロパティ バーの上には、「Jitter」というラベルのカーソルがあります。散布図内の各点の位置、つまりジッターがランダムにシフトする可能性があります。右にドラッグするとジッターの振幅が大きくなり、ポイントの密度を識別するのに役立ちます。

このようなディザリングを使用しない場合、何万もの点が集まって 1 つの点のように見えます。

Y 軸選択ボタンの下には、データ ポイントの選択方法を決定するドロップダウン ボタンがあります。

データ ポイントは次の 4 つの方法で選択できます。

KnowledgeFlow ウィンドウの上部には 8 つのタブがあります。