推定値の標準誤差、標準誤差、y と合計の変化の度合いを測定、適合度を測定、小さいほど良い

複数のサンプリングにおけるサンプル平均間の分散の程度は、全体の平均に対するサンプル平均の代表性を反映します。

決定係数: x によって説明できる y の変化の割合

線形回帰の場合、相関係数の 2 乗に等しくなります。

n→観測値の数、k→xの数、1→切片の数。

無条件不均一分散性: x の変化とは何の関係もなく、回帰にも重大な影響を与えません。

条件付き不均一分散性: x が変化すると残差も変化し、統計的推論に大きな影響を与えます。

方法 1: 散布図

方法 2: カイ二乗検定

方法 1: ロバスト/不均一分散性一貫性標準誤差とも呼ばれる白色補正標準誤差を計算する

方法 2: 一般化最小二乗を計算する

正のシリアル相関: 現在の期間で正の回帰誤差があると、次の期間で正の回帰誤差が発生する可能性が高くなります。

負のシリアル相関: 現在の期間で正の回帰誤差があると、次の期間で負の回帰誤差が発生する可能性が高くなります。

散布図残差プロット

DW (ダービン-ワトソン) 統計

方法 1: 標準誤差を調整する: 不均一分散性のみがある場合は、白色補正された標準誤差を使用します。または、自己相関がある場合は、ハンセン法を使用します。

方法 2: 季節などの時間特性を追加するなど、モデルを改善します。

完全な多重共線性

不完全多重共線性

推定係数の統計的推論が間違っている

推定された係数は一貫していません

関数形式エラー

独立変数は残差項に関連します

時系列設定エラー

データマイニングのバイアスを回避するには、一定の根拠が必要です。

変数関数の形式は、変数データの実際の特性に適合する必要があります。

緩やかな倹約: 効果的かつシンプル

6 つの主要な前提条件を満たしている

サンプル外データの監視に合格しました

Zスコアなど

対数モデルを使用して変数が一定の割合で増加する

期待は一定かつ有限である

分散は一定かつ有限である

先行値と遅行値の間の共分散は一定で有限です

k 次自己相関係数: 時刻 t と時刻 t-k における時系列 y 間の相関係数

AR(1) モデルの構築と推定

残差項間の相関係数を計算する

残差の各次数の相関係数が 0 から大きく異なるかどうかをテストします。

自己回帰モデル AR(1) を y に適用する

帰無仮説: 単位根がある

正則化正則化

回帰および分類問題に適しています

アイデア: クラス間のマージンが最大となり、分離超平面を形成します。

アイデア: ターゲット x に近い最も一般的なカテゴリは x と同じカテゴリです

分岐した枝

投票の分類

ブートストラップ集約、バギング

ランダムフォレスト

次元削減、直交分解

分割クラスタリング/階層クラスタリング、トップダウンクラスタリング

凝集クラスタリング、ボトムアップクラスタリング

類似したサンプル間の距離はできるだけ小さくする必要があり、異なるカテゴリ間の距離はできるだけ大きくする必要があります。

トップダウンクラスタリング

ステップ

入力層

出力層

隠れ層

活性化関数 活性化関数

各層の重み値

ハイパーパラメータ

トレーニングセット（トレーニングモデル）

検証セット (検証およびデバッグ モデル)

テストセット (新しいデータでモデルを評価)

サンプル切れ

バイアス誤差

分散分散誤差

モデルの複雑さ ↑、分散 ↑、バイアス ↑

基本偏差ベース誤差

データの不完全性

データの不正確さ

データに一貫性がありません

非標準誤差不均一性

重複データ

データ抽出

集計

フィルター

選ぶ

変換する

標準偏差の3倍を超える

IQRの3倍を超える

識別する

対処する

正規化

標準化

データの視覚化

平均、分散など。

最も影響力のある機能を繰り返し選択する

モデルの説明力とアルゴリズムの速度の選択

ビルド機能

ワンホット エンコーディングのカテゴリ データがデータのバイナリ表現に処理されます (ダミー)

教師あり/教師なし、データ型、データ型、データサイズを考慮する

数値タイプ - CART、テキストタイプ - 一般化線形モデル GLM/SVM 画像データ - ディープモデル

HTML タグ、句読点、数字、空白文字を削除します。

テキストを小文字に変換する

ストップワードを削除する

ステミング

見出し語化

Bags-of-words、BOW 順序付けされていない単語の集合

文書用語行列: 行は文書、列は単語、グリッドは文書内で単語が出現する回数です。

N-gram: 文中の n 語が 1 つに分割され、2-gram が 2 つに分割され、3 語の文から 2 グラムが生成されます。

単語の頻度など。