出力値とラベル付けされた値の間に不一致がある

モデルの出力が期待値であると仮定すると、確率変数 (ラベル付き値) yi の確率関数は次のようになります。

サンプルは独立して同一に分布しているため、すべてのラベル付き値の同時確率密度関数は次のようになります。

対数尤度関数

誤差二乗和

最尤解法

平均二乗誤差の検定式

問題の規模が大きすぎて、行列を解くのが難しい

すべてのサンプルを取得して平均勾配を計算します

平均勾配

漸化式

ランダムなサンプルを取得して勾配を計算します

確率的勾配

漸化式

サンプルの小さなバッチを取得して平均勾配を計算します

平均勾配

漸化式

行列の条件数が非常に大きく、数値安定性が良くありません。

問題の大きな条件数の性質

解決

誤差二乗和 J(w) ハイパーパラメータ λ 制約パラメータ ベクトル w

形状

重み係数ベクトル w の事前分布は、ガウス分布に基づくベイズの「最大事後確率推定」MAP です。

出力はスカラー y ではなくベクトル y です。

どの解座標も 0 ではなく、解はスパースではありません。

ほとんどの解の座標は 0 であり、解はまばらであり、処理は比較的簡単です。

解の座標はほとんどが0であり、解がまばらであり、処理が困難である。

二乗和関数の誤差を最小化する問題では、制約 ||w||1<t が課されます。

データ行列 X 列をゼロ平均し、Z に正規化します。

なげなわソリューション

巡回座標降下法 CCD

残差値 ri(j) の一部が yi に置き換わります

パラメータ推定値

1 ノルム制約の下でスパース回帰問題を解く

λ=0

λが大きいほど

偏差が大きく、分散が小さい

小さな偏差、大きな分散