完全に接続されたネットワーク FC と比較すると、CNN はローカル接続です。つまり、前の層のニューロンの出力は、次の層のいくつかの隣接するニューロンの入力にのみ接続され、次の層のニューロンの入力にのみ接続されます。この層は、前の層の入力のみを受け取ります。いくつかの隣接するニューロンの出力を受け取ります。

受容野（視野）

コンボリューションカーネル

入力信号の変換は、出力信号の変換と同じになります。

畳み込み演算自体の特性、線形時不変システムの基本特性

プーリング ユニットを適切に設計し、活性化関数を選択することにより、CNN は翻訳の不変性をほぼ維持できます。

例

N K-1

N-K1

ローパスフィルタ

ハイパスフィルタ

バンドパスフィルター

さまざまな周波数成分を含む複雑な信号の場合、さまざまな畳み込みカーネルによって実装されたさまざまなフィルターにより、信号内のさまざまなスケールの成分を取得できます。

ネットワーク出力層の出力と予想される応答の間の誤差は、出力層ネットワークのトレーニングに使用されます。

BP アルゴリズムは、出力層の誤差を前の各層に逆伝播し、逆伝播誤差を使用して各層の畳み込みカーネルを順番にトレーニングします。

z=最大{0,a}

入力とコンボリューションカーネル間のコンボリューション演算 アクティベーション関数の演算

共有パラメータが少ない

異なる性質の入力特徴を分割して征服する

2 次元の畳み込み演算は、amn を計算する必要がある場合、h00 を Xmn に合わせてスライドさせ、j hij の積項 Xm を計算して加算することに相当します。

有効な畳み込み出力サイズは (D1-K1 1)×(D2-K2 1) です。

各コンボリューションカーネル h がコンボリューション演算を通じて生成した行列

入力

コンボリューションカーネル

出力

ウィンドウの最大値を取るプーリング、つまり小さなウィンドウ内の最大値をプーリング結果として選択します

プーリング結果としてのウィンドウ内の平均

プーリング結果としてウィンドウ内の固定小数点値

サイズ

プールストライド

入力の両端に (K-1)/2 のゼロを追加します。

一方の側に K/2 のゼロを追加し、もう一方の側に (K/2)-1 のゼロを追加します。

畳み込み演算ステージ

検出レベル（ReLU関数）

プーリング (オプション)

3Dデータ量

テンソル畳み込みカーネル

畳み込み平面

チャネル次元のさまざまな特徴を抽出する

1×1コンボリューションカーネル

畳み込み層の畳み込み計算

FC層全結合演算起動出力

プーリング層がプーリングを実行します

FC 層は、標準の BP バックプロパゲーション アルゴリズムに従って計算されます。

畳み込み層とプーリング層の逆伝播アルゴリズム

ReLU 活性化関数は、tanh 活性化関数よりも 6 倍高速にトレーニングされます。

より深い層、より小さな畳み込みカーネル、および 1 つのプーリング層に対応する複数の畳み込み層を使用します。

CNN の深さを増やすことで、より良いトレーニング結果を得る

レイヤー数を直接増やすと悪影響が生じます

4つの並列分岐

モジュールを分岐および結合して出力を生成する

各ブランチには 1×1 畳み込みが含まれます

目的は、パラメータと計算の複雑さを軽減するために分割統治することです。

ネットワークの劣化の問題

残留ネットワーク特性

残留ビルディングブロック

残留グリッド構造

高密度ネットワークの特性

緻密なネットワーク構造