元の入力から出力ターゲットへのデータ フローは、複数の線形または非線形コンポーネントを通過します。各コンポーネントは情報を処理し、後続のコンポーネントに影響を与えます。

最終的に出力を取得したとき、各コンポーネントがどの程度寄与しているのか正確にはわかりません。この質問は貢献と呼ばれます 割り当ての問題。

寄与配分問題は非常に重要な問題であり、各コンポーネントのパラメータをどのように学習するかに関係します。

スマートコンセプト

人工知能の概念

人工知能の主体的立場

脳科学と認知科学との融合研究

知能シミュレーションの手法と技術に関する研究

知覚: つまり、外部刺激情報 (視覚や音声など) を知覚して処理する人間の知覚能力をシミュレートします。主な研究分野は音声情報処理やコンピュータビジョンなど。

学習: 人間の学習能力をシミュレートし、主に例から学ぶ方法や環境との対話方法を学習します。主な研究分野には教師あり学習、教師なし学習、強化学習などがあります。

認知: 人間の認知能力をシミュレートします。主な研究分野には、知識表現、自然言語理解、推論、計画、意思決定などが含まれます。

象徴主義

コネクショニズム

行動主義

提案されたモデル

氷河期

バックプロパゲーションアルゴリズムが引き起こすルネッサンス

人気の低下

ディープラーニングの台頭

ノイズ除去などのデータ前処理後たとえば、テキストの分類、ストップワードの削除などです。

生データからいくつかの有効な特徴を抽出します。たとえば、画像分類では、エッジ、スケール不変特徴変換 (SIFT) 特徴などを抽出します。

次元削減や次元拡張など、フィーチャに対して特定の処理を実行します。次元削減には、特徴抽出と特徴選択という 2 つのアプローチが含まれます。一般的に使用される特徴変換手法には、主成分分析 (PCA)、線形判別分析 (線形判別分析) などがあります。

機械学習の中核部分、関数を通じて予測を行う

地元の代表者

分散表現

「浅い学習」とは異なり、深層学習が解決すべき重要な問題は貢献度の分布です

ある意味、深層学習は一種の強化学習（RL）とも言えますが、内部の各コンポーネントは直接監視情報を取得することはできず、モデル全体の最終的な監視情報（報酬）を通じて取得する必要があります。確実な遅れ。

ニューラル ネットワーク モデルでは、誤差逆伝播アルゴリズムを使用でき、寄与分布問題をより適切に解決できます。

伝統的な学習スタイル

新しい学習方法

Theano: Theano プロジェクトを効率的に定義、最適化、実行するために使用されるモントリオール大学の Python ツールキットは、現在メンテナンスが終了しています。多次元配列データは数式に相当します。 Theano は GPU と効率的なシンボルを透過的に使用できます 差分。

Caffe: 正式名は Convolutional Architecture for Fast Feature Embedding で、実装するネットワーク構造を構成ファイルで指定でき、コーディングは必要ありません。 Caffe は C と Python で実装されており、主にコンピューター ビジョンに使用されます。

TensorFlow: Google によって開発された Python ツールキットで、CPU または GPU を備えた任意のデバイス上で実行できます。 TensorFlow の計算プロセスはデータ フロー グラフを使用して表現されます。 Tensor Flow の名前は、その計算プロセスにおける演算オブジェクトが多次元配列、つまりテンソルであることに由来しています。

Chainer: 動的コンピューティング グラフを使用する初期のニューラル ネットワーク フレームワークの 1 つで、その中心的な開発チームは日本の機械学習スタートアップである Preferred Networks です。 Tensorflow、Theano、Caffe、その他のフレームワークで使用される静的計算グラフと比較して、動的計算グラフは実行時に計算グラフを動的に構築できるため、一部の複雑な意思決定や推論タスクに非常に適しています。

PyTorch5: Facebook、NVIDIA、Twitter などが開発、保守している深層学習フレームワーク。その前身は Lua 言語の Torch6 です。 PyTorch は動的コンピューティング グラフに基づくフレームワークでもあり、ニューラル ネットワークの構造を動的に変更する必要があるタスクにおいて明らかな利点があります。

ニューラル ネットワークは、行列演算を使用することで効率的に実装できます。

アフィン層

恒等関数

ソフトマックス関数

分類問題

複数のデータセットを一度に入力する

最適なパラメーター (重みとバイアス) を探すときは、損失関数の値をできるだけ小さくするパラメーターを探すことになるため、パラメーターの導関数 (正確には勾配) を計算する必要があります。

なぜ認識精度を直接指標として使用しないのでしょうか?

平均二乗誤差

クロスエントロピーエラー

いくつかのテストデータを抽出する

手動設定

得たトレーニング

重みパラメータに対する損失関数の勾配

サイクル数/ミニバッチ サイズ

黄色の量はバックプロパゲーション中に得られた値です

緑色の量は既知の量です

全結合層（アフィン層）をベースとしたネットワーク

CNNベースのネットワーク

Convolution[畳み込み層]-ReLU-(Pooling[プーリング層])

出力に近い層は以前の Affine [アフィン変換] - ReLU の組み合わせを使用します

最終出力層は以前の Affine-Softmax の組み合わせを使用します。

全結合層の問題

畳み込み演算

相関

畳み込みのバリエーション

畳み込みの数学的性質

3Dデータの畳み込み演算

複数の畳み込み演算

バッチ処理

ローカル接続: 畳み込み層 (l 番目の層とする) の各ニューロンは、次の層 (l-1 層) のローカル ウィンドウ内のニューロンにのみ接続され、ローカル接続ネットワークを形成します。畳み込み層と次の層の間の接続数は、元の n(l) × n(l - 1) 接続から n(l) × m 接続に大幅に減少します。 mはフィルターサイズです。

重み共有: パラメータとしてのフィルター w(l) は、層 l のすべてのニューロンで同じです。

ローカル接続と重み共有により、畳み込み層のパラメータは m 次元の重み w(l) と 1 次元のバイアス b(l) のみを持ち、合計 m 1 個のパラメータを持ちます。

層 l のニューロンの数は恣意的に選択されるのではなく、n(l) = n(l−1) − m 1 を満たします。

最大値: 一般に、領域内のすべてのニューロンの最大値が取得されます。

平均集計 (Mean): 一般に、領域内のすべてのニューロンの平均値が取得されます。

ここで、Y('d) はプーリング層の出力、f(・) は非線形活性化関数、w(d) と b(d) は学習可能なスカラー重みとバイアスです。

学習するパラメータはありません

チャンネル数は変わらない

小さな位置変化に対するロバスト性（ロバスト性）

学習前のフィルタはランダムに初期化されているため白黒の濃淡にパターンはありませんが、学習後のフィルタは規則的な画像になります。学習により、白から黒へグラデーションするフィルターやブロック状の領域（ブロブと呼ばれる）を含むフィルターなど、通常のフィルターに更新されることがわかりました。水平および垂直エッジに応答するフィルター

畳み込み層のフィルターがエッジやパッチなどの元の情報を抽出することがわかります。実装されたばかりの CNN は、この生の情報を後続のレイヤーに渡します。

CNN の畳み込み層から抽出された情報。レイヤー 1 のニューロンはエッジまたはパッチに応答し、レイヤー 3 はテクスチャに応答し、レイヤー 5 はオブジェクトのパーツに応答し、最後の完全に接続されたレイヤーはオブジェクトのカテゴリ (犬または車) に応答します。

複数の畳み込み層を積み重ねると、層が深くなるにつれて、抽出される情報がより複雑かつ抽象的になります。これは深層学習の非常に興味深い部分です。層が深くなるにつれて、ニューロンは単純な形状から「高レベルの」情報に変化します。つまり、物事の「意味」を理解するのと同じように、反応の対象も徐々に変化していくのです。

LeNet は、手書き数字認識用のネットワークとして 1998 年に提案されました。連続した畳み込み層とプーリング層があり、最終的に全結合層を通じて結果を出力します。

LeNet-5 は入力層を除くと合計 7 層あります。

結合テーブル

これは 2012 年に提案され、最新の深層畳み込みネットワークの多くの技術手法を使用しています。

インセプション モジュール: 畳み込み層には、異なるサイズの複数の畳み込み演算が含まれています

インセプション ネットワークは、複数のインセプション モジュールと少数のアグリゲーション レイヤーによってスタックされます。

V1バージョン

Inception ネットワークの最も初期の v1 バージョンは非常に有名な GoogLeNet [Szegedy et al., 2015] であり、2014 年の ImageNet 画像分類コンテストで優勝しました。

非線形畳み込み層に直接エッジを追加することで情報伝播効率が向上します。

非線形要素

より深いネットワークへ

認識精度のさらなる向上

より深いモチベーション

ILSVRC コンテスト

VGG

GoogLeNet

レスネット

解決する必要がある問題

GPUベースの高速化

分散学習

算術精度の桁数削減

物体検出

画像のセグメンテーション

画像キャプションの生成

画像スタイルの変換

画像生成

オートパイロット

強化学習

シソーラスベースのアプローチ

カウントベースのアプローチ

推論ベースのアプローチ (word2vec)

各単語の意味に応じた上位名と下位名の関係を図式化したもの

最も有名な同義語辞書

効果

NLTKモジュール経由で使用

新しい言葉が次々と生まれ、時代の変化に対応するのが難しい

人件費が高い

微妙な違いを言葉で表現できない

コーパスとは大量のテキストデータです

自然言語処理の分野で用いられるコーパスでは、テキストデータに付加情報を付加することがあります。たとえば、テキスト データの各単語に品詞を付けることができます。ここでは、使用するコーパスにはタグが付加されていないものとします。

有名なコーパス

前処理

ワードドメインでコンパクトで合理的なベクトル表現を構築する

単語の意味はそれを囲む単語によって形成されます

コンテキストとは、中央にある単語の周囲の単語を指します

コンテキストのサイズはウィンドウ サイズと呼ばれます

ベクトルを使用する最も簡単な方法は、その周囲に単語が何回出現するかを数えることです。

text = 'あなたはさよならを言い、私はこんにちはと言います。

ウィンドウサイズを1に設定します

コサイン類似度

クエリ単語の単語ベクトルを取得します。

クエリ単語の単語ベクトルと他のすべての単語ベクトルの間のコサイン類似度をそれぞれ取得します。

コサイン類似度に基づいた結果、値を降順で表示

共起マトリックスでは、「the」のような一般的な単語は、「car」のような名詞と強い相関があると見なされます。

PMI

共起行列に基づく PMI

不十分

共起行列に基づいて PPMI 行列を取得します

データの分布を観察し、重要な「軸」を見つける必要がある

特異値分解 (SVD)

PTB コーパスは、提案された手法を評価するためのベンチマークとしてよく使用されます。

PTB コーパスの前処理

私が行った前処理

ハイパーパラメータの割り当て

クエリ単語 you では、i や we などの人称代名詞が文法上同じ用法を持つ単語が 1 位にランクされていることがわかります。

クエリ語「年」には、「月」や「四半期」などの同義語があります。

クエリ語 car には、auto や vehicle などの同義語があります。

トヨタを検索語として使用すると、日産、ホンダ、レクサスなどの自動車メーカー名またはブランド名が表示されました。

コーパスを使用してコンテキスト内の単語の数を計算し、それらを PPMI 行列に変換し、SVD 次元削減に基づいて適切な単語ベクトルを取得します。

現実の世界では、コーパスは非常に多くの単語を扱います。例えば、英語の語彙は100万語以上あると言われています。語彙サイズが100万を超える場合、カウントベースの方法を使用するには100万×100万という巨大な行列を生成する必要がありますが、このような大きな行列に対してSVDを実行することは明らかに非現実的です。

ニューラルネットワークを使用した推論ベースのアプローチ

目標

推論方法

単語をベクトルに変換する

ニューラルネットワーク

構造

特徴

Softmax 関数を使用してスコアを確率に変換する

これらの確率と教師付きラベルの間のクロスエントロピー誤差を見つけます。

損失として学ぶ

W(in) の重みは、必要な単語の分散表現です。

wt−1 と wt 1 が発生した後に wt が発生する確率。

CBOWモデルの損失関数L（負の対数尤度）

word2vecには2つのモデルがあります

Skip-gramは、CBOWモデルで処理された文脈と対象単語を反転するモデルです。

スキップグラムネットワーク構造図

スキップグラムモデルと確率

損失関数の比較

単語の分散表現の精度から判断すると、ほとんどの場合、skip-grm モデルの方が良い結果が得られます。

新しい単語を語彙に追加し、単語の分散表現を更新する必要があるシナリオ

単語の分散表現の性質

単語の分散表現の精度

word2vec を使用して取得された単語の分散表現を使用して、近似した単語を見つけることができます。

転移学習

単語の分散表現を使用すると、ドキュメント (単語のシーケンス) を固定長のベクトルに変換することもできます。

人工的に作成された単語の類似性評価セットを評価する

人々によって与えられたスコアと word2vec によって与えられたコサイン類似度を比較して、それらの間の相関関係を調べます。

結論は

CBOWモデルの本来の目的である「文脈から対象単語を予測する」は何かに活用できないでしょうか？ P(wt|wt−2, wt−1) はいくつかの実際的なシナリオで役割を果たすことができますか?

前に検討したウィンドウはすべて対称であり、次に左側のウィンドウのみを考慮します。

確率を使用して、一連の単語が出現する可能性、つまり一連の単語が自然である程度を評価します。

確率表現

マルコフ連鎖

不十分

RNN は、コンテキストがどれほど長くても、コンテキスト情報を記憶できるメカニズムを備えています。したがって、RNN を使用すると、任意の長さの時系列データを処理できます。

word2vec は単語の分散表現を取得することを目的とした方法であり、通常は言語モデルでは使用されません。

RNN層の構造

時刻 t での入力は xt であり、時系列データ (x0、x1、...、xt、...) がレイヤーに入力されることを意味します。そして、入力に応じた形式で、(h0, h1, · · · , ht, · ·) を出力します。

出力には 2 つのフォークがあり、同じものがコピーされたことを意味します。出力内のフォークはそれ自体の入力になります。

「瞬間」という言葉は、時系列データのインデックスを指すために使用します (つまり、時間 t における入力データは xt です)。 「t番目の単語」「t番目のRNN層」といった表現のほか、「時刻tの単語」や「時刻tのRNN層」といった表現も使われます。

RNN 層は各瞬間に 2 つの値を受け取ります。これらは、この層に渡される入力と前の RNN 層の出力です。

RNN には 2 つの重みがあります。つまり、入力 x を出力 h に変換する重み Wx と、前の RNN 層の出力を現時点の出力に変換する重み Wh です。さらに、バイアス b があります。

別の観点から見ると、RNN には状態 h があり、上記の式を通じて継続的に更新されます。したがって、 h は隠れ状態または隠れ状態ベクトルと呼ぶことができます。

2 つの概略図の描画方法は同等です

時間ベースのバックプロパゲーション

BPTTに基づいて勾配を求めるには、各瞬間のRNN層の中間データをメモリに保存する必要があります。したがって、時系列データが長くなるにつれて、コンピューターのメモリ使用量 (計算だけでなく) も増加します。

上記の問題を解決するために、長い時系列データを処理する場合、ネットワーク接続を適切な長さに切断することが一般的に行われます。

時間軸方向に長すぎるネットワークを適当な位置で切り詰めて複数の小さなネットワークを作成し、切り出した小さなネットワークに対して誤差逆伝播法を行うこの方法をTruncated BPTT（トランケートされたBPTT）と呼びます。

Truncated BPTT では、ネットワークの逆方向伝播接続は切断されますが、順方向伝播接続は維持されます。

処理順序

入力データの先頭で、個々のバッチ内で「オフセット」を作成する必要があります。

知らせ

一度に T ステップを処理する層を「時間 RNN 層」と呼びます。

Time RNN層の中でシングルステップ処理を行う層を「RNN層」と呼びます。

Time RNN と同様に、時系列データを総合的に処理するレイヤーには、「Time」という単語で始まる名前が付けられます。これは、本書で説明されている命名規則です。その後、Time Affine レイヤー、Time Embedding レイヤーなども実装していきます。

順伝播

誤差逆伝播法

順伝播

誤差逆伝播法

RNN ベースの言語モデルは RNNLM と呼ばれます

構造

サンプル

ターゲットニューラルネットワーク構造

タイムアフィン

時間ソフトマックス

入力データは1です

入力データが複数ある

確率が大きければ大きいほど良く、混乱が小さければ小さいほど良いです。

Perplexity は、次に選択できるオプションの数を表します。混乱度が 1.25 であれば、次の単語の候補は約 1 つであることを意味します。

上記の操作をクラスにカプセル化します。

3 つの隠れ層 h1、h2、および h3 があり、h1 は 2 つの入力 x1 および x2 から計算され、h2 は他の 2 つの入力層 x3 および x4 から計算され、h3 は 2 つの隠れ層 h1 および h2 から計算されます。

活性化関数

MatMul (行列積) ノード

勾配爆発を解決するには、勾配クリッピングと呼ばれる確立された方法があります。

ここでは、ニューラル ネットワークで使用されるすべてのパラメーターの勾配を変数に統合し、記号 g で表すことができると仮定します。次に、しきい値をしきい値に設定します。このとき、勾配のＬ２ノルムｇが閾値以上であれば、上述したように勾配を補正する。

LSTMとはLong Short-Term Memoryの略で、短期記憶（Short-Term Memory）を長期間維持できることを意味します。

まず、tanh(h(t−1)*Wh xt*Wx b) の計算を長方形ノード Tanh として表現します (ht−1 と xt は行ベクトルです)。

LSTMとRNNのインターフェース（入力と出力）を比較してみましょう

LSTM と RNN のインターフェイスの違いは、LSTM にもパス c があることです。この c はメモリユニット (または単に「ユニット」) と呼ばれ、LSTM の専用メモリ部門に相当します。

メモリ ユニットの特徴は、LSTM 層内でのみデータを送受信することです。つまり、LSTM の出力を受け取る側から見ると、LSTM の出力には隠れ状態ベクトル h のみが含まれます。メモリユニット c は外界からは見えず、その存在を考慮する必要さえありません。

ct は、時刻 t における LSTM のメモリを保存します。これには、過去から時刻 t までの必要な情報がすべて含まれていると考えることができます。そして、このキャリアメモリのctに基づいて、隠れ状態htが出力される。

計算する

ゲート

隠れ状態 ht は記憶単位 ct に Tanh 関数のみを適用し、tanh(ct) にゲートを適用することを検討します。このゲートは次の隠れ状態 ht の出力を管理するため、出力ゲートと呼ばれます。

出力ゲートは次のように計算されます。シグモイド関数は σ() で表されます。

ht は、o と Tanh(ct) の積から計算できます。計算方法は、対応する要素の積である要素ごとの積です。アダマール積とも呼ばれます。

ここで、記憶単位 c(t−1) に不要な記憶を忘れるためのゲートを追加します。これをここでは忘却ゲートと呼びます。

フォーゲットゲートの計算は次のとおりです。

ct は、この f と前のメモリユニットの対応する要素 ct−1 の積によって取得されます。

ここで、記憶すべき新しい情報をこのメモリ ユニットに追加したいと思います。このために、新しい Tanh ノードを追加します。

Tanhノードに基づいて計算された結果は、前回の記憶部ct-1に追加されている。

図 6-17 の g にゲートを追加します。この新しく追加されたゲートを、ここでは入力ゲートと呼びます。

入力ゲートは、新しい情報 g の各要素の値を決定します。入力ゲートは、何も考えずに新しい情報を追加するのではなく、どの情報を追加するかを選択します。言い換えれば、入力ゲートは重み付けされた新しい情報を追加します。

入力ゲートは次のように計算されます。

メモリセルのバックプロパゲーションは、「 」ノードと「×」ノードのみを通過します。 「 」ノードは上流からの勾配をそのまま流出させるため、勾配は変化しません（縮退します）。 「×」ノードの計算は行列積ではなく、対応する要素の積 (Hadama 積) であるため、勾配の変化は発生しません。

LSTM 層を深くする (複数の LSTM 層を積み重ねる) と、多くの場合うまく機能します。

レイヤーは何層が適切ですか?

深さを深くすることで、より表現力豊かなモデルを作成できますが、そのようなモデルはオーバーフィッティングに悩まされることがよくあります。さらに悪いことに、RNN は従来のフィードフォワード ニューラル ネットワークよりも過学習しやすいため、RNN の過学習対策は非常に重要です。

対策

ドロップアウト

ドロップアウトレイヤー挿入位置

Weight tyingは直訳すると「体重縛り」となります。

Embedding レイヤーと Affine レイヤーの重みをバインド (共有) するコツは、重みの共有です。これら 2 つの層間で重みを共有することにより、学習されるパラメータの数を大幅に減らすことができます。これに加えて、精度も向上します。

最も確率の高い単語を選択し、結果は一意に決定されます

確率が高い単語は選択されやすく、確率が低い単語は選択されにくい。

より良い言語モデルを使用する

このモデルには、エンコーダとデコーダの 2 つのモジュールがあります。エンコーダは入力データをエンコードし、デコーダはエンコードされたデータをデコードします。

seq2seq は、エンコーダ LSTM とデコーダ LSTM の 2 つの LSTM 層で構成されます。

LSTM の隠れ状態 h は固定長ベクトルです。前のセクションのモデルとの違いは、LSTM 層がベクトル h を受け取ることです。この 1 つの小さな変更により、通常の言語モデルが翻訳を処理できるデコーダーに進化することができました。

seq2seq に加算計算を実行させようとしています

充填

多くの場合、この手法を使用すると学習がより速く進み、最終的な精度が向上します。

直感的には、データを反転すると、勾配の伝播がよりスムーズになり、より効果的になります。

ヘルメットを使用したエンコーダは Peeky Decoder と呼ばれ、Peeky Decoder を使用した seq2seq は Peeky seq2seq と呼ばれます。

エンコーダは入力文を固定長ベクトル h に変換します。これには、デコーダが必要とするすべての情報が集中します。これがデコーダの唯一の情報源です。

重要な情報が集中しているエンコーダの出力 h は、デコーダの他の層に割り当てることができます。

2 つのベクトルが LSTM 層と Affine 層に同時に入力され、実際には 2 つのベクトルの連結を表します。

seq2seq ではエンコーダを使用して時系列データをエンコードし、エンコードされた情報がデコーダに渡されます。この時点で、エンコーダーの出力は固定長ベクトルです。

固定長ベクトルとは、入力ステートメントの長さに関係なく (長さに関係なく)、同じ長さのベクトルに変換されることを意味します。

エンコーダーの出力の長さは、入力テキストの長さに応じて変更される必要があります。

エンコーダーは左から右に処理するため、厳密に言えば、「cat」ベクトルには「我的人」、「は」、「猫」の 3 つの単語の情報だけが含まれます。全体のバランスを考えると、「猫」という文字の周りにまんべんなく情報を盛り込むのがベストです。この場合、時系列データを双方向から処理する双方向 RNN (または双方向 LSTM) がより効果的です。

以前は、エンコーダの LSTM 層の「最後の」隠れ状態を、デコーダの LSTM 層の「初期」の隠れ状態に置きました。

前の章のデコーダーは、エンコーダーの LSTM 層の最後の隠れ状態のみを使用しました。 hs を使用する場合、最後の行のみが抽出され、デコーダに渡されます。次に、すべての hs を使用できるようにデコーダを改良します。

特定の単語 (または単語のセット) に注目し、その単語を随時変換することで、seq2seq は「入力と出力のどの単語がどの単語に関連しているか」を学習することができます。

構造変化

計算方法

重みaの学習

統合する

全体のバランスを考えると、「猫」という単語を中心とした情報がより均等にベクトルに含まれるようにしたいと考えます。

双方向 LSTM は、前の LSTM 層の上に逆方向に処理する LSTM 層を追加します。

2 つの LSTM 層の隠れ状態を各瞬間に結合し、それを最終的な隠れ状態ベクトルとして使用します (結合に加えて、「合計」や「平均」などもできます)。

アテンション層の出力（コンテキストベクトル）は、次の瞬間に LSTM 層の入力に接続されます。この構造を通じて、LSTM 層はコンテキスト ベクトルの情報を使用することができます。対照的に、私たちが実装したモデルは、アフィン層のコンテキスト ベクトルを使用します。

RNN層を深化させる

残りの接続

機械翻訳の歴史

Google 翻訳は 2016 年から実際のサービスにニューラル機械翻訳を使用しています。 GNMTと呼ばれる機械翻訳システム

GNMT は大量のデータとコンピューティング リソースを必要とします。 GNMT は、約 100 個の GPU で 6 日間学習された大量のトレーニング データ (1 つのモデル) を使用します。また、GNMTでは8つのモデルを並列学習できるアンサンブル学習や強化学習などの技術をベースに、さらなる精度の向上にも努めています。

RNN は可変長の時系列データを適切に処理できます。ただし、RNN には並列処理の問題などの欠点もあります。

RNNは直前の計算結果に基づいて段階的に計算する必要があるため、時間方向に並列してRNNを計算することは（基本的に）不可能です。 GPUを使った並列コンピューティング環境で深層学習を行う場合、これが大きなボトルネックになるため、RNNを避けたいという動機があります。

Transformer は RNN を使用せず、処理にアテンションを使用します。このトランスフォーマーについて簡単に見てみましょう。

自己注意

1 つの隠れ層と活性化関数 ReLU を備えた完全に接続されたニューラル ネットワークを使用します。また、図中のNxは、灰色の背景で囲まれた要素がN回積層されていることを意味します。

NTM (ニューラルチューリングマシン)

ニューラル ネットワークは、外部ストレージ デバイスを使用して追加機能を取得することもできます。

アテンションに基づいて、エンコーダとデコーダはコンピュータの「メモリ操作」を実装します。言い換えると、これは、エンコーダが必要な情報をメモリに書き込み、デコーダがメモリから読み取ると解釈できます。 必要な情報を取得します。

コンピュータのメモリ操作を模倣するために、NTM のメモリ操作は 2 つのアテンションを使用します。

NTM は、長期記憶の問題や並べ替え問題 (数字を大きいものから小さいものへ並べる) などを解決することに成功しました。

最適化が難しく、計算量が多い

フィット力が強すぎてオーバーフィットしやすい。

ネットワーク構造の多様性

低次元空間の難しさ

高次元空間の難しさ

勾配降下法の種類

学習率の低下

勾配方向の最適化

ガウス初期化方法は、最も単純な初期化方法です。パラメータは、固定平均 (0 など) と固定分散 (0.01 など) のガウス分布からランダムに初期化されます。

ニューロンの入力接続の数が n(in) の場合、その入力接続の重みは N(0,sqrt(1/nin)) のガウス分布で初期化されるように設定できます。

出力接続数 nout も考慮する場合、N(0,sqrt(2/(nin noout))) のガウス分布に従って初期化できます。

一様分布の初期化では、一様分布を使用して、指定された間隔 [-r, r] 内のパラメーターを初期化します。ハイパーパラメータ r の設定は、ニューロンの接続数に応じて適応的に調整することもできます。

アクティベーション機能の種類

Xavier Glorot らの論文で推奨されている重みの初期値を使用してみました。

前の層のノード数が n の場合、初期値では標準偏差が (1/sqrt(n)) のガウス分布が使用されます。

活性化関数が ReLU を使用する場合、通常は ReLU 専用の初期値を使用することが推奨されます。これは Kaiming He らによって推奨されている初期値であり、「He 初期値」とも呼ばれます。

現在の層のノード数が n の場合、He の初期値は標準偏差が (2/sqrt(n)) のガウス分布を使用します。

各次元特徴のソースと測定単位が異なると、これらの特徴値の分布範囲が大きく異なります。異なるサンプル間のユークリッド距離を計算する場合、値の範囲が広い特徴が支配的な役割を果たします。

スケーリング正規化

標準正規化

入力データが白色化された後、特徴間の相関は低く、すべての特徴の分散は同じになります。

美白を実現する主な方法の 1 つは、主成分分析を使用して成分間の相関を除去することです。

バッチ正規化、BN 法とも呼ばれます。

各層に適切な広がりを持たせるために、活性値の分布は「強制的に」調整されます。

データ分布の平均が 0、分散が 1 になるように正則化を実行します。

ニューラル ネットワーク内の中間層はどれも正規化できます。

アドバンテージ

バッチノルムレイヤー

バッチ正規化の制限

層の正規化は、中間層のすべてのニューロンを正規化します。

ネットワーク構造

最適化パラメータ

正則化係数

テストデータを使用してハイパーパラメータのパフォーマンスを評価できない

ハイパーパラメータ値の「良さ」を確認するためにテスト データを使用すると、テスト データにのみ適合するようにハイパーパラメータ値が調整されます。

トレーニング データはパラメーターの学習 (重みとバイアス) に使用され、検証データはハイパーパラメーターのパフォーマンス評価に使用されます。汎化能力を確認するために、テストデータは最後に使用する必要があります（理想的には1回だけ）

グリッド検索

ランダム検索

ベイズ最適化

動的なリソース割り当て

重み減衰は、オーバーフィッティングを抑制するためによく使用される方法です。この方法では、学習プロセス中に大きな重みにペナルティが課されます。

簡単に言うと、損失関数は次のようになります。

λ は正則化の強度を制御するハイパーパラメータです

ドロップアウト方式

ネットワークモデルが非常に複雑になると、重み減衰だけで対応するのは困難になります。

学習プロセス中にニューロンをランダムに削除する方法では、毎回ニューロンをランダムに破棄することが選択されます。最も簡単な方法は、固定確率 p を設定することです。各ニューロンについて、それを保持するかどうかを決定する確率 p があります。

データ増強

ラベルのスムージング

自己トレーニングでは、最初にラベル付きデータを使用してモデルをトレーニングし、このモデルを使用してラベルのないサンプルのラベルを予測し、予測信頼度が比較的高いサンプルとその予測された疑似ラベルをトレーニング セットに追加してから、新しいモデルを再トレーニングします。そしてこのプロセスを繰り返し続けます。

コトレーニングはセルフトレーニングの改良された方法です

異なるビューに基づく 2 つの分類子は相互に促進します。多くのデータには、比較的独立したさまざまな視点があります。

さまざまな観点の条件付き独立性により、さまざまな観点でトレーニングされたモデルは、さまざまな観点から問題を理解することと同等であり、一定の補完性があります。協調トレーニングは、この相補性を利用して自己トレーニングを行う方法です。まず、2 つのモデル f1 と f2 が異なる観点に従ってトレーニング セットでトレーニングされ、次に f1 と f2 を使用してラベルのないデータ セットで予測が行われ、予測信頼度が比較的高いサンプルが選択されてトレーニング セットに追加されます。 2 つの異なる視点がモデルを再トレーニングし、このプロセスを繰り返します。

帰納的転移学習

転移学習の導出

トレーニングが完了すると、モデルは固定されたままになり、反復的に更新されなくなります。

モデルが多くの異なるタスクを同時に成功させることは依然として非常に困難です。

オプティマイザーベースのメタ学習

モデルに依存しないメタ学習