マインドマップギャラリー ニューラル ネットワークとディープラーニング リカレント ニューラル ネットワーク
RNN の基本的な構造原理、RNN 計算トレーニング用の BPTT アルゴリズム、長短期記憶モデル LSTM、ゲート型リカレント ユニット GRU の基本原理など、リカレント ニューラル ネットワーク RNN の基本的な内容をまとめました。
これはバクテリアに関するマインドマップであり、その主な内容には、概要、形態、種類、構造、生殖、分布、アプリケーション、および拡張が含まれます。概要は包括的で綿密で、レビュー資料として適しています。
これは、植物の無性生殖に関するマインドマップであり、その主な内容には、概念、胞子の生殖、栄養生殖、組織培養、芽が含まれます。概要は包括的で綿密で、レビュー資料として適しています。
これは、動物の生殖発達に関するマインドマップであり、その主な内容には、昆虫、カエル、鳥、性的生殖、無性生殖が含まれます。概要は包括的で綿密で、レビュー資料として適しています。
第 3 章 線形モデル
ディープラーニングの理論的知識
パターン認識
AI
人工知能技術開発
人工知能の概要
sklearn 人工知能機械学習のナレッジポイントのまとめ (実践的なコードの図付き)
機械学習アルゴリズムエンジニアのスキルツリー
機械学習アルゴリズムエンジニア
ニューラルネットワークとディープラーニング リカレントニューラルネットワーク
基本的な RNN
順次
データが順番に配置され、シーケンスの隣接するメンバーが関連していることがよくあります
畳み込みニューラル ネットワーク CNN はこの種のシーケンス データを処理できますが、柔軟性が十分ではありません。フィードバック ループを備えたリカレント ニューラル ネットワーク RNN は、この種のシーケンス データの処理に適しています。
RNN原理の模式図
状態方程式
状態変数
システムの変更とメモリ機能を示します
現在の状態は、直前の状態と現在の入力に関連しています。
状態変数は、開始時刻からの入力シーケンスの寄与を記憶します。
線形動的システム
非線形動的システム
RNN の計算とトレーニング
単位計算
計算グラフを展開する
BPTTアルゴリズム
ディープ RNN ネットワーク
長期依存
理由
逆方向誤差伝播項
シーケンス時間ステップ N 後
W 固有値が 1 より大きい
勾配爆発
ワイ固有値が 1 未満です
グラデーションが消える
解決
グラジエントトランケーション法(閾値制限グラジエント)
ゲートRNN法
長短期記憶モデルLSTM
ゲート付き再循環ユニット GRU
LSTM計算展開図
実現方法
アイデア
記憶ベクトルを「長期記憶」と「短期記憶」に分ける
長期記憶
メモリセルベクトル
内部ループの記憶と忘却の制御
短期記憶
隠されたベクトル
ループ遅延後のゲート ネットワークへの入力 (外側のループ)
ゲートメモリプロセス
忘却の扉
メモリレベルを制御する
メモリ
忘れる
部分的な記憶
入力ゲート
メモリセル候補
メモリセルに対する入力の影響
新しいメモリセルの現在の構成
メモリ セルは、直前の瞬間のコンポーネントを保持します。メモリ セルに対する電流入力の影響。
出力ゲート
GRU計算展開図
リセットゲート
新しい記憶の生成に影響を与える
ドアを更新する
記憶を制御し、過去および新しい入力を忘れる
候補の非表示状態 (候補者の記憶)
新しい記憶要素を制御する
ステータス出力
直前の隠れ状態保持コンポーネントと現在の入力の影響
LSTMとGRUの比較
GRU は LSTM の簡易バージョンとみなすことができ、パフォーマンス的には LSTM と同等であり、忘却ゲートと入力ゲートの代わりに更新ゲートを使用します。