マインドマップギャラリー 神經網路與深度學習的發展概述
這是一篇關於神經網路與深度學習的發展概述的心智圖,包含神經網路的誕生、 神經網路的復興、 深度學習的崛起等。
AI或將影響那些人類職業
Attention is all you need
AI工具集大全
深度學習理論知識
影像分割演算法
機器學習之基本迴歸演算法
神經網路運作過程詳解
卷積神經網路( CNN)
常見神經網路模型的類型及應用
神經網路與深度學習之循環神經網絡
神經網路與深度學習的發展概述
神經網路的誕生 (1943—1969)
1943年:McCulloch和Pitts提出基於簡單邏輯運算的人工神經網路模型,即M-P模型。
1948年:Alan Turing提出“B型圖靈機”,基於Hebbian法則學習。
1951年:Marvin Minsky建造第一台神經網路機SNARC。
1958年:Rosenblatt提出感知器模型和並提出了一種接近人類學習過程(迭 代、試錯)的學習演算法。 。
1969年:神經網路進入冰河期,因感知器無法處理「異或」問題和運算能力限制。
神經網路的復興 (1983—1995)
1983年:Hopfield提出用於聯想記憶的神經網絡,即Hopfield網絡。
1984年:Geoffrey Hinton提出玻爾茲曼機。
1980年代中期:分散式平行處理(PDP)模型流行,反向傳播演算法成為主要學習演算法。
1995年:神經網路流行度降低,支持向量機等方法興起。
深度學習的崛起 (2006年至今)
Hinton等: 於2006年提出深度學習,基於深度置信網路(Deep Belief Network,DBN)提出非監督貪心逐層訓練演算法,以及多層自編碼器深層架構,為解決深層結構相關的優化難題帶來希望。
Lecun等:提出卷積神經網絡,利用空間相對關係減少參數數目。
深度學習:基於資料表徵學習的方法,以無監督或半監督特徵學習取代手工特徵提取。
Hinton觀點:多層神經網路有突顯特徵學習能力,但訓練存在難度,可透過逐層預訓練克服。
預訓練 精調:有效解決深度神經網路訓練問題。
近年來, 大規模平行運算和GPU設備普及,支援大規模神經網路訓練,神經網路研究迎來第三個高潮。