1943年：McCulloch和Pitts提出基於簡單邏輯運算的人工神經網路模型，即M-P模型。

1948年：Alan Turing提出“B型圖靈機”，基於Hebbian法則學習。

1951年：Marvin Minsky建造第一台神經網路機SNARC。

1958年：Rosenblatt提出感知器模型和並提出了一種接近人類學習過程(迭 代、試錯)的學習演算法。 。

1969年：神經網路進入冰河期，因感知器無法處理「異或」問題和運算能力限制。

1983年：Hopfield提出用於聯想記憶的神經網絡，即Hopfield網絡。

1984年：Geoffrey Hinton提出玻爾茲曼機。

1980年代中期：分散式平行處理(PDP)模型流行，反向傳播演算法成為主要學習演算法。

1995年：神經網路流行度降低，支持向量機等方法興起。

Hinton等: 於2006年提出深度學習，基於深度置信網路(Deep Belief Network,DBN)提出非監督貪心逐層訓練演算法，以及多層自編碼器深層架構，為解決深層結構相關的優化難題帶來希望。

Lecun等：提出卷積神經網絡，利用空間相對關係減少參數數目。

深度學習：基於資料表徵學習的方法，以無監督或半監督特徵學習取代手工特徵提取。

Hinton觀點：多層神經網路有突顯特徵學習能力，但訓練存在難度，可透過逐層預訓練克服。

預訓練 精調：有效解決深度神經網路訓練問題。

近年來, 大規模平行運算和GPU設備普及，支援大規模神經網路訓練，神經網路研究迎來第三個高潮。