樣本的原始輸入到輸出目標之間的資料流經過多個線性或非線性的組件。每個組件都會對資訊進行加工，並進而影響後續的組件。

當我們最後得到輸出結果時，我們並不清楚其中每個組件的貢獻是多少。這個問題叫做貢獻度 分配問題。

貢獻度分配問題是一個很關鍵的問題，這關係到如何學習每個元件中的參數。

智能的概念

人工智慧的概念

人工智慧的學科位置

與腦科和認知科學的交叉研究

智慧模擬的方法和技術研究

感知：即模擬人的感知能力，對外在刺激訊息（視覺和語音等）進行感知和加工。主要研究領域包括語音訊息處理和電腦視覺等。

學習：即模擬人的學習能力，主要研究如何從範例或與環境互動中學習。主要研究領域包括監督學習、無監督學習和強化學習等。

認知：即模擬人的認知能力，主要研究領域包括知識表示、自然語言理解、推理、規劃、決策等。

符號主義

連結主義

行為主義

模型提出

冰河期

反向傳播演算法引起的復興

流行度降低

深度學習的崛起

經過資料的預處理，如去除雜訊等。例如在文本分類中，去除停用詞等

從原始資料中提取一些有效的特徵。例如在影像分類中，提取邊緣、尺度不變特徵變換（Scale Invariant Feature Transform，SIFT）特徵等

對特徵進行一定的加工，例如降維和升維。降維包括特徵抽取（Feature Extraction）和特徵選擇（Feature Selection）兩種途徑。常用的特徵轉換方法有主成分分析（Principal components analysis，PCA）、線性判別分析（Linear Discriminant Analysis）等

機器學習的核心部分，透過一個函數進行預測

局部表示

分散式表示

和「淺層學習」不同，深度學習需要解決的關鍵問題是貢獻度分配問題

某種意義上講，深度學習也可以看作是一種強化學習（Reinforcement Learning，RL），每個內部組件並不能直接得到監督信息，需要通過整個模型的最終監督信息（獎勵）得到，並且有一定的延時性。

神經網路模型可以使用誤差反向傳播演算法，從而可以比較好地解決貢獻度分配問題。

傳統學習方式

新類型學習方式

Theano：蒙特婁大學的Py​​thon工具包，用來有效率地定義、最佳化和執行 Theano 專案目前已停止維護。 多維數組資料對應數學表達式。 Theano 可以透明的使用 GPUs 和高效的符號 微分。

Caffe：全稱為 Convolutional Architecture for Fast Feature Embedding，是卷積網路模型的運算框架，所要實現的網路結構可以在設定檔中指定，不需要編碼。 Caffe是用C 和Python實現，主要用於電腦視覺。

TensorFlow：Google公司開發的Python工具包，可以在任意具備CPU或GPU的裝置上運作。 TensorFlow的計算過程使用資料流程圖來表示。 Tensor Flow的名字來自其計算過程中的操作物件為多維數組，即張量（tensor）。

Chainer：一個最早採用動態運算圖的神經網路框架，其核心開發團隊為來自日本的機器學習新創公司Preferred Networks。和Tensorflow、Theano、Caffe等框架所使用的靜態計算圖相比，動態計算圖可以在運行時動態地建立計算圖，因此非常適合進行一些複雜的決策或推理任務

PyTorch5：由Facebook、NVIDIA、Twitter等公司開發維護的深度學習框架，其前身為Lua語言的Torch6。 PyTorch也是基於動態計算圖的框架，在需要動態改變神經網路結構的任務中有著明顯的優勢。

透過使用矩陣運算，可以有效率地實現神經網路。

Affine層

恆等函數

softmax函數

分類問題

一次輸入多組數據

尋找最優參數(權重和偏壓)時，要尋找使損失函數的值盡可能小的參數，所以要計算參數的導數(確切地講是梯度)

為什麼不直接以辨識精度作為指標

均方誤差

交叉熵誤差

抽一部分測試數據出來

人工設定

訓練獲得

損失函數關於權重參數的梯度

循環次數/minibatch的大小

黃色的量是反向傳播時所得到的數值

綠色的量是已知量

基於全連接層(Affine層)的網絡

基於CNN的網絡

Convolution[卷積層]-ReLU-(Pooling[池化層])

靠近輸出的層使用了先前的Affine[仿射變換] - ReLU組合

最後輸出層使用了先前的Affine - Softmax組合

全連接層存在的問題

卷積運算

互相關

卷積的變種

卷積的數學性質

3維資料的捲積運算

多個卷積運算

批次處理

局部連結：在卷積層（假設是第l 層）中的每一個神經元都只與下一層（第l − 1層）中某個局部視窗內的神經元相連，構成一個局部連結網路。卷積層和下一層之間的連接數大大減少，由原來的n(l) × n(l - 1)個連接變為n(l) × m個連接。 m為濾波器大小。

權重共享：作為參數的濾波器w(l)對於第l層的所有的神經元都是相同的。

由於局部連接和權重共享，卷積層的參數只有一個m維的權重w(l) 和1維的偏壓b(l)，共m 1個參數。

第l 層的神經元個數不是任意選擇的，而是滿足n(l) = n(l−1) − m 1。

最大匯聚(Maximum)：一般是取一個區域內所有神經元的最大值。

平均匯聚(Mean)：一般是取區域內所有神經元的平均值。

其中Y(′d) 為匯聚層的輸出，f(·)為非線性激活函數，w(d) 和b(d) 為可學習的標量權重和偏壓。

沒有要學習的參數

通道數不會發生變化

對微小的位置變化具有穩健性(健壯性)

學習前的濾波器是隨機進行初始化的，所以在黑白的濃淡上沒有規律可循，但學習後的濾波器變成了規律的圖像。我們發現，透過學習，濾波器被更新成了規律的濾波器，例如從白到黑漸變的濾波器、含有塊狀區域(稱為blob)的濾波器等。對水平方向上和垂直方向上的邊緣有響應的濾波器

由此可知，卷積層的濾波器會擷取邊緣或斑塊等原始資訊。而剛才實作的CNN會將這些原始訊息傳遞給後面的層。

CNN的捲積層中提取的資訊。第1層的神經元對邊緣或斑塊有反應，第3層對紋理有反應，第5層對物體部件有反應，最後的全連接層對物體的類別(狗或車)有反應

如果堆疊了多層卷積層，則隨著層次加深，提取的資訊也愈加複雜、抽象，這是深度學習中很有意思的一個地方。隨著層次加深，神經元從簡單的形狀變化到「高級」訊息。換句話說，就像我們理解東西的「意義」一樣，回應的對像也逐漸改變。

LeNet在1998年被提出，是進行手寫數字辨識的網路。它有連續的捲積層和池化層，最後經由全連接層輸出結果。

不計輸入層，LeNet-5共有7層

連接表

2012年被提出，使用了許多現代深度卷積網路的一些技術方法

Inception模組：一個卷積層包含多個不同大小的捲積操作

Inception網路是由有多個inception模組和少量的匯聚層堆疊而成。

V1版本

Inception 網路最早的 v1 版本就是非常著名的 GoogLeNet [Szegedy et al.,2015]，並贏得了2014年ImageNet影像分類競賽的冠軍。

透過為非線性的捲積層增加直連邊的方式來提高訊息的傳播效率。

非線性單元

往更深的網路出發

進一步提高辨識精度

加深層的動機

ILSVRC比賽

VGG

GoogLeNet

ResNet

需要努力解決的問題

基於GPU的高速化

分散式學習

運算精度的位數縮減

物體偵測

影像分割

圖像標題的生成

影像風格變換

影像的生成

自動駕駛

強化學習

基於同義詞詞典的方法

基於計數的方法

基於推理的方法（word2vec）

根據各單字的意思，基於上位-下位關係的圖

最著名的同義詞詞典

作用

透過NLTK模組使用

新詞不斷出現，難以順應時代變化

人力成本高

無法表示單字的微妙差異

語料庫就是大量的文字數據

自然語言處理領域中使用的語料庫有時會為文字資料添加額外的資訊。例如，可以給文字資料的各個單字標記詞性。這裡，假定我們使用的語料庫沒有加上標籤。

著名的語料庫

預處理

在單字領域建立緊湊合理的向量表示

某個單字的意思是由它周圍的單字形成

上下文是指某個居中單字的周圍詞彙

上下文的大小稱為視窗大小

向量最簡單的方法是對它的周圍出現了多少次什麼單字進行計數

text = 'You say goodbye and I say hello.'

將視窗大小設為 1

餘弦相似度

取出查詢詞的單字向量

分別求查詢字的字向量和其他所有字向量的餘弦相似度

基於餘弦相似度的結果，按降序顯示它們的值

在共現矩陣中，像 the 這種常用詞，會被認為與 car 這種名詞有強烈的相關性

PMI

基於共現矩陣的PMI

不足

根據共現矩陣得出PPMI矩陣

我們要觀察資料的分佈，並發現重要的“軸”

奇異值分解(SVD)

PTB 語料庫經常被用來作為評價提案方法的基準

PTB 語料庫所做的預處理

我做的預處理

超參數賦值

對於查詢詞 you，可以看到 i、we 等人稱代名詞排在前面，這些都是語法上有相同用法的字。

查詢詞 year 有month、quarter 等近義詞。

查詢詞 car 有 auto、vehicle 等近義詞。

將 toyota 作為查詢詞時，出現了 nissan、honda 和 lexus 等汽車製造商名或品牌名。

使用語料庫，計算上下文中的單字數量，將它們轉換 PPMI 矩陣，再基於 SVD 降維獲得好的單字向量

在現實世界中，語料庫處理的單字數量非常大。比如，據說英文的詞彙量超過 100 萬個。如果詞彙量超過 100 萬個，那麼使用基於計數的方法就需要產生一個 100 萬 × 100 萬的龐大矩陣，但對如此龐大的矩陣執行 SVD 顯然是不切實際的。

基於推理的方法使用神經網絡

目標

推理方法

把單字轉換成向量

神經網路

結構

特點

使用 Softmax 函數將得分轉換為機率

求這些機率和監督標籤之間的交叉熵誤差

將其作為損失進行學習

W(in)權重就是我們要的單字的分佈式表示

在 wt−1 和 wt 1 發生後，wt 發生的機率

CBOW 模型的損失函數L（負對數似然）

word2vec 有兩個模型

skip-gram 是反轉了 CBOW 模型處理的上下文和目標字的模型。

skip-gram網絡結構圖

skip-gram模型和機率

損失函數對比

從單字的分佈式表示的準確度來看，在大多數情況下，skip-grm 模型的結果會更好。

需要在詞彙表中添加新單字並更新單字的分佈式表示的場景

單字的分佈式表示的性質

單字的分佈式表示的準確度

使用 word2vec 得到的單字的分佈式表示可以用來找出近似單字

遷移學習

使用單字的分佈式表示，也可以將文件（單字序列）轉換為固定長度的向量。

手動創建的單字相似度評估集來評估

比較人所給的分數和 word2vec 所給的餘弦相似度，檢視它們之間的相關性

結論

CBOW 模型原本的目的「從上下文預測目標字」是否可以用來做些什麼呢？ P(wt|wt−2, wt−1) 是否可以在一些實際場景中發揮作用？

我們之前考慮的窗口都是左右對稱的，之後我們只考慮左側窗口

使用機率來評估一個單字序列發生的可能性，即在多大程度上是自然的單字序列的機率

機率表示

馬爾科夫鏈

不足

RNN 有一個機制，那就是無論上下文有多長，都能記住上下文資訊。因此，使用 RNN 可以處理任意長度的時序資料。

word2vec 是以取得單字的分散式表示為目的的方法，一般不會用於語言模型。

RNN層的結構

時刻 t 的輸入是 xt，暗示時序資料 (x0, x1, ··· , xt, ···) 會被輸入到層中。然後，以與輸入對應的形式，輸出 (h0, h1, ··· , ht, ···)

輸出有兩個分叉，這意味著同一個東西被複製了。輸出中的一個分叉將成為其自身的輸入。

我們用「時刻」這個詞表示時序資料的索引（也就是說時刻 t 的輸入資料為 xt）。既使用「第 t 個單字」「第 t 個 RNN 層」這樣的表達，也使用「時刻 t 的單字」或「時刻 t 的 RNN 層」這樣的表述。

各個時刻的 RNN 層接收兩個值，分別是傳給該層的輸入和前一個RNN 層的輸出

RNN 有兩個權重，分別是將輸入 x轉換為輸出 h 的權重 Wx 和將前一個 RNN 層的輸出轉換為當前時刻的輸出的權重 Wh。此外，還有偏置 b。

從另一個角度看，RNN 具有狀態h，透過上述公式不斷更新狀態。所以h可以被變成隱藏狀態或隱藏狀態向量

兩種示意圖畫法是等價的

基於時間的反向傳播

要基於 BPTT 求梯度，必須在記憶體中保存各個時刻的 RNN 層的中間資料。因此，隨著時序資料變長，電腦的記憶體使用量（不只是計算量）也會增加。

為了解決上面的問題，在處理長時序資料時，通常的做法是將網路連線截成適當的長度。

將時間軸方向上過長的網絡在適當的位置進行截斷，從而創建多個小型網絡，然後對截出來的小型網絡執行誤差反向傳播法，這個方法稱為 Truncated BPTT（截斷的 BPTT）。

在 Truncated BPTT 中，網路的反向傳播的連結被截斷，正向傳播的連結依然被維持。

處理順序

在輸入資料的開始位置，需要在各個批次中進行「偏移」。

注意

將一次處理 T 步的層稱為“Time RNN 層”

將進行 Time RNN 層中的單步處理的層稱為“RNN 層”

像 Time RNN 這樣，將整體處理時序資料的圖層以單字「Time」開頭命名，這是本書中規定的命名規範。之後，我們也會實作 Time Affine 層、Time Embedding 層等

正向傳播

反向傳播

正向傳播

反向傳播

將基於 RNN 的語言模型稱為 RNNLM

結構

範例

目標神經網路結構

Time Affine

Time Softmax

輸入資料為1個

輸入資料為多個

機率越大越好，困惑度越小越好

困惑度表示下一個可以選擇的選項的數量。如果困惑度是1.25，表示下一個字的候選個數是1個左右。

把上述操作封裝成了類

有三個隱藏層h1、h2 和h3，其中h1 由兩個輸入x1 和 x2 計算得到，h2 由另外兩個輸入層 x3 和x4 計算得到，h3 由兩個隱藏層h1 和h2 計算得到。

激活函數

MatMul（矩陣乘積）節點

解決梯度爆炸有既定的方法，稱為梯度裁剪

這裡假設可以將神經網路用到的所有參數的梯度整合成一個變量，並以符號g 表示。然後將閾值設為 threshold。此時，如果梯度的 L2 範數g大於或等於閾值，就依上述方法修正梯度。

LSTM是Long Short-Term Memory（長短期記憶）的縮寫，意思是可以長（Long）時間維持短期記憶（Short-Term Memory）。

先將tanh(h(t−1)*Wh xt*Wx b) 這個計算表示為一個長方形節點 tanh（ht−1 和 xt 是行向量）

讓我們來比較一下 LSTM 與 RNN 的介面（輸入和輸出）

LSTM 與 RNN 的介面的不同之處在於，LSTM 還有路徑 c。這個 c 稱為記憶單元（或簡稱為「單元」），相當於 LSTM 專用的記憶部門。

記憶單元的特徵是，僅在 LSTM 層內部接收和傳遞資料。也就是說，從接收LSTM的輸出的一側來看，LSTM的輸出僅有隱藏狀態向量h。記憶單元 c 對外部不可見，我們甚至不用考慮它的存在。

ct 儲存了時刻 t 時 LSTM 的記憶，可以認為其中保存了從過去到時刻 t 的所有必要資訊。然後基於這個攜帶者記憶的ct，輸出隱藏狀態 ht。

計算

Gate

隱藏狀態 ht 對記憶單元 ct 僅僅應用了 tanh 函數，我們考慮對 tanh(ct) 施加閘。由於這個閘管理下一個隱藏狀態 ht 的輸出，所以稱為輸出閘。

輸出閘的計算如下。其中sigmoid 函數以σ()表示

ht 可由 o 和 tanh(ct) 的乘積計算出來，計算方式是元素乘積，就是對應元素的乘積，也被成為阿達瑪乘積

現在，我們在記憶單元 c(t−1) 上增加一個忘記不必要記憶的門，這裡稱為遺忘門

遺忘門的計算如下

ct 由這個 f 和上一個記憶單元 ct−1 的對應元素的乘積求得

現在我們也想為這個記憶單元添加一些應當記住的新訊息，為此我們添加新的 tanh 節點

基於 tanh 節點計算出的結果被加到上一時刻的記憶單元 ct−1 上。

我們給圖 6-17 的 g 加閘門，這裡將這個新加入的門稱為輸入門

輸入門判斷新增資訊 g 的各個元素的價值有多大。輸入門不會不經考慮就添加新訊息，而是會對要新增的資訊進行取捨。換句話說，輸入門會添加加權後的新資訊。

輸入閘的計算如下

記憶單元的反向傳播僅流過「 」和「×」節點。 「 」節點將上游傳來的梯度原樣流出，所以梯度沒有變化（退化）。而「×」節點的計算並不是矩陣乘積，而是對應元素的乘積（阿達瑪積），也不會導致梯度變化

加深 LSTM 層（疊加多個 LSTM層）的方法往往很有效。

多少層合適

透過加深層，可以創建表現力較強的模型，但這樣的模型往往會發生過擬合（overfitting）。更糟的是，RNN 比常規的前饋神經網路更容易發生過擬合，因此 RNN 的過度擬合對策非常重要。

對策

Dropout

Dropout 層插入位置

weight tying 可以直譯為「權重綁定」。

綁定（共享）Embedding 層和 Affine 層的權重的技巧在於權重共享。透過在這兩個層之間共享權重，可以大幅減少學習的參數數量。除此之外，它還能提高精度。

選出機率最高的單字，結果唯一確定

機率高的單字容易被選到，機率低的單字難以被選到

使用更好的語言模型

這個模型有兩個模組——Encoder（編碼器）和 Decoder（解碼器）。編碼器對輸入資料進行編碼，解碼器會對被編碼的資料進行解碼。

seq2seq 由兩個 LSTM 層構成，即編碼器的 LSTM 和解碼器的LSTM。

LSTM 的隱藏狀態 h 是固定長度的向量。它和上一節的模型的差異就是 LSTM 層會接收向量 h。這個唯一的、微小的改變使得普通的語言模型進化成可以駕馭翻譯的解碼器。

試著讓seq2seq做加法計算

填充

在許多情況下，使用這個技巧後，學習進展得更快，最終的精確度也有所提升。

直觀的認為，反轉資料後梯度的傳播可以更平滑，傳遞更有效

使用頭盔的編碼器稱為Peeky Decoder，使用了Peeky Decoder 的 seq2seq 稱 為 Peeky seq2seq。

編碼器將輸入語句轉換為固定長度的向量 h，這個 h 集中了解碼器所需的全部資訊。它是解碼器唯一的訊息來源。

可以將這個集中了重要訊息的編碼器的輸出 h 分配給解碼器的其他層

有兩個向量同時輸入了 LSTM 層和 Affine 層，這實際上表示兩個向量的拼接（concatenate）。

seq2seq 中使用編碼器對時序資料進行編碼，然後將編碼訊息傳遞給解碼器。此時，編碼器的輸出是固定長度的向量。

固定長度的向量意味著，無論輸入語句的長度為何（無論多長），都會轉換為長度相同的向量。

編碼器的輸出的長度應該根據輸入文字的長度相應地改變

因為編碼器是從左向右處理的，所以嚴格來說，剛才的「貓」向量中含有「吾輩」「は」「貓」這3個單字的資訊。考慮整體的平衡性，最好均衡地含有單字「貓」周圍的訊息。在這種情況下，從兩個方向處理時序資料的雙向RNN（或雙向LSTM）比較有效。

之前我們將編碼器的 LSTM 層的「最後」的隱藏狀態放入了解碼器的 LSTM 層的「最初」的隱藏狀態

上一章的解碼器只用了編碼器的 LSTM 層的最後的隱藏狀態。如果使用 hs，則只提取最後一行，然後再傳遞給解碼器。下面我們改進解碼器，以便能夠使用全部 hs。

我們是專注於某個單字（或單字集合），隨時對這個單字進行轉換的，那可以讓 seq2seq 學習「輸入和輸出中哪些單字與哪些單字有關」這樣的對應關係

結構變化

如何計算

權重a的學習

整合

如果考慮整體的平衡性，我們希望向量能更均衡地包含單字「貓」周圍的訊息。

雙向 LSTM 在先前的 LSTM 層上增加了一個反方向處理的 LSTM 層。

拼接各個時刻的兩個 LSTM 層的隱藏狀態，將其作為最後的隱藏狀態向量（除了拼接之外，也可以「求和」或「取平均」等）

Attention 層的輸出（上下文向量）被連接到了下一時刻的 LSTM 層的輸入處。透過這種結構，LSTM 層得以使用上下文向量的資訊。相對地，我們實現的模型則是 Affine 層使用了上下文向量。

加深 RNN 層

殘差連接

機器翻譯的歷史

從 2016 年開始，Google翻譯就開始將神經機器翻譯用於實際的服務。機器翻譯系統稱為 GNMT

GNMT 需要大量的資料和運算資源。 GNMT使用了大量的訓練數據，（1 個模型）在將近 100 個 GPU 上學習了 6 天。另外，GNMT 也設法基於可以並行學習 8 個模型的整合學習和強化學習等技術進一步提高精確度。

RNN 可以很好地處理可變長度的時序資料。但是，RNN 也有缺點，例如並行處理的問題。

RNN 需要基於上一個時刻的計算結果逐步進行計算，因此（基本）不可能在時間方向上並行計算 RNN。在使用了 GPU 的平行運算環境下進行深度學習時，這一點會成為很大的瓶頸，所以我們就有了避開 RNN 的動機。

Transformer 不用 RNN，而用 Attention 進行處理。我們簡單地看一下這個 Transformer。

Self-Attention

使用具有一個隱藏層、激活函數為 ReLU 的全連接的神經網路。另外，圖中的 Nx 表示灰色背景包圍的元素被堆疊了 N 次。

NTM（Neural Turing Machine，神經圖靈機）

利用外部儲存裝置，神經網路也可以獲得額外的能力。

基於 Attention，編碼器和解碼器實現了電腦中的「記憶體操作」。換句話說，這可以解釋為，編碼器將必要的資訊寫入內存，解碼器從內存中讀取 取必要的資訊。

為了模仿電腦的記憶體操作，NTM 的記憶體操作使用了兩個 Attention，

NTM 成功解決了長時序的記憶問題、排序問題（從大到小排列數字）等。

很難優化，計算量大

擬合能力過強，容易過擬合

網路結構多樣性

低維度空間的難度

高維度空間的難度

梯度下降法類型

學習率衰減

梯度方向最佳化

Gaussian初始化方法是最簡單的初始化方法，參數從一個固定平均值（例如0）和固定變異數（例如0.01）的Gaussian分佈進行隨機初始化。

當一個神經元的輸入連接數量為 n(in) 時，可以設定其輸入連接權重以N(0,sqrt(1/nin))的Gaussian分佈進行初始化。

若同時考慮輸出連接的數量nout，則可依N(0,sqrt(2/(nin nout)))的Gaussian分佈進行初始化

均勻分佈初始化是在一個給定的區間 [−r, r] 內採用均勻分佈來初始化參數。超參數r 的設定也可以依神經元的連接數量進行自適應的調整。

激活函數類型

我們嘗試使用Xavier Glorot等人的論文中建議的權重初始值

如果前一層的節點數為n，則初始值使用標準差為(1/sqrt(n))的高斯分佈

當激活函數使用ReLU時，一般建議使用ReLU專用的初始值，也就是Kaiming He等人建議的初始值，也稱為「He初始值」。

當目前一層的節點數為n時，He初始值使用標準差為(2/sqrt(n))的高斯分佈

每一維特徵的來源以及度量單位不同，會造成這些特徵值的分佈範圍往往差異很大。當我們計算不同樣本之間的歐氏距離時，取值範圍大的特徵會起到主導作用。

縮放歸一化

標準歸一化

輸入資料經過白化處理後，特徵之間相關性較低，且所有特徵具有相同的變異數。

白化的一個主要實現方式是使用主成分分析方法來去除各個成分之間的相關性。

也叫Batch Normalization，BN方法

為了使各層擁有適當的廣度，「強制性」地調整活化值的分佈

進行使資料分佈的平均數為0、方差為1的正規化

可以對神經網路中任意的中間層進行歸一化操作

優點

Batch Norm層

批量歸一化的限制

層歸一化是對一個中間層的所有神經元進行歸一化。

網路結構

最佳化參數

正規化係數

不能用測試數據評估超參數的性能

如果用測試資料確認超參數的值的“好壞”，就會導致超參數的值被調整為只擬合測試資料。

訓練資料用於參數(權重和偏移)的學習，並驗證資料用於超參數的效能評估。為了確認泛化能力，要在最後使用(比較理想的是只用一次)測試數據

網格搜尋

隨機搜尋

貝葉斯優化

動態資源分配

權值衰減是一直以來常被使用的一種抑制過擬合的方法。此方法透過在學習的過程中對大的權重進行懲罰。

簡單來說就是把損失函數變成

λ是控制正規化強度的超參數

Dropout Method

如果網路的模型變得很複雜，只用權值衰減就難以應付了

在學習的過程中隨機刪除神經元的方法每次選擇丟棄的神經元是隨機的。最簡單的方法是設定一個固定的機率p。對每一個神經元都一個機率p來判定要不要保留。

數據增強

標籤平滑

自訓練是先使用標註資料來訓練一個模型，並使用這個模型來預測無標註樣本的標籤，把預測置信度比較高的樣本及其預測的偽標籤加入訓練集，然後重新訓練新的模型，並不斷重複這個過程。

協同訓練（Co-Training）是自訓練的一種改進方法

透過兩個基於不同視角（view）的分類器來相互促進。很多數據都有相對獨立的不同視角。

由於不同視角的條件獨立性，在不同視角上訓練出來的模型就等於從不同視角來理解問題，具有一定的互補性。協同訓練就是利用這種互補性來進行自訓練的一種方法。首先在訓練集上根據不同視角分別訓練兩個模型f1和f2，然後用f1 和f2 在無標記資料集上進行預測，各選取預測置信度比較高的樣本加入訓練集，重新訓練兩個不同視角的模型，並不斷重複這個過程。

歸納遷移學習

推導遷移學習

一但訓練結束模型就保持固定，不再進行迭代更新

要想一個模型同時在許多不同任務上都取得成功依然是一件十分困難的事情。

基於優化器的元學習

模型無關的元學習