這里有Coursera吳恩達(dá)《深度學(xué)習(xí)》課程的完整學(xué)習(xí)筆記，一共5門課：《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)》、《改善深層神經(jīng)網(wǎng)絡(luò)》、《結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目》、《卷積神經(jīng)網(wǎng)絡(luò)》和《序列模型》，

第一門課：神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)基礎(chǔ)，介紹一些基本概念。（四周）

第二門課：深度學(xué)習(xí)方面的實(shí)踐，嚴(yán)密的構(gòu)建神經(jīng)網(wǎng)絡(luò)，如何真正讓它表現(xiàn)良好。超參數(shù)調(diào)整，正則化診斷偏差和方差，高級(jí)優(yōu)化算法，如Momentum和Adam算法。（三周）

第三門課：學(xué)習(xí)如何結(jié)構(gòu)化你的機(jī)器學(xué)習(xí)項(xiàng)目，構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的策略改變深度學(xué)習(xí)的錯(cuò)誤，以及端對(duì)端深度學(xué)習(xí)。（兩周）

第四門課：大名鼎鼎的卷積神經(jīng)網(wǎng)絡(luò)CNN，常應(yīng)用于圖像領(lǐng)域，介紹如何搭建這樣的模型，包括卷積層，池化層和全連接層這些組件；經(jīng)典模型（VGG、AlexNet和LeNet-5，以及ResNets和Inception系列）。（四周）

第五門課：序列模型，如何將它們應(yīng)用于自然語(yǔ)言處理以及其他問(wèn)題。系列模型包括的模型有循環(huán)神經(jīng)網(wǎng)絡(luò)RNN，長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM模型，應(yīng)用于序列數(shù)據(jù)NLP，或者語(yǔ)音識(shí)別或者編曲。（三周）

01 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)（Neural Networks and Deep Learning）

1-1 深度學(xué)習(xí)概論

1-1 Coursera吳恩達(dá)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》第一周課程筆記-深度學(xué)習(xí)概論

1-2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1-2 Coursera吳恩達(dá)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》第二周課程筆記-神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1-3 淺層神經(jīng)網(wǎng)絡(luò)

1-3 Coursera吳恩達(dá)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》第三周課程筆記-淺層神經(jīng)網(wǎng)絡(luò)

• 主要介紹：神經(jīng)網(wǎng)絡(luò)、激活函數(shù)、梯度下降法、反向傳播、隨機(jī)初始化等；

神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，包括輸入層（input layer），隱藏層（hidden layer）和輸出層（output layer）。然后以簡(jiǎn)單的2層神經(jīng)網(wǎng)絡(luò)為例，詳細(xì)推導(dǎo)了其正向傳播過(guò)程和反向傳播過(guò)程，使用梯度下降的方法優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)。同時(shí)，我們還介紹了不同的激活函數(shù)，比較各自優(yōu)缺點(diǎn)，討論了激活函數(shù)必須是非線性的原因。最后介紹了神經(jīng)網(wǎng)絡(luò)參數(shù)隨機(jī)初始化的必要性，特別是權(quán)重W，不同神經(jīng)元的W不能初始化為同一零值。

1-4 深層神經(jīng)網(wǎng)絡(luò)

• 主要介紹：深度神經(jīng)網(wǎng)絡(luò)、DNN的前向和反向傳播、參數(shù)和超參數(shù)等；

1-4 Coursera吳恩達(dá)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》第四周課程筆記-深層神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的層數(shù)是從左到右，由0開始定義

當(dāng)我們算神經(jīng)網(wǎng)絡(luò)的層數(shù)時(shí)，我們不算輸入層，只算隱藏層和輸出層。

4.8這和大腦有什么關(guān)系》What does this have to do with the brain?
那么，神經(jīng)網(wǎng)絡(luò)跟人腦機(jī)制到底有什么聯(lián)系呢？究竟有多少的相似程度？其實(shí)關(guān)聯(lián)性不大。當(dāng)你在實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)的時(shí)候，那些公式是你在做的東西，你會(huì)做前向傳播、反向傳播、梯度下降法，其實(shí)很難表述這些公式具體做了什么，深度學(xué)習(xí)像大腦這樣的類比其實(shí)是過(guò)度簡(jiǎn)化了我們的大腦具體在做什么，但因?yàn)檫@種形式很簡(jiǎn)潔，也能讓普通人更愿意公開討論，也方便新聞報(bào)道并且吸引大眾眼球，但這個(gè)類比是非常不準(zhǔn)確的。

一個(gè)神經(jīng)網(wǎng)絡(luò)的邏輯單元可以看成是對(duì)一個(gè)生物神經(jīng)元的過(guò)度簡(jiǎn)化，但它是極其復(fù)雜的，單個(gè)神經(jīng)元到底在做什么目前還沒(méi)有人能夠真正可以解釋。這是值得生物學(xué)家探索的事情。

深度學(xué)習(xí)的確是個(gè)很好的工具來(lái)學(xué)習(xí)各種很靈活很復(fù)雜的函數(shù)，學(xué)習(xí)到從x到y(tǒng)的映射，在監(jiān)督學(xué)習(xí)中學(xué)到輸入到輸出的映射。? .

在這個(gè)神經(jīng)網(wǎng)絡(luò)里面，一個(gè)神經(jīng)元就相當(dāng)于一個(gè)邏輯回歸函數(shù)，所以上圖中有很多邏輯回歸函數(shù)，其中每個(gè)邏輯回歸都有自己的權(quán)重和自己的偏差，這些權(quán)重和偏差就是參數(shù)。

圖中紅框表示的就是神經(jīng)元，多個(gè)神經(jīng)元以不同的方式進(jìn)行連接，就會(huì)構(gòu)成不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)。神經(jīng)元的連接方式是由人工設(shè)計(jì)的。

神經(jīng)元：神經(jīng)元的結(jié)構(gòu)如圖所示

? ? ??

? ? ? ? ? ? ? ? ? ? ?

?

?

02 改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試、正則化以及優(yōu)化（Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization）

2-1 深度學(xué)習(xí)的實(shí)踐方面

• 主要介紹：訓(xùn)練測(cè)試集劃分、偏差和方差、正則化、Dropout、輸入歸一化、梯度消失與梯度爆炸、權(quán)重初始化、梯度檢驗(yàn)等；

2-1 Coursera吳恩達(dá)《改善深度神經(jīng)網(wǎng)絡(luò)》 第一周課程筆記-深度學(xué)習(xí)的實(shí)踐方面

????????防止過(guò)擬合的兩種方法：正則化（如L2 regularization）和Dropout

2-2 優(yōu)化算法
2-2 Coursera吳恩達(dá)《改善深度神經(jīng)網(wǎng)絡(luò)》第二周課程筆記-優(yōu)化算法

????????主要介紹：Mini-batch梯度下降、指數(shù)加權(quán)平均、Momentum梯度下降、RMSprop、Adam優(yōu)化算法、衰減學(xué)習(xí)率、局部最優(yōu)等

對(duì)原始數(shù)據(jù)集進(jìn)行分割，使用mini-batch 梯度下降算法，

三種常用的加速神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度的三種算法：

????????動(dòng)量梯度下降（Momentum）、

????????RMSprop

????????Adam算法。其中，Adam結(jié)合了動(dòng)量梯度下降和RMSprop各自的優(yōu)點(diǎn)，實(shí)際應(yīng)用中表現(xiàn)更好。

另外一種提高學(xué)習(xí)速度的方法：學(xué)習(xí)率衰減（learning rate decay）

????????通過(guò)不斷減小學(xué)習(xí)因子，減小步進(jìn)長(zhǎng)度，來(lái)減小梯度振蕩。最后，我們對(duì)深度學(xué)習(xí)中局部最優(yōu)（local optima）的概念作了更深入的解釋。

2-3 超參數(shù)調(diào)試和Batch Norm及框架
2-3 Coursera吳恩達(dá)《改善深度神經(jīng)網(wǎng)絡(luò)》第三周課程筆記-超參數(shù)調(diào)試、Batch正則化和編程框架

TensorFlow的優(yōu)點(diǎn)在于建立了計(jì)算圖（computation graph），通過(guò)用這個(gè)計(jì)算損失，計(jì)算圖基本實(shí)現(xiàn)前向傳播，TensorFlow已經(jīng)內(nèi)置了所有必要的反向函數(shù)，回憶一下訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)的一組前向函數(shù)和一組反向函數(shù)，而像TensorFlow之類的編程框架已經(jīng)內(nèi)置了必要的反向函數(shù)，這也是為什么通過(guò)內(nèi)置函數(shù)來(lái)計(jì)算前向函數(shù)，它也能自動(dòng)用反向函數(shù)來(lái)實(shí)現(xiàn)反向傳播，即便函數(shù)非常復(fù)雜，再幫你計(jì)算導(dǎo)數(shù)，這就是為什么你不需要明確實(shí)現(xiàn)反向傳播，這是編程框架能幫你變得高效的原因之一。

Batch歸一化，以及如何用它來(lái)加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

03 結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目（Structuring Machine Learning Projects）
3-1 機(jī)器學(xué)習(xí)策略（1）
3-1 Coursera吳恩達(dá)《構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目》 第一周課程筆記-機(jī)器學(xué)習(xí)策略（1）

????????查準(zhǔn)率的定義是在你的分類器標(biāo)記為貓的例子中，有多少真的是貓。

????????查全率定義就是，對(duì)于所有真貓的圖片，你的分類器A正確識(shí)別出了多少百分比。實(shí)際為貓的圖片中，有多少被系統(tǒng)識(shí)別出來(lái)？

想想學(xué)車的時(shí)候，一輛車有三個(gè)主要控制，第一是方向盤（steering），方向盤決定我們往左右偏多少，還有油門（acceleration）和剎車（braking）。就是這三個(gè)控制，其中一個(gè)控制方向，另外兩個(gè)控制速度，這樣就比較容易解讀。知道不同控制的不同動(dòng)作會(huì)對(duì)車子運(yùn)動(dòng)有什么影響。所以正交化的概念是指，可以想出一個(gè)維度，這個(gè)維度是控制轉(zhuǎn)向角，還有另一個(gè)維度來(lái)控制速度，那么就需要一個(gè)旋鈕盡量只控制轉(zhuǎn)向角，另一個(gè)旋鈕，在這個(gè)開車的例子里其實(shí)是油門和剎車控制了速度。

首先，你的算法對(duì)訓(xùn)練集的擬合很好，這可以看成是你能做到可避免偏差很低。還有第二件事你可以做好的是，在訓(xùn)練集中做得很好，然后推廣到開發(fā)集和測(cè)試集也很好，這就是說(shuō)方差不是太大。

練錯(cuò)誤率和貝葉斯錯(cuò)誤率的距離（可避免偏差）以及開發(fā)錯(cuò)誤率和訓(xùn)練錯(cuò)誤率的距離（方差）

解決可避免偏差的常用方法包括：

Train bigger model
Train longer/better optimization algorithms: momentum, RMSprop, Adam
NN architecture/hyperparameters search

解決方差的常用方法包括：

More data
Regularization: L2, dropout, data augmentation
NN architecture/hyperparameters search

3-2 機(jī)器學(xué)習(xí)策略（2）
3-2 Coursera吳恩達(dá)《構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目》 第二周課程筆記-機(jī)器學(xué)習(xí)策略（2）

04 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）
4-1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
4-1 Coursera吳恩達(dá)《卷積神經(jīng)網(wǎng)絡(luò)》 第一周課程筆記-卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

卷積，padding，步長(zhǎng)的概念，卷積層，池化層，全連接層這些組件

4-2 卷積神經(jīng)網(wǎng)絡(luò)實(shí)例模型
4-2 Coursera吳恩達(dá)《卷積神經(jīng)網(wǎng)絡(luò)》 第二周課程筆記-深度卷積模型：實(shí)例探究

上圖是LeNet-5的網(wǎng)絡(luò)結(jié)構(gòu)，假設(shè)有一張32×32×1的圖片（輸入），LeNet-5可以識(shí)別圖中的手寫數(shù)字，比如像這樣手寫數(shù)字7。LeNet-5是針對(duì)灰度圖片訓(xùn)練的，所以圖片的大小只有32×32×1。實(shí)際上LeNet-5的結(jié)構(gòu)和我們上周講的最后一個(gè)范例非常相似，使用6個(gè)5×5的過(guò)濾器，步幅為1。由于使用了6個(gè)過(guò)濾器，步幅為1，padding為0，輸出結(jié)果為28×28×6，圖像尺寸從32×32縮小到28×28。然后進(jìn)行池化（pooling）操作，在這篇論文發(fā)布的那個(gè)年代，人們更喜歡使用平均池化，而現(xiàn)在我們可能用最大池化更多一些。在這個(gè)例子中，我們進(jìn)行平均池化，過(guò)濾器的寬度為2，步幅為2，圖像的尺寸，高度和寬度都縮小了2倍，輸出結(jié)果是一個(gè)14×14×6的圖像。這張圖片應(yīng)該不是完全按照比例繪制的，如果嚴(yán)格按照比例繪制，新圖像的尺寸應(yīng)該剛好是原圖像的一半。

接下來(lái)是卷積層，用一組16個(gè)5×5的過(guò)濾器，新的輸出結(jié)果有16個(gè)通道。LeNet-5的論文是在1998年撰寫的，當(dāng)時(shí)人們并不使用padding，或者總是使用valid卷積，這就是為什么每進(jìn)行一次卷積，圖像的高度和寬度都會(huì)縮小，所以這個(gè)圖像從14到14縮小到了10×10。然后又是池化層，高度和寬度再縮小一半，輸出一個(gè)5×5×16的圖像。將所有數(shù)字相乘，乘積是400。

下一層是全連接層，在全連接層中，有400個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)有120個(gè)神經(jīng)元，這里已經(jīng)有了一個(gè)全連接層。但有時(shí)還會(huì)從這400個(gè)節(jié)點(diǎn)中抽取一部分節(jié)點(diǎn)構(gòu)建另一個(gè)全連接層，就像這樣，有2個(gè)全連接層。

最后一步就是利用這84個(gè)特征得到最后的輸出，我們還可以在這里再加一個(gè)節(jié)點(diǎn)用來(lái)預(yù)測(cè)y帽的值，y帽有10個(gè)可能的值（對(duì)應(yīng)識(shí)別0-9這10個(gè)數(shù)字）。在現(xiàn)在的版本中則使用softmax函數(shù)輸出十種分類結(jié)果，而在當(dāng)時(shí)，LeNet-5網(wǎng)絡(luò)在輸出層使用了另外一種，現(xiàn)在已經(jīng)很少用到的分類器。

相比現(xiàn)代版本，這里得到的神經(jīng)網(wǎng)絡(luò)會(huì)小一些，只有約6萬(wàn)個(gè)參數(shù)。而現(xiàn)在經(jīng)?？吹胶幸磺f(wàn)（10 million）到一億（100 million）個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)，比這大1000倍的神經(jīng)網(wǎng)絡(luò)也不在少數(shù)。

不管怎樣，如果我們從左往右看，隨著網(wǎng)絡(luò)越來(lái)越深，圖像的高度和寬度在縮小，從最初的32×32縮小到28×28，再到14×14、10×10，最后只有5×5。與此同時(shí)，隨著網(wǎng)絡(luò)層次的加深，通道數(shù)量一直在增加，從1增加到6個(gè)，再到16個(gè)?

①讀到這篇經(jīng)典論文時(shí)，你會(huì)發(fā)現(xiàn)，過(guò)去人們使用sigmoid函數(shù)和tanh函數(shù)，而不是ReLu函數(shù)，這篇論文中使用的正是sigmoid函數(shù)和tanh函數(shù)。這種網(wǎng)絡(luò)結(jié)構(gòu)的特別之處還在于，各網(wǎng)絡(luò)層之間是有關(guān)聯(lián)的，

②經(jīng)典的LeNet-5網(wǎng)絡(luò)使用了非常復(fù)雜的計(jì)算方式，每個(gè)過(guò)濾器都采用和輸入模塊一樣的通道數(shù)量。論文中提到的這些復(fù)雜細(xì)節(jié)，現(xiàn)在一般都不用了。

AlexNet首先用一張227×227×3的圖片作為輸入（實(shí)際上原文中使用的圖像是224×224×3），但是如果你嘗試去推導(dǎo)一下，你會(huì)發(fā)現(xiàn)227×227這個(gè)尺寸更好一些。第一層使用96個(gè)11×11的過(guò)濾器，步幅為4，因此尺寸縮小到55×55，縮小了4倍左右。然后用一個(gè)3×3的過(guò)濾器構(gòu)建最大池化層，f = 3，步幅為2，卷積層尺寸縮小為27×27×96。接著再執(zhí)行一個(gè)5×5的卷積，padding之后，輸出是27×27×276。然后再次進(jìn)行最大池化，尺寸縮小到13×13。再執(zhí)行一次same卷積，相同的padding，得到的結(jié)果是13×13×384，384個(gè)過(guò)濾器。再做一次same卷積。再做一次同樣的操作，最后再進(jìn)行一次最大池化，尺寸縮小到6×6×256。6×6×256等于9216，將其展開為9216個(gè)單元，然后是一些全連接層。最后使用softmax函數(shù)輸出識(shí)別的結(jié)果，看它究竟是1000個(gè)可能的對(duì)象中的哪一個(gè)。

實(shí)際上，AlexNet神經(jīng)網(wǎng)絡(luò)與LeNet有很多相似之處，不過(guò)AlexNet要大得多。正如前面講到的LeNet或LeNet-5大約有6萬(wàn)個(gè)參數(shù)，而AlexNet包含約6000萬(wàn)個(gè)參數(shù)。當(dāng)用于訓(xùn)練圖像和數(shù)據(jù)集時(shí)，AlexNet能夠處理非常相似（pretty similar）的基本構(gòu)造模塊（basic building blocks），這些模塊往往包含著大量的隱藏單元或數(shù)據(jù)，這一點(diǎn)AlexNet表現(xiàn)出色。AlexNet比LeNet表現(xiàn)更為出色的另一個(gè)原因是它使用了ReLu激活函數(shù)。

下面提一些比較深?yuàn)W的內(nèi)容，如果你并不打算閱讀論文，不聽也沒(méi)有關(guān)系。（上圖下方的紅色筆記）（1）第一點(diǎn)，在寫這篇論文的時(shí)候，GPU的處理速度還比較慢，所以AlexNet采用了非常復(fù)雜的方法在兩個(gè)GPU上進(jìn)行訓(xùn)練。大致原理是，這些層分別拆分到兩個(gè)不同的GPU上，同時(shí)還專門有一個(gè)方法用于兩個(gè)GPU進(jìn)行交流。（2）論文還提到，經(jīng)典的AlexNet結(jié)構(gòu)還有“局部響應(yīng)歸一化層”（Local Response Normalization），即LRN層，這類層應(yīng)用得并不多，所以Andrew并沒(méi)有專門講。局部響應(yīng)歸一層的基本思路（basic idea）是，假如這是網(wǎng)絡(luò)的一塊，比如是13×13×256，LRN要做的就是選取一個(gè)位置，從這個(gè)位置穿過(guò)整個(gè)通道，能得到256個(gè)數(shù)字，并進(jìn)行歸一化。進(jìn)行局部響應(yīng)歸一化的動(dòng)機(jī)是，對(duì)于這張13×13的圖像中的每個(gè)位置來(lái)說(shuō)，我們可能并不需要太多的高激活神經(jīng)元（a very high activation）。后來(lái)，很多研究者發(fā)現(xiàn)LRN起不到太大作用，現(xiàn)在并不用LRN來(lái)訓(xùn)練網(wǎng)絡(luò)。

也叫作VGG-16網(wǎng)絡(luò)。VGG-16網(wǎng)絡(luò)沒(méi)有那么多超參數(shù)，這是一種只需要專注于構(gòu)建卷積層的簡(jiǎn)單網(wǎng)絡(luò)。首先用3×3，步幅為1的過(guò)濾器構(gòu)建卷積層，padding參數(shù)為same卷積中的參數(shù)。然后用一個(gè)2×2，步幅為2的過(guò)濾器構(gòu)建最大池化層。因此VGG網(wǎng)絡(luò)的一大優(yōu)點(diǎn)是它確實(shí)簡(jiǎn)化了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，下面具體看看這種網(wǎng)絡(luò)結(jié)構(gòu)。

假設(shè)要識(shí)別這個(gè)圖像224×224×3，在最開始的兩層用64個(gè)3×3的過(guò)濾器對(duì)輸入圖像進(jìn)行卷積，輸出結(jié)果是224×224×64，因?yàn)槭褂昧藄ame卷積，通道數(shù)量也一樣。（注意這里沒(méi)有畫出所有的卷積層）進(jìn)行第一個(gè)卷積之后得到224×224×64的特征圖，接著還有一層224×224×64，得到這樣2個(gè)厚度為64的卷積層，意味著我們用64個(gè)過(guò)濾器進(jìn)行了兩次卷積。接下來(lái)創(chuàng)建一個(gè)池化層，池化層將輸入圖像進(jìn)行壓縮，從224×224×64縮小到多少呢？沒(méi)錯(cuò)，減少到112×112×64。然后又是若干個(gè)卷積層，使用129個(gè)過(guò)濾器，以及一些same卷積，我們看看輸出什么結(jié)果，112×112×128。然后進(jìn)行池化，可以推導(dǎo)出池化后的結(jié)果是這樣（56×56×128）。接著再用256個(gè)相同的過(guò)濾器進(jìn)行三次卷積操作，然后再池化，然后再卷積三次，再池化。如此進(jìn)行幾輪操作后，將最后得到的7×7×512的特征圖進(jìn)行全連接操作，得到4096個(gè)單元，然后進(jìn)行softmax激活，輸出從1000個(gè)對(duì)象中識(shí)別的結(jié)果。

VGG-16的16，就是指這個(gè)網(wǎng)絡(luò)中包含16個(gè)卷積層和全連接層。確實(shí)是個(gè)很大的網(wǎng)絡(luò)，總共包含約1.38億個(gè)參數(shù)，即便以現(xiàn)在的標(biāo)準(zhǔn)來(lái)看都算是非常大的網(wǎng)絡(luò)。但VGG-16的結(jié)構(gòu)并不復(fù)雜，這點(diǎn)非常吸引人，而且這種網(wǎng)絡(luò)結(jié)構(gòu)很規(guī)整（quite uniform），都是幾個(gè)卷積層后面跟著可以壓縮圖像大小的池化層，池化層縮小圖像的高度和寬度。同時(shí)，卷積層的過(guò)濾器數(shù)量變化存在一定的規(guī)律，由64翻倍變成128，再到256和512。作者可能認(rèn)為512已經(jīng)足夠大了，后面的層就不再翻倍了。無(wú)論如何，每一步都進(jìn)行翻倍，或者說(shuō)在每一組卷積層進(jìn)行過(guò)濾器翻倍操作，正是設(shè)計(jì)此種網(wǎng)絡(luò)結(jié)構(gòu)的另一個(gè)簡(jiǎn)單原則（another simple principle）。這種相對(duì)一致的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)研究者很有吸引力，而它的主要缺點(diǎn)（downside）是需要訓(xùn)練的特征數(shù)量非常巨大。

Andrew最喜歡它的一點(diǎn)是：隨著網(wǎng)絡(luò)的加深，圖像的高度和寬度都在以一定的規(guī)律不斷縮小，每次池化后剛好縮小一半，而通道數(shù)量在不斷增加，而且剛好也是在每組卷積操作后增加一倍。圖像縮小的比例和通道數(shù)增加的比例是有規(guī)律的。

2.3 殘差網(wǎng)絡(luò)(ResNets)》Residual Networks (ResNets)
非常非常深的神經(jīng)網(wǎng)絡(luò)是很難訓(xùn)練的，因?yàn)榇嬖谔荻认Ш吞荻缺▎?wèn)題。這節(jié)課我們學(xué)習(xí)跳躍連接（Skip connection），它可以從某一層網(wǎng)絡(luò)層獲取激活，然后迅速反饋給另外一層，甚至是神經(jīng)網(wǎng)絡(luò)的更深層。利用跳躍連接構(gòu)建能夠訓(xùn)練深度網(wǎng)絡(luò)的ResNets，有時(shí)深度能夠超過(guò)100層。ResNets是由殘差塊（Residual block）構(gòu)建的，首先看一下什么是殘差塊。

假設(shè)使用標(biāo)準(zhǔn)優(yōu)化算法（梯度下降法等）訓(xùn)練一個(gè)普通網(wǎng)絡(luò)，如果沒(méi)有殘差，沒(méi)有這些捷徑或者跳躍連接，憑經(jīng)驗(yàn)?zāi)銜?huì)發(fā)現(xiàn)隨著網(wǎng)絡(luò)深度的加深，訓(xùn)練錯(cuò)誤會(huì)先減少，然后增多。而理論上，隨著網(wǎng)絡(luò)深度的加深，應(yīng)該訓(xùn)練得越來(lái)越好才對(duì)，網(wǎng)絡(luò)深度越深模型效果越好。但實(shí)際上，如果沒(méi)有殘差網(wǎng)絡(luò)，對(duì)于一個(gè)普通網(wǎng)絡(luò)來(lái)說(shuō)，深度越深意味著用優(yōu)化算法越難訓(xùn)練，隨著網(wǎng)絡(luò)深度的加深，訓(xùn)練錯(cuò)誤會(huì)越來(lái)越多。

但有了ResNets就不一樣了，即使網(wǎng)絡(luò)再深，訓(xùn)練的表現(xiàn)卻不錯(cuò)，比如說(shuō)訓(xùn)練誤差減少，就算是訓(xùn)練深達(dá)100層的網(wǎng)絡(luò)也不例外。對(duì)x的激活，或者這些中間的激活能夠到達(dá)網(wǎng)絡(luò)的更深層。這種方式有助于解決梯度消失和梯度爆炸問(wèn)題，在訓(xùn)練更深網(wǎng)絡(luò)的同時(shí)，又能保證良好的性能。

4-3目標(biāo)檢測(cè)

• 主要介紹：目標(biāo)定位、目標(biāo)檢測(cè)、Bounding Box預(yù)測(cè)、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候選區(qū)域region proposals等；

4-3 Coursera吳恩達(dá)《卷積神經(jīng)網(wǎng)絡(luò)》 第三周課程筆記-目標(biāo)檢測(cè)

4-4 特殊應(yīng)用：人臉識(shí)別和神經(jīng)風(fēng)格遷移

• 主要介紹：人臉識(shí)別、one-shot學(xué)習(xí)、Siamese網(wǎng)絡(luò)、Triplet損失、風(fēng)格遷移、內(nèi)容損失、風(fēng)格損失、1D-3D卷積等；

4-4 Coursera吳恩達(dá)《卷積神經(jīng)網(wǎng)絡(luò)》 第四周課程筆記-特殊應(yīng)用：人臉識(shí)別和神經(jīng)風(fēng)格轉(zhuǎn)換

05 序列模型(Sequence Models)

5-1 循環(huán)神經(jīng)網(wǎng)絡(luò)

• 主要介紹：循環(huán)神經(jīng)網(wǎng)絡(luò)、不同類型的RNN、語(yǔ)言模型、新序列采樣、RNN梯度消失、GRU、LSTM、雙向RNN、深層RNNs等；

5-1 Coursera吳恩達(dá)《序列模型》 第一周課程筆記-循環(huán)序列網(wǎng)絡(luò)(RNN)

5-2 自然語(yǔ)言處理和詞嵌入

• 主要介紹：詞匯表征、Word Embedding、嵌入矩陣、Word2Vec、負(fù)采樣、GloVe詞向量、情感分類、詞嵌入消除偏見等；

5-2 Coursera吳恩達(dá)《序列模型》 第二周課程筆記-自然語(yǔ)言處理和詞嵌入

5-3 序列模型和注意力機(jī)制

• 主要介紹：序列到序列模型、集束搜索（Beam search）、集束搜索誤差分析、Bleu得分、注意力模型、注意力權(quán)重、語(yǔ)音識(shí)別、觸發(fā)字檢測(cè)等；

5-3 Coursera吳恩達(dá)《序列模型》 第三周課程筆記-序列模型和注意力機(jī)制

06 人工智能大師訪談

【人工智能行業(yè)大師訪談1】吳恩達(dá)采訪 Geoffery Hinton

【人工智能行業(yè)大師訪談2】吳恩達(dá)采訪 Pieter Abbeel

【人工智能行業(yè)大師訪談3】吳恩達(dá)采訪 Ian Goodfellow

【人工智能行業(yè)大師訪談4】吳恩達(dá)采訪Yoshua Bengio

【人工智能行業(yè)大師訪談5】吳恩達(dá)采訪林元慶

【人工智能行業(yè)大師訪談6】吳恩達(dá)采訪 Andrej Karpathy

【人工智能行業(yè)大師訪談7】吳恩達(dá)采訪 Ruslan Salakhutdinov