為了方便記憶與查看，下面將記錄我所了解的深度學(xué)習(xí)中的優(yōu)化調(diào)參細(xì)節(jié)。

深度學(xué)習(xí)中的技巧：

• 初始化參數(shù)盡量小一些，這樣 softmax 的回歸輸出更加接近均勻分布，使得剛開始網(wǎng)絡(luò)并不確信數(shù)據(jù)屬于哪一類；另一方面從數(shù)值優(yōu)化上看我們希望我們的參數(shù)具有一致的方差（一致的數(shù)量級），這樣我們的梯度下降法下降也會更快。同時為了使每一層的激勵值保持一定的方差，我們在初始化參數(shù)（不包括偏置項）的方差可以與輸入神經(jīng)元的平方根成反比
• 學(xué)習(xí)率（learning rate）的設(shè)置應(yīng)該隨著迭代次數(shù)的增加而減小，個人比較喜歡每迭代完一次epoch也就是整個數(shù)據(jù)過一遍，然后對學(xué)習(xí)率進(jìn)行變化，這樣能夠保證每個樣本得到了公平的對待
• 滑動平均模型，在訓(xùn)練的過程中不斷的對參數(shù)求滑動平均這樣能夠更有效的保持穩(wěn)定性，使其對當(dāng)前參數(shù)更新不敏感。例如加動量項的隨機梯度下降法就是在學(xué)習(xí)率上應(yīng)用滑動平均模型。
• 在驗證集上微小的提升未必可信，一個常用的準(zhǔn)則是增加了30個以上的正確樣本，能夠比較確信算法有了一定的提升
  
• 如上圖所示，不要太相信模型開始的學(xué)習(xí)速度，這與最終的結(jié)果基本沒有什么關(guān)系。一個低的學(xué)習(xí)速率往往能得到較好的模型。
• 在深度學(xué)習(xí)中，常用的防止過擬合的方法除了正則化，dropout和pooling之外，還有提前停止訓(xùn)練的方法——就是看到我們在驗證集的上的正確率開始下降就停止訓(xùn)練。
• 當(dāng)激活函數(shù)是RELU時，我們在初始化偏置項時，為了避免過多的死亡節(jié)點（激活值為0）一般可以初始化為一個較小的正值。
• 基于隨機梯度下降的改進(jìn)優(yōu)化算法有很多種，在不熟悉調(diào)參的情況，建議使用Adam方法
• 訓(xùn)練過程不僅要觀察訓(xùn)練集和測試集的loss是否下降、正確率是否提高，對于參數(shù)以及激活值的分布情況也要及時觀察，要有一定的波動。
• 如果我們設(shè)計的網(wǎng)絡(luò)不work，在訓(xùn)練集的正確率也很低的話，我們可以減小樣本數(shù)量同時去掉正則化項，然后進(jìn)行調(diào)參，如果正確率還是不高的話，就說明我們設(shè)計的網(wǎng)絡(luò)結(jié)果可能有問題。
• fine-tuning的時候，可以把新加層的學(xué)習(xí)率調(diào)高，重用層的學(xué)習(xí)率可以設(shè)置的相對較低。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）中的獨有技巧：

• CNN中將一個大尺寸的卷積核可以分解為多層的小尺寸卷積核或者分成多層的一維卷積。這樣能夠減少參數(shù)增加非線性
• CNN中的網(wǎng)絡(luò)設(shè)計應(yīng)該是逐漸減小圖像尺寸，同時增加通道數(shù)，讓空間信息轉(zhuǎn)化為高階抽象的特征信息。
• CNN中可以利用Inception方法來提取不同抽象程度的高階特征，用ResNet的思想來加深網(wǎng)絡(luò)的層數(shù)。
• CNN處理圖像時，常常會對原圖進(jìn)行旋轉(zhuǎn)、裁剪、亮度、色度、飽和度等變化以增大數(shù)據(jù)集增加魯棒性。