BN與Dropout共同使用出現(xiàn)的問題

BN和Dropout單獨使用都能減少過擬合并加速訓練速度，但如果一起使用的話并不會產(chǎn)生1+1>2的效果，相反可能會得到比單獨使用更差的效果。

相關的研究參考論文：Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift

本論文作者發(fā)現(xiàn)理解 Dropout 與 BN 之間沖突的關鍵是網(wǎng)絡狀態(tài)切換過程中存在神經(jīng)方差的（neural variance）不一致行為。

試想若有圖一中的神經(jīng)響應 X，當網(wǎng)絡從訓練轉(zhuǎn)為測試時，Dropout 可以通過其隨機失活保留率（即 p）來縮放響應，并在學習中改變神經(jīng)元的方差，而 BN 仍然維持 X 的統(tǒng)計滑動方差。

這種方差不匹配可能導致數(shù)值不穩(wěn)定（見下圖中的紅色曲線）。

而隨著網(wǎng)絡越來越深，最終預測的數(shù)值偏差可能會累計，從而降低系統(tǒng)的性能。

簡單起見，作者們將這一現(xiàn)象命名為「方差偏移」。

事實上，如果沒有 Dropout，那么實際前饋中的神經(jīng)元方差將與 BN 所累計的滑動方差非常接近（見下圖中的藍色曲線），這也保證了其較高的測試準確率。

作者采用了兩種策略來探索如何打破這種局限。

一個是在所有 BN 層后使用 Dropout，另一個就是修改 Dropout 的公式讓它對方差并不那么敏感，就是高斯Dropout。

第一個方案比較簡單

把Dropout放在所有BN層的后面就可以了，這樣就不會產(chǎn)生方差偏移的問題，但實則有逃避問題的感覺。

第二個方案

來自Dropout原文里提到的一種高斯Dropout，是對Dropout形式的一種拓展。作者進一步拓展了高斯Dropout，提出了一個均勻分布Dropout，這樣做帶來了一個好處就是這個形式的Dropout（又稱為“Uout”）對方差的偏移的敏感度降低了，總得來說就是整體方差偏地沒有那么厲害了。

BN、dropout的幾個問題和思考

1、BN的scale初始化

scale一般初始化為1.0。

聯(lián)想到權(quán)重初始化時，使用relu激活函數(shù)時若采用隨機正太分布初始化權(quán)重的公式是sqrt(2.0/Nin)，其中Nin是輸入節(jié)點數(shù)。即比一般的方法大了2的平方根（原因是relu之后一半的數(shù)據(jù)變成了0，所以應乘以根號2）。

那么relu前的BN，是否將scale初始化為根號2也會加速訓練？

這里主要有個疑點：BN的其中一個目的是統(tǒng)一各層的方差，以適用一個統(tǒng)一的學習率。那么若同時存在sigmoid、relu等多種網(wǎng)絡，以上方法會不會使得統(tǒng)一方差以適應不同學習率的效果打了折扣？

沒來得及試驗效果，如果有試過的朋友請告知下效果。

2、dropout后的標準差改變問題

實踐發(fā)現(xiàn)droput之后改變了數(shù)據(jù)的標準差（令標準差變大，若數(shù)據(jù)均值非0時，甚至均值也會產(chǎn)生改變）。

如果同時又使用了BN歸一化，由于BN在訓練時保存了訓練集的均值與標準差。dropout影響了所保存的均值與標準差的準確性（不能適應未來預測數(shù)據(jù)的需要），那么將影響網(wǎng)絡的準確性。

若輸入數(shù)據(jù)為正太分布，只需要在dropout后乘以sqrt(0.5)即可恢復原來的標準差。但是對于非0的均值改變、以及非正太分布的數(shù)據(jù)數(shù)據(jù)，又有什么好的辦法解決呢？

3、稀疏自編碼的稀疏系數(shù)

稀疏自編碼使用一個接近0的額外懲罰因子來使得隱層大部分節(jié)點大多數(shù)時候是抑制的，本質(zhì)上使隱層輸出均值為負數(shù)（激活前），例如懲罰因子為0.05，對應sigmoid的輸入為-3.5，即要求隱層激活前的輸出中間值為-3.5，那么，是不是可以在激活前加一層BN，beta設為-3.5，這樣學起來比較快？

經(jīng)過測試，的確將BN的beta設為負數(shù)可加快訓練速度。因為網(wǎng)絡初始化時就是稀疏的。

但是是不是有什么副作用，沒有理論上的研究。

4、max pooling是非線性的，avg pooling是線性的

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。