最近需要訓練一個模型，在優化模型時用了dropout函數，為了減少過擬合。
訓練的時候用dropout，測試的時候不用dropout。剛開始以為p是保留神經元的比率，訓練設置0.5，測試設置1，loss根本沒減小過，全設置成1也是一樣的效果，后來就考慮到是不是p設置錯了。
上網一搜，果然是的！！！p的含義理解錯了！不是保留的，而是不保留的！
具體的代碼為：
x1是上一層網絡的輸出，p是需要刪除的神經元的比例。
當p=0時，保留全部神經元更新。當p=1時，神經元輸出的值都為0。
補充：Pytorch--Dropout筆記
dropout常常用于抑制過擬合，pytorch也提供了很方便的函數。但是經常不知道dropout的參數p是什么意思。
在TensorFlow中p叫做keep_prob,就一直以為pytorch中的p應該就是保留節點數的比例，但是實驗結果發現反了，實際上表示的是不保留節點數的比例。
看下面的例子：
a = torch.randn(10,1)
>>> tensor([[ 0.0684],
[-0.2395],
[ 0.0785],
[-0.3815],
[-0.6080],
[-0.1690],
[ 1.0285],
[ 1.1213],
[ 0.5261],
[ 1.1664]])
p=0.5
torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],
[-0.0000],
[ 0.0000],
[-0.7631],
[-0.0000],
[-0.0000],
[ 0.0000],
[ 0.0000],
[ 1.0521],
[ 2.3328]])
p=0
torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
[-0.2395],
[ 0.0785],
[-0.3815],
[-0.6080],
[-0.1690],
[ 1.0285],
[ 1.1213],
[ 0.5261],
[ 1.1664]])
p=1
torch.nn.Dropout(0)(a)
>>> tensor([[0.],
[-0.],
[0.],
[-0.],
[-0.],
[-0.],
[0.],
[0.],
[0.],
[0.]])
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- pytorch 實現在測試的時候啟用dropout
- PyTorch 實現L2正則化以及Dropout的操作
- Python深度學習pytorch神經網絡Dropout應用詳解解
