Stochastic Depth
論文：Deep Networks with Stochastic Depth
本文的正則化針對(duì)于ResNet中的殘差結(jié)構(gòu)，類似于dropout的原理，訓(xùn)練時(shí)對(duì)模塊進(jìn)行隨機(jī)的刪除，從而提升模型的泛化能力。
對(duì)于上述的ResNet網(wǎng)絡(luò)，模塊越在后面被drop掉的概率越大。
作者直覺(jué)上認(rèn)為前期提取的低階特征會(huì)被用于后面的層。
第一個(gè)模塊保留的概率為1，之后保留概率隨著深度線性遞減。
對(duì)一個(gè)模塊的drop函數(shù)可以采用如下的方式實(shí)現(xiàn)：
def drop_connect(inputs, p, training):
""" Drop connect. """
if not training: return inputs # 測(cè)試階段
batch_size = inputs.shape[0]
keep_prob = 1 - p
random_tensor = keep_prob
random_tensor += torch.rand([batch_size, 1, 1, 1], dtype=inputs.dtype, device=inputs.device)
# 以樣本為單位生成模塊是否被drop的01向量
binary_tensor = torch.floor(random_tensor)
# 因?yàn)樵酵笤饺菀妆籨rop，所以沒(méi)有被drop的值就要通過(guò)除keep_prob來(lái)放大
output = inputs / keep_prob * binary_tensor
return output
在Pytorch建立的Module類中，具有forward函數(shù)
可以在forward函數(shù)中進(jìn)行drop：
def forward(self, x):
x=...
if stride == 1 and in_planes == out_planes:
if drop_connect_rate:
x = drop_connect(x, p=drop_connect_rate, training=self.training)
x = x + inputs # skip connection
return x
主函數(shù)：
for idx, block in enumerate(self._blocks):
drop_connect_rate = self._global_params.drop_connect_rate
if drop_connect_rate:
drop_connect_rate *= float(idx) / len(self._blocks)
x = block(x, drop_connect_rate=drop_connect_rate)
補(bǔ)充：pytorch中的L2正則化實(shí)現(xiàn)方法
搭建神經(jīng)網(wǎng)絡(luò)時(shí)需要使用L2正則化等操作來(lái)防止過(guò)擬合，而pytorch不像TensorFlow能在任意卷積函數(shù)中添加L2正則化的超參，那怎么在pytorch中實(shí)現(xiàn)L2正則化呢？
方法如下：超級(jí)簡(jiǎn)單！
optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=5.0)
torch.optim.Adam()參數(shù)中的 weight_decay=5.0 即為L(zhǎng)2正則化（只是pytorch換了名字），其數(shù)值即為L(zhǎng)2正則化的懲罰系數(shù)，一般設(shè)置為1、5、10（根據(jù)需要設(shè)置，默認(rèn)為0，不使用L2正則化）。
注：
pytorch中的優(yōu)化函數(shù)L2正則化默認(rèn)對(duì)所有網(wǎng)絡(luò)參數(shù)進(jìn)行懲罰，且只能實(shí)現(xiàn)L2正則化，如需只懲罰指定網(wǎng)絡(luò)層參數(shù)或采用L1正則化，只能自己定義。。。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- 在Pytorch中使用樣本權(quán)重(sample_weight)的正確方法
- Pytorch中的數(shù)據(jù)集劃分&正則化方法
- PyTorch 實(shí)現(xiàn)L2正則化以及Dropout的操作
- Python深度學(xué)習(xí)pyTorch權(quán)重衰減與L2范數(shù)正則化解析
