近來在訓練檢測網絡的時候會出現loss為nan的情況，需要中斷重新訓練，會很麻煩。因而選擇使用PyTorch提供的梯度裁剪庫來對模型訓練過程中的梯度范圍進行限制，修改之后，不再出現loss為nan的情況。
PyTorch中采用torch.nn.utils.clip_grad_norm_來實現梯度裁剪，鏈接如下：
https://pytorch.org/docs/stable/_modules/torch/nn/utils/clip_grad.html
訓練代碼使用示例如下：
from torch.nn.utils import clip_grad_norm_
outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
# clip the grad
clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()
其中，max_norm為梯度的最大范數，也是梯度裁剪時主要設置的參數。
備注：網上有同學提醒在（強化學習）使用了梯度裁剪之后訓練時間會大大增加。目前在我的檢測網絡訓練中暫時還沒有碰到這個問題，以后遇到再來更新。
補充：pytorch訓練過程中出現nan的排查思路
1、最常見的就是出現了除0或者log0這種
看看代碼中在這種操作的時候有沒有加一個很小的數，但是這個數數量級要和運算的數的數量級要差很多。一般是1e-8。
2、在optim.step()之前裁剪梯度
optim.zero_grad()
loss.backward()
nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2)
optim.step()
max_norm一般是1，3，5。
3、前面兩條還不能解決nan的話
就按照下面的流程來判斷。
...
loss = model(input)
# 1. 先看loss是不是nan,如果loss是nan,那么說明可能是在forward的過程中出現了第一條列舉的除0或者log0的操作
assert torch.isnan(loss).sum() == 0, print(loss)
optim.zero_grad()
loss.backward()
# 2. 如果loss不是nan,那么說明forward過程沒問題，可能是梯度爆炸，所以用梯度裁剪試試
nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2)
# 3.1 在step之前，判斷參數是不是nan, 如果不是判斷step之后是不是nan
assert torch.isnan(model.mu).sum() == 0, print(model.mu)
optim.step()
# 3.2 在step之后判斷，參數和其梯度是不是nan，如果3.1不是nan,而3.2是nan,
# 特別是梯度出現了Nan,考慮學習速率是否太大，調小學習速率或者換個優化器試試。
assert torch.isnan(model.mu).sum() == 0, print(model.mu)
assert torch.isnan(model.mu.grad).sum() == 0, print(model.mu.grad)
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- Pytorch訓練過程出現nan的解決方式
- pytorch 權重weight 與 梯度grad 可視化操作
- PyTorch 如何檢查模型梯度是否可導
- 淺談pytorch中為什么要用 zero_grad() 將梯度清零
- PyTorch 如何自動計算梯度
- pytorch 梯度NAN異常值的解決方案
