2. 比較CrossEntropyLoss() 和NLLLoss()

(1). CrossEntropyLoss():

torch.nn.CrossEntropyLoss(weight=None,   # 1D張量,含n個(gè)元素,分別代表n類(lèi)的權(quán)重,樣本不均衡時(shí)常用
                          size_average=None, 
                          ignore_index=-100, 
                          reduce=None, 
                          reduction='mean' )

參數(shù):

weight: 1D張量,含n個(gè)元素,分別代表n類(lèi)的權(quán)重,樣本不均衡時(shí)常用, 默認(rèn)為None.

計(jì)算公式:

weight = None時(shí):

weight ≠ None時(shí):

輸入:

output: 網(wǎng)絡(luò)未加softmax的輸出

target: label值(0,1,2 不是one-hot)

代碼:

loss_func = CrossEntropyLoss(weight=torch.from_numpy(np.array([0.03,0.05,0.19,0.26,0.47])).float().to(device) ,size_average=True)
loss = loss_func(output, target)

(2). NLLLoss():

torch.nn.NLLLoss(weight=None, 
                size_average=None, 
                ignore_index=-100,
                reduce=None, 
                reduction='mean')

輸入:

output: 網(wǎng)絡(luò)在logsoftmax后的輸出

target: label值(0,1,2 不是one-hot)

代碼:

loss_func = NLLLoss(weight=torch.from_numpy(np.array([0.03,0.05,0.19,0.26,0.47])).float().to(device) ,size_average=True)
loss = loss_func(output, target)

(3). 二者總結(jié)比較:

總之, CrossEntropyLoss() = softmax + log + NLLLoss() = log_softmax + NLLLoss(), 具體等價(jià)應(yīng)用如下:

####################---CrossEntropyLoss()---#######################
 
loss_func = CrossEntropyLoss()
loss = loss_func(output, target)
 
####################---Softmax+log+NLLLoss()---####################
 
self.softmax = nn.Softmax(dim = -1)
 
x = self.softmax(x)
output = torch.log(x)
 
loss_func = NLLLoss()
loss = loss_func(output, target)
 
####################---LogSoftmax+NLLLoss()---######################
 
self.log_softmax = nn.LogSoftmax(dim = -1)
 
output = self.log_softmax(x)
 
loss_func = NLLLoss()
loss = loss_func(output, target)

補(bǔ)充：常用損失函數(shù)用法小結(jié)之Pytorch框架

在用深度學(xué)習(xí)做圖像處理的時(shí)候，常用到的損失函數(shù)無(wú)非有四五種，為了方便Pytorch使用者，所以簡(jiǎn)要做以下總結(jié)

1）L1損失函數(shù)

預(yù)測(cè)值與標(biāo)簽值進(jìn)行相差，然后取絕對(duì)值，根據(jù)實(shí)際應(yīng)用場(chǎng)所，可以設(shè)置是否求和，求平均，公式可見(jiàn)下，Pytorch調(diào)用函數(shù)：nn.L1Loss

2）L2損失函數(shù)

預(yù)測(cè)值與標(biāo)簽值進(jìn)行相差，然后取平方，根據(jù)實(shí)際應(yīng)用場(chǎng)所，可以設(shè)置是否求和，求平均，公式可見(jiàn)下，Pytorch調(diào)用函數(shù)：nn.MSELoss

3）Huber Loss損失函數(shù)

簡(jiǎn)單來(lái)說(shuō)就是L1和L2損失函數(shù)的綜合版本，結(jié)合了兩者的優(yōu)點(diǎn)，公式可見(jiàn)下，Pytorch調(diào)用函數(shù)：nn.SmoothL1Loss

4）二分類(lèi)交叉熵?fù)p失函數(shù)

簡(jiǎn)單來(lái)說(shuō)，就是度量?jī)蓚€(gè)概率分布間的差異性信息，在某一程度上也可以防止梯度學(xué)習(xí)過(guò)慢，公式可見(jiàn)下，Pytorch調(diào)用函數(shù)有兩個(gè)，一個(gè)是nn.BCELoss函數(shù)，用的時(shí)候要結(jié)合Sigmoid函數(shù)，另外一個(gè)是nn.BCEWithLogitsLoss()

5）多分類(lèi)交叉熵?fù)p失函數(shù)

也是度量?jī)蓚€(gè)概率分布間的差異性信息，Pytorch調(diào)用函數(shù)也有兩個(gè)，一個(gè)是nn.NLLLoss，用的時(shí)候要結(jié)合log softmax處理，另外一個(gè)是nn.CrossEntropyLoss

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。