訓(xùn)練的時候內(nèi)存一直在增加，最后內(nèi)存爆滿，被迫中斷。
后來換了一個電腦發(fā)現(xiàn)還是這樣，考慮是代碼的問題。
檢查才發(fā)現(xiàn)我的代碼兩次存了loss，只有一個地方寫的是loss.item（）。問題就在loss，因為loss是variable類型。
要寫成loss_train = loss_train + loss.item()，不能直接寫loss_train = loss_train + loss。否則就會發(fā)現(xiàn)隨著epoch的增加，占的內(nèi)存也在一點一點增加。
算是一個小坑吧，希望大家還是要仔細(xì)。
補充：pytorch神經(jīng)網(wǎng)絡(luò)解決回歸問題（非常易懂）
對于pytorch的深度學(xué)習(xí)框架
在建立人工神經(jīng)網(wǎng)絡(luò)時整體的步驟主要有以下四步：
1、載入原始數(shù)據(jù)
2、構(gòu)建具體神經(jīng)網(wǎng)絡(luò)
3、進行數(shù)據(jù)的訓(xùn)練
4、數(shù)據(jù)測試和驗證
pytorch神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)載入，以MINIST書寫字體的原始數(shù)據(jù)為例：
import torch
import matplotlib.pyplot as plt
def plot_curve(data):
fig=plt.figure()
plt.plot(range(len(data)),data,color="blue")
plt.legend(["value"],loc="upper right")
plt.xlabel("step")
plt.ylabel("value")
plt.show()
def plot_image(img,label,name):
fig=plt.figure()
for i in range(6):
plt.subplot(2,3,i+1)
plt.tight_layout()
plt.imshow(img[i][0]*0.3081+0.1307,cmap="gray",interpolation="none")
plt.title("{}:{}".format(name, label[i].item()))
plt.xticks([])
plt.yticks([])
plt.show()
def one_hot(label,depth=10):
out=torch.zeros(label.size(0),depth)
idx=torch.LongTensor(label).view(-1,1)
out.scatter_(dim=1,index=idx,value=1)
return out
batch_size=512
import torch
from torch import nn #完成神經(jīng)網(wǎng)絡(luò)的構(gòu)建包
from torch.nn import functional as F #包含常用的函數(shù)包
from torch import optim #優(yōu)化工具包
import torchvision #視覺工具包
import matplotlib.pyplot as plt
from utils import plot_curve,plot_image,one_hot
#step1 load dataset 加載數(shù)據(jù)包
train_loader=torch.utils.data.DataLoader(
torchvision.datasets.MNIST("minist_data",train=True,download=True,transform=torchvision.transforms.Compose(
[torchvision.transforms.ToTensor(),torchvision.transforms.Normalize((0.1307,),(0.3081,))
])),
batch_size=batch_size,shuffle=True)
test_loader=torch.utils.data.DataLoader(
torchvision.datasets.MNIST("minist_data",train=True,download=False,transform=torchvision.transforms.Compose(
[torchvision.transforms.ToTensor(),torchvision.transforms.Normalize((0.1307,),(0.3081,))
])),
batch_size=batch_size,shuffle=False)
x,y=next(iter(train_loader))
print(x.shape,y.shape)
plot_image(x,y,"image")
print(x)
print(y)
以構(gòu)建一個簡單的回歸問題的神經(jīng)網(wǎng)絡(luò)為例，
其具體的實現(xiàn)代碼如下所示：
import torch
import torch.nn.functional as F # 激勵函數(shù)都在這
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2 * torch.rand(x.size()) # noisy y data (tensor), shape=(100, 1)
class Net(torch.nn.Module): # 繼承 torch 的 Module（固定）
def __init__(self, n_feature, n_hidden, n_output): # 定義層的信息，n_feature多少個輸入, n_hidden每層神經(jīng)元, n_output多少個輸出
super(Net, self).__init__() # 繼承 __init__ 功能（固定）
# 定義每層用什么樣的形式
self.hidden = torch.nn.Linear(n_feature, n_hidden) # 定義隱藏層，線性輸出
self.predict = torch.nn.Linear(n_hidden, n_output) # 定義輸出層線性輸出
def forward(self, x): # x是輸入信息就是data，同時也是 Module 中的 forward 功能，定義神經(jīng)網(wǎng)絡(luò)前向傳遞的過程，把__init__中的層信息一個一個的組合起來
# 正向傳播輸入值, 神經(jīng)網(wǎng)絡(luò)分析出輸出值
x = F.relu(self.hidden(x)) # 定義激勵函數(shù)(隱藏層的線性值)
x = self.predict(x) # 輸出層，輸出值
return x
net = Net(n_feature=1, n_hidden=10, n_output=1)
print(net) # net 的結(jié)構(gòu)
"""
Net (
(hidden): Linear (1 -> 10)
(predict): Linear (10 -> 1)
)
"""
# optimizer 是訓(xùn)練的工具
optimizer = torch.optim.SGD(net.parameters(), lr=0.2) # 傳入 net 的所有參數(shù), 學(xué)習(xí)率
loss_func = torch.nn.MSELoss() # 預(yù)測值和真實值的誤差計算公式 (均方差)
for t in range(100): # 訓(xùn)練的步數(shù)100步
prediction = net(x) # 喂給 net 訓(xùn)練數(shù)據(jù) x, 每迭代一步，輸出預(yù)測值
loss = loss_func(prediction, y) # 計算兩者的誤差
# 優(yōu)化步驟：
optimizer.zero_grad() # 清空上一步的殘余更新參數(shù)值
loss.backward() # 誤差反向傳播, 計算參數(shù)更新值
optimizer.step() # 將參數(shù)更新值施加到 net 的 parameters 上
import matplotlib.pyplot as plt
plt.ion() # 實時畫圖something about plotting
for t in range(200):
prediction = net(x) # input x and predict based on x
loss = loss_func(prediction, y) # must be (1. nn output, 2. target)
optimizer.zero_grad() # clear gradients for next train
loss.backward() # backpropagation, compute gradients
optimizer.step() # apply gradients
if t % 5 == 0: # 每五步繪一次圖
# plot and show learning process
plt.cla()
plt.scatter(x.data.numpy(), y.data.numpy())
plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})
plt.pause(0.1)
plt.ioff()
plt.show()
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- 解決Pytorch半精度浮點型網(wǎng)絡(luò)訓(xùn)練的問題
- PyTorch梯度裁剪避免訓(xùn)練loss nan的操作
- Pytorch訓(xùn)練模型得到輸出后計算F1-Score 和AUC的操作
- pytorch加載預(yù)訓(xùn)練模型與自己模型不匹配的解決方案
- Pytorch訓(xùn)練網(wǎng)絡(luò)過程中l(wèi)oss突然變?yōu)?的解決方案
- pytorch 如何使用float64訓(xùn)練
