婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Pytorch訓練網絡過程中loss突然變為0的解決方案

Pytorch訓練網絡過程中loss突然變為0的解決方案

熱門標簽:唐山智能外呼系統一般多少錢 白銀外呼系統 海南400電話如何申請 哈爾濱ai外呼系統定制 陜西金融外呼系統 公司電話機器人 激戰2地圖標注 廣告地圖標注app 騰訊外呼線路

問題

// loss 突然變成0
python train.py -b=8
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      8
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:  10%|██████████████▏                                                                                                                            | 80/782 [01:3313:21,  1.14s/img, loss (batch)=0.886I
NFO: Validation cross entropy: 1.86862473487854                                                                                                                                                                  
Epoch 1/5:  20%|███████████████████████████▊                                                                                                            | 160/782 [03:3411:51,  1.14s/img, loss (batch)=2.35e-7I
NFO: Validation cross entropy: 5.887489884504049e-10                                                                                                                                                             
Epoch 1/5:  31%|███████████████████████████████████████████▌                                                                                                  | 240/782 [05:4111:29,  1.27s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  41%|██████████████████████████████████████████████████████████                                                                                    | 320/782 [07:4909:16,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  51%|████████████████████████████████████████████████████████████████████████▋                                                                     | 400/782 [09:5507:31,  1.18s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  61%|███████████████████████████████████████████████████████████████████████████████████████▏                                                      | 480/782 [12:0205:58,  1.19s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  72%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋                                        | 560/782 [14:0404:16,  1.15s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 640/782 [16:1102:49,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 720/782 [18:2101:18,  1.26s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 736/782 [19:1701:12,  1.57s/img, loss (batch)=0]
Traceback (most recent call last):
  File "train.py", line 182, in module>
    val_percent=args.val / 100)
  File "train.py", line 66, in train_net
    for batch in train_loader:
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 819, in __next__
    return self._process_data(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 846, in _process_data
    data.reraise()
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/_utils.py", line 385, in reraise
    raise self.exc_type(msg)
RuntimeError: Caught RuntimeError in DataLoader worker process 4.
Original Traceback (most recent call last):
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
    data = fetcher.fetch(index)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 47, in fetch
    return self.collate_fn(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in default_collate
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in dictcomp>
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate
    return torch.stack(batch, 0, out=out)
RuntimeError: Expected object of scalar type Double but got scalar type Byte for sequence element 4 in sequence argument at position #1 'tensors'

交叉熵損失函數是衡量輸出與標簽之間的損失,通過求導確定梯度下降的方向。

loss突然變為0,有兩種可能性。

一是因為預測輸出為0,二是因為標簽為0。

如果是因為標簽為0,那么一開始loss就可能為0.

檢查參數初始化

檢查前向傳播的網絡

檢查loss的計算格式

檢查梯度下降

是否出現梯度消失。

實際上是標簽出了錯誤

補充:pytorch訓練出現loss=na

遇到一個很坑的情況,在pytorch訓練過程中出現loss=nan的情況

有以下幾種可能:

1.學習率太高。

2.loss函數有問題

3.對于回歸問題,可能出現了除0 的計算,加一個很小的余項可能可以解決

4.數據本身,是否存在Nan、inf,可以用np.isnan(),np.isinf()檢查一下input和target

5.target本身應該是能夠被loss函數計算的,比如sigmoid激活函數的target應該大于0,同樣的需要檢查數據集

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • 解決Pytorch半精度浮點型網絡訓練的問題
  • PyTorch梯度裁剪避免訓練loss nan的操作
  • pytorch訓練神經網絡爆內存的解決方案
  • Pytorch訓練模型得到輸出后計算F1-Score 和AUC的操作
  • pytorch加載預訓練模型與自己模型不匹配的解決方案
  • pytorch 如何使用float64訓練

標簽:常德 鷹潭 黔西 四川 惠州 黑龍江 上海 益陽

巨人網絡通訊聲明:本文標題《Pytorch訓練網絡過程中loss突然變為0的解決方案》,本文關鍵詞  Pytorch,訓練,網絡,過程中,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Pytorch訓練網絡過程中loss突然變為0的解決方案》相關的同類信息!
  • 本頁收集關于Pytorch訓練網絡過程中loss突然變為0的解決方案的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    亚洲欧美一区二区在线观看| xnxx国产精品| 国产日产欧美一区二区三区| 成人中文字幕电影| 日本在线不卡一区| 成人免费在线播放视频| 日韩女优av电影| 91麻豆.com| 成人免费视频免费观看| 免费成人结看片| 亚洲成人综合视频| 中文字幕亚洲欧美在线不卡| 精品国产麻豆免费人成网站| 7777精品伊人久久久大香线蕉完整版| 国产成人av电影免费在线观看| 麻豆专区一区二区三区四区五区| 亚洲一二三四在线观看| 亚洲日本丝袜连裤袜办公室| 国产欧美一区二区精品忘忧草| 日韩精品一区二区在线观看| 欧美电影免费观看高清完整版在线观看 | 免费观看久久久4p| 亚洲成人激情社区| 亚洲18色成人| 蜜桃视频在线观看一区| 日韩高清一区二区| 日韩av不卡在线观看| 久草中文综合在线| 国产91清纯白嫩初高中在线观看| 国产精品1区2区| 99久久伊人精品| 欧美日韩色一区| 日韩欧美一级片| 久久久久久免费| 亚洲欧美经典视频| 天堂资源在线中文精品| 久久av老司机精品网站导航| 国产一区二区视频在线播放| 成人午夜在线视频| 色婷婷激情一区二区三区| 欧美日韩精品三区| 久久天天做天天爱综合色| 国产精品每日更新在线播放网址| 亚洲一卡二卡三卡四卡五卡| 毛片不卡一区二区| 91蜜桃网址入口| 日韩三级视频中文字幕| 中文字幕成人在线观看| 日韩精品每日更新| 不卡区在线中文字幕| 91超碰这里只有精品国产| 久久嫩草精品久久久精品一| 亚洲图片另类小说| 久久精品理论片| 色94色欧美sute亚洲13| 久久婷婷色综合| 亚洲国产综合91精品麻豆| 国产精品自拍av| 欧美日韩国产系列| 国产精品久久国产精麻豆99网站| 天堂成人国产精品一区| 99久久婷婷国产综合精品| 欧美一区二区三区在线观看| 国产精品久久网站| 久久电影网电视剧免费观看| 99re热视频这里只精品| 精品国产1区二区| 丝袜美腿亚洲一区二区图片| 99综合电影在线视频| 欧美一区二区视频网站| 一个色综合av| 成人性生交大合| 久久久久成人黄色影片| 日本亚洲视频在线| 在线视频国产一区| 国产精品久久久久影视| 蜜臂av日日欢夜夜爽一区| 色婷婷综合久久久久中文一区二区| 日韩三级视频中文字幕| 视频一区中文字幕| 欧美色图一区二区三区| 亚洲日韩欧美一区二区在线| 国产激情精品久久久第一区二区| 日韩欧美www| 蜜桃视频在线一区| 日韩精品资源二区在线| 美女一区二区在线观看| 欧美剧情电影在线观看完整版免费励志电影 | 在线观看视频一区| 国产精品不卡在线| 成人在线视频一区二区| 国产欧美一区二区在线观看| 国产做a爰片久久毛片| 日韩美一区二区三区| 日本视频中文字幕一区二区三区| 欧美午夜片在线看| 亚洲1区2区3区4区| 日韩一级黄色片| 麻豆91精品91久久久的内涵| 欧美久久免费观看| 日本一不卡视频| 欧美电视剧在线观看完整版| 九九精品一区二区| 久久色在线观看| av高清久久久| 一区二区三区精品视频| 欧美综合一区二区| 亚洲影院在线观看| 欧美一区二区黄色| 国内精品免费**视频| 国产嫩草影院久久久久| 色综合久久久久网| 丝袜美腿亚洲一区| 精品久久久久久亚洲综合网| 国产成人久久精品77777最新版本| 日韩精品电影一区亚洲| 久久亚洲一级片| 精品粉嫩超白一线天av| 亚洲国产激情av| 亚洲欧美日韩久久| 天天亚洲美女在线视频| 美女高潮久久久| 国产一区二区三区香蕉 | 在线免费观看日本一区| 99视频热这里只有精品免费| 国产高清视频一区| 91浏览器打开| 日韩三区在线观看| 中文在线一区二区 | 99re成人精品视频| 麻豆高清免费国产一区| 蜜臀av一区二区在线免费观看| 国产精品污污网站在线观看| 欧美日韩一卡二卡| 欧美高清视频一二三区| 精品国产成人在线影院| 一本久道中文字幕精品亚洲嫩| www久久久久| 色噜噜夜夜夜综合网| 青草av.久久免费一区| 久久综合九色综合97_久久久| a4yy欧美一区二区三区| 日韩电影网1区2区| 国产精品麻豆久久久| 日韩一级黄色片| 日本精品裸体写真集在线观看| 美腿丝袜亚洲色图| 一区二区三区中文免费| 久久久99精品久久| 日韩亚洲电影在线| 欧美丝袜丝交足nylons图片| 粉嫩aⅴ一区二区三区四区| 日本中文字幕不卡| 亚洲大型综合色站| 5858s免费视频成人| 91精品国产综合久久久久久漫画| 亚洲国产精品av| 日韩影院在线观看| 91色九色蝌蚪| 国产无一区二区| 日韩av在线播放中文字幕| 99久久免费视频.com| 亚洲精品一区二区三区福利 | 99免费精品在线| 日韩一区二区三区高清免费看看| 中文字幕中文字幕中文字幕亚洲无线| 日韩激情一二三区| 欧美性淫爽ww久久久久无| 国产精品久久久久天堂| 国产一区二区三区免费播放| 欧美日本在线视频| 中文字幕一区在线| 大胆亚洲人体视频| 2024国产精品| 麻豆成人av在线| 在线综合亚洲欧美在线视频| 亚洲小说春色综合另类电影| 成人少妇影院yyyy| 26uuu亚洲| 蜜桃在线一区二区三区| 欧美日韩免费观看一区二区三区 | 精品国产一区二区三区四区四| 亚洲一区二区三区自拍| 色综合天天在线| 亚洲色欲色欲www| 99国产精品久久久久久久久久久| 亚洲国产精品高清| 国产成a人无v码亚洲福利| 精品国产精品网麻豆系列| 天堂av在线一区| 91精品国产乱码久久蜜臀| 亚洲制服欧美中文字幕中文字幕| 91在线看国产| 一区二区在线观看视频在线观看| 91看片淫黄大片一级在线观看| 亚洲视频免费看| 91精品1区2区| 亚洲成人动漫av| 欧美视频精品在线观看| 视频在线在亚洲|