AlexNet （2012 ）

2012 年，AlexNet 由 Alex Krizhevsky 為 ImageNet 大規模視覺識別挑戰賽 ( ILSVRV ) 提出的，ILSVRV 評估用于對象檢測和圖像分類的算法。

AlexNet 總共由八層組成

其中前5層是卷積層，后3層是全連接層。

前兩個卷積層連接到重疊的最大池化層以提取最大數量的特征。

第三、四、五卷積層直接與全連接層相連。

卷積層和全連接層的所有輸出都連接到 ReLu 非線性激活函數。

最后的輸出層連接到一個 softmax 激活層，它產生 1000 個類標簽的分布。

VGG (2014)

VGG 是一種流行的神經網絡架構

由2014年，牛津大學的 Karen Simonyan 和 Andrew Zisserman 提出。

與 AlexNet 相比，VGG 的主要改進包括使用大內核大小的過濾器

（第一和第二卷積層中的大小分別為 11 和 5）和多個（3×3）內核大小的過濾器。

GoogleNet (2014)

2014年，GoogleNet 誕生，該架構有 22 層深

包括 27 個池化層。總共有 9 個初始模塊線性堆疊。Inception 模塊的末端連接到全局平均池化層。

下面是完整 GoogleNet 架構的縮小圖像。

ResNet (2015)

由于深度神經網絡訓練既費時又容易過擬合，微軟引入了一個殘差學習框架來改進比以前使用的更深的網絡的訓練。

ResNet在PyTorch的官方代碼中共有5種不同深度的結構

深度分別為18、34、50、101、152（各種網絡的深度指的是“需要通過訓練更新參數”的層數，如卷積層，全連接層等）。

Inception v3 (2015)

與 VGGNet 相比，

Inception Networks 已被證明在計算效率更高

Inception v3 網絡的架構是逐步構建的，結構圖可點擊查看大圖

SqueezeNet （2016）

SqueezeNet 是一個較小的網絡

它的參數比 AlexNet 少近 50 倍，但執行速度快 3 倍。

如上圖中最左邊所示，SqueezeNet 以一個標準的卷積層開始，然后是 8 個 Fire 模塊，最后再以一個卷積層結束。

步長為 2 的池化分別跟在第一個卷積層、 第 4 個 Fire 模塊、第 8 個 Fire 模塊和最后一個卷積層后面。

中間的網絡結構在特征圖通道數相同的 Fire 模塊之間引入了殘差網絡中的跳躍連接，

而最右邊的網絡結構在中間結構的基礎上，針對特征圖通道數不一樣的情況，通過一個 1×1 的卷積來調整通道數一致后再相加。

DenseNet (2016)

DenseNet 擁有與傳統深度 CNN 相比的一大優勢：

通過多層的信息在到達網絡末端時不會被沖刷或消失。這是通過簡單的連接模式實現的。

要理解這一點，必須知道普通 CNN 中的層是如何連接的。

這是一個簡單的 CNN，其中各層按順序連接。然而，在DenseNet 中，每一層從所有前面的層獲得額外的輸入，并將其自己的特征映射傳遞給所有后續層。

下面是描繪DenseNet 的圖像。

Xception (2016)

Xception是Google公司繼Inception后提出的

對 Inception-v3 的另一種改進

Xception 的結構基于 ResNet，但是將其中的卷積層換成了Separable Convolution（極致的 Inception模塊）。

如下圖所示。整個網絡被分為了三個部分：Entry，Middle和Exit。

ShuffleNet v2 (2018)

2018年，開始了輕度網絡的研究，MnasNet ，MobileNet，ShuffleNet，,Xception采用了分組卷積，

深度可分離卷積等操作，這些操作

在一定程度上大大減少了FLOP

整體 ShuffleNet v2 架構列表如下：

MnasNet （2018）

Google 團隊最新提出 MnasNet

使用強化學習的思路，提出一種資源約束的終端 CNN 模型的自動神經結構搜索方法。

ResNeXt（2019）

ResNeXt是ResNet 的變體

ResNet有許多版本，對應的ResNeXt也有許多不同版本。

對比下，ResNet50和ResNeXt-50的網絡結構圖如下：

MobileNetv3 （2019）

在ImageNet分類任務上，相對于MobileNetV2,

MobileNetV3-small精度提高了大約3.2%，時間減少了15%

MobileNetV3-large精度提高了大約34.6%，時間減少了5%。

MobileNetV3的large和small結構如下圖所示。

EfficientNet 2019 and EfficientNet v2 2021

谷歌研究人員在一篇 ICML 2019 論文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》中，

提出了

一種新型模型縮放方法

該方法使用一種簡單但高效的復合系數（compound coefficient）以更加結構化的方式擴展 CNN，這成為后ResNet時代的頂流EfficientNet，

很多模型網絡及其復雜，學會怎么用輪子就好了。

以上就是總結近幾年Pytorch基于Imgagenet數據集圖像分類模型的詳細內容，更多關于Pytorch基于Imgagenet數據集圖像分類模型的資料請關注腳本之家其它相關文章！