機器學習

在吳恩達老師的課程中，有過對機器學習的定義：

ML：P T E>

P即performance，T即Task，E即Experience，機器學習是對一個Task，根據(jù)Experience，去提升Performance；

在機器學習中，神經網絡的地位越來越重要，實踐發(fā)現(xiàn)，非線性的激活函數(shù)有助于神經網絡擬合分布，效果明顯優(yōu)于線性分類器：

y=Wx+b

常用激活函數(shù)有ReLU，sigmoid，tanh；

sigmoid將值映射到(0,1)：

tanh會將輸入映射到(-1,1)區(qū)間：

#激活函數(shù)tanh
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
def tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
X=np.linspace(-5,5,100)
plt.figure(figsize=(8,6))
ax=plt.gca()#get current axis:獲取當前坐標系
#將該坐標系的右邊緣和上邊緣設為透明
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
#設置bottom是x軸
ax.xaxis.set_ticks_position('bottom')
ax.spines['bottom'].set_position(('data',0))
#設置left為y軸
ax.yaxis.set_ticks_position('left')
ax.spines['left'].set_position(('data',0))
ax.plot(X,tanh(X),color='blue',linewidth=1.0,linestyle="-")
plt.show()

開源框架

當神經網絡層數(shù)加深，可以加強捕捉分布的效果，可以簡單認為深度學習指深層神經網絡的學習；

當前有兩大主流的深度學習框架：Pytorch和Tensorflow；

Pytorch支持動態(tài)計算圖，使用起來更接近Python；

Tensorflow是靜態(tài)計算圖，使用起來就像一門新語言，據(jù)說簡單易用的keras已經無人維護，合并到tensorflow；

一個深度學習項目的運行流程一般是：

v

深度學習計算重復且體量巨大，所以需要將模型部署到GPU上，GPU的設計很適合加速深度學習計算，為了便于在GPU上開展深度學習實驗，人們開發(fā)了CUDA架構，現(xiàn)在大部分DL模型都是基于CUDA加速的

關于CUDA

1.什么是CUDA？

CUDA(ComputeUnified Device Architecture)，是顯卡廠商NVIDIA推出的運算平臺。 CUDA是一種由NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決復雜的計算問題。

2.什么是CUDNN？

NVIDIA cuDNN是用于深度神經網絡的GPU加速庫。它強調性能、易用性和低內存開銷。NVIDIA cuDNN可以集成到更高級別的機器學習框架中。

方向概覽

當前計算機視覺的發(fā)展相對于自然語言處理更加成熟，NLP的訓練比CV更耗費資源，CV模型相對較小；

在CV方向：

1.圖像分類（ResNet，DenseNet）

1. 目標檢測ObjectDetection
2. 風格遷移StyleTransfer
3. CycleGAN：比如圖像中馬到斑馬，也可以從斑馬返回馬
4. ImageCaptioning：從圖像生成描述文本，一般用CNN獲得feature，再輸入RNN獲得文本

2.在NLP方向

1. 情感分析：分類影評數(shù)據(jù)
2. QuestionAnswering：一段問題->給出答案
3. Translation：可以用OpenNMT-py，OpenNMT-py是開源的seq->seq模型
4. ChatBot聊天機器人，基于QuestionAnswering，目前剛起步

另外還有強化學習Deep Reinforcement Learning，從簡單的打磚塊游戲到著名的阿爾法Go；

以及預訓練語言模型：給一段話，讓機器繼續(xù)說下去，比如BERT，GPT2；

遷移學習

在CV中，NN的低層可以提取位置信息（邊，角等精細信息），高層提取抽象信息，所以低層的網絡可以反復使用，更改高層再訓練以適用其他任務

到此這篇關于深度學習簡介的文章就結束了,以后還會不斷更新深度學習的文章，更多相關深度學習文章請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持腳本之家！