在時(shí)間序列資料中，觀察值之間存在依賴關(guān)係，因此它們不是相互獨(dú)立的。然而，傳統(tǒng)的神經(jīng)網(wǎng)路將每個(gè)觀察視為獨(dú)立的，這限制了模型對(duì)時(shí)間序列資料的建模能力。為了解決這個(gè)問(wèn)題，循環(huán)神經(jīng)網(wǎng)路(RNN)被引入，它引入了記憶的概念，透過(guò)在網(wǎng)路中建立資料點(diǎn)之間的依賴關(guān)係來(lái)捕捉時(shí)間序列資料的動(dòng)態(tài)特性。透過(guò)循環(huán)連接，RNN可以將先前的資訊傳遞到當(dāng)前觀察中，從而更好地預(yù)測(cè)未來(lái)的值。這使得RNN成為處理時(shí)間序列資料任務(wù)的強(qiáng)大工具。

但是RNN是如何實(shí)現(xiàn)這種記憶的呢？

RNN透過(guò)神經(jīng)網(wǎng)路中的回饋迴路實(shí)現(xiàn)記憶，這是RNN與傳統(tǒng)神經(jīng)網(wǎng)路的主要差異?；仞佫捖吩试S訊息在層內(nèi)傳遞，而前饋神經(jīng)網(wǎng)路的訊息僅在層之間傳遞。因此，有了不同類型的RNN：

• #循環(huán)神經(jīng)網(wǎng)路(RNN)
• 長(zhǎng)短期記憶網(wǎng)路(LSTM)
• 門控循環(huán)單元網(wǎng)路(GRU)

本文將介紹RNN、LSTM和GRU的概念和異同點(diǎn)，以及它們的一些優(yōu)點(diǎn)和缺點(diǎn)。

循環(huán)神經(jīng)網(wǎng)路(RNN)

透過(guò)回饋迴路，一個(gè)RNN單元的輸出也被同一單元用作輸入。因此，每個(gè)RNN都有兩個(gè)輸入：過(guò)去和現(xiàn)在。使用過(guò)去的資訊會(huì)產(chǎn)生短期記憶。

為了更好地理解，可以展開(kāi)RNN單元的回饋循環(huán)。展開(kāi)單元格的長(zhǎng)度等於輸入序列的時(shí)間步數(shù)。

可以看到過(guò)去的觀察結(jié)果是如何作為隱藏狀態(tài)透過(guò)展開(kāi)的網(wǎng)路傳遞的。在每個(gè)單元格中，當(dāng)前時(shí)間步的輸入、前一時(shí)間步的隱藏狀態(tài)和偏移組合，然後透過(guò)啟動(dòng)函數(shù)限制以確定當(dāng)前時(shí)間的隱藏狀態(tài)步。

RNN可用於一對(duì)一、一對(duì)多、多對(duì)一和多對(duì)多預(yù)測(cè)。

RNN的優(yōu)點(diǎn)

由於其短期記憶，RNN可以處理順序資料並識(shí)別歷史資料中的模式。此外，RNN能夠處理不同長(zhǎng)度的輸入。

RNN的缺點(diǎn)

RNN存在梯度下降消失的問(wèn)題。在這種情況下，用於在反向傳播期間更新權(quán)重的梯度變得非常小。將權(quán)重與接近零的梯度相乘會(huì)阻止網(wǎng)路學(xué)習(xí)新的權(quán)重。停止學(xué)習(xí)會(huì)導(dǎo)致RNN忘記在較長(zhǎng)序列中看到的內(nèi)容。梯度下降消失的問(wèn)題隨著網(wǎng)路層數(shù)的增加而增加。

由於RNN只保留最近的訊息，所以模型在考慮過(guò)去的觀察時(shí)會(huì)出現(xiàn)問(wèn)題。因此，RNN只有短期記憶而沒(méi)有長(zhǎng)期記憶。

此外，由於RNN使用反向傳播及時(shí)更新權(quán)重，網(wǎng)路也會(huì)遭受梯度爆炸的影響，如果使用ReLu激活函數(shù)，則會(huì)受到死亡ReLu單元的影響。前者可能會(huì)導(dǎo)致收斂問(wèn)題，而後者會(huì)導(dǎo)致停止學(xué)習(xí)。

長(zhǎng)短期記憶(LSTM)

LSTM是一種特殊類型的RNN，它解決了RNN會(huì)梯度消失的問(wèn)題。

LSTM的關(guān)鍵是單元狀態(tài)，它從單元的輸入傳遞到輸出。單元狀態(tài)允許資訊沿著整個(gè)鏈流動(dòng)，僅通過(guò)三個(gè)門進(jìn)行較小的線性動(dòng)作。因此，單元狀態(tài)代表LSTM的長(zhǎng)期記憶。這三個(gè)閘分別稱為遺忘閘、輸入閘和輸出閘。這些門用作過(guò)濾器並控制資訊流並確定保留或忽略哪些資訊。

遺忘門決定了應(yīng)該保留多少長(zhǎng)期記憶。為此，使用了一個(gè)sigmoid函數(shù)來(lái)說(shuō)明單元狀態(tài)的重要性。輸出在0和1之間變化，0即不保留任何資訊；1則保留單元狀態(tài)的所有資訊。

輸入門決定將哪些資訊加入單元狀態(tài)，從而添加到長(zhǎng)期記憶中。

輸出閘決定單元狀態(tài)的哪些部分建置輸出。因此，輸出門負(fù)責(zé)短期記憶。

總的來(lái)說(shuō)，狀態(tài)透過(guò)遺忘閘和輸入閘更新。

LSTM的優(yōu)點(diǎn)

LSTM的優(yōu)點(diǎn)類似於RNN，主要優(yōu)點(diǎn)是它們可以捕捉序列的長(zhǎng)期和短期模式。因此，它們是最常用的RNN。

LSTM的缺點(diǎn)

由於結(jié)構(gòu)更複雜，LSTM的計(jì)算成本更高，導(dǎo)致訓(xùn)練時(shí)間更長(zhǎng)。

由於LSTM也使用時(shí)間反向傳播演算法來(lái)更新權(quán)重，因此LSTM有反向傳播的缺點(diǎn)，如死亡ReLu單元、梯度爆炸等。

門控循環(huán)單元(GRU)

#與LSTM類似，GRU解決了簡(jiǎn)單RNN的梯度消失問(wèn)題。然而，與LSTM的不同之處在於GRU使用較少的門並且沒(méi)有單獨(dú)的內(nèi)部記憶體，即單元狀態(tài)。因此，GRU完全依賴隱藏狀態(tài)作為記憶，導(dǎo)致更簡(jiǎn)單的架構(gòu)。

重置門負(fù)責(zé)短期記憶，因?yàn)樗鼪Q定保留和忽略多少過(guò)去的資訊。

更新門負(fù)責(zé)長(zhǎng)期記憶，可與LSTM的遺忘門相媲美。

目前時(shí)間步的隱藏狀態(tài)是基於兩個(gè)步驟確定的：

首先，確定候選隱藏狀態(tài)。候選狀態(tài)是當(dāng)前輸入和前一時(shí)間步的隱藏狀態(tài)以及激活函數(shù)的組合。前一個(gè)隱藏狀態(tài)對(duì)候選隱藏狀態(tài)的影響由重置閘門控制。

第二步，將候選隱藏狀態(tài)與上一時(shí)間步的隱藏狀態(tài)結(jié)合，產(chǎn)生目前隱藏狀態(tài)。先前的隱藏狀態(tài)和候選隱藏狀態(tài)如何組合由更新閘決定。

如果更新閘門給出的值為0，則完全忽略先前的隱藏狀態(tài)，目前隱藏狀態(tài)等於候選隱藏狀態(tài)。如果更新門給出的值為1，則相反。

GRU的優(yōu)勢(shì)

由於與LSTM相比有著更簡(jiǎn)單的架構(gòu)，GRU的運(yùn)算效率更高，訓(xùn)練速度更快，只需要更少的記憶體。

此外，GRU已被證明對(duì)於較小的序列更有效。

GRU的缺點(diǎn)

由於GRU沒(méi)有單獨(dú)的隱藏狀態(tài)和細(xì)胞狀態(tài)，因此它們可能無(wú)法像LSTM一樣考慮過(guò)去的觀察結(jié)果。

與RNN和LSTM類似，GRU也可能遭受反向傳播及時(shí)更新權(quán)重的缺點(diǎn)，即死亡ReLu單元、梯度爆炸。

以上是探究RNN、LSTM和GRU的概念、區(qū)別和優(yōu)劣的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！