3.3 循环神经网络

3.3.1 基础循环神经网络

循环神经网络（Recurrent Neural Network，RNN） ^[74] 是以序列数据作为输入，所有神经节点按照链式连接的递归神经网络，其基本结构如图3-11所示。图中， X 表示输入向量； S 表示隐藏层的值； O 表示输出向量； U 表示输入层到隐藏层之间的权重矩阵； V 表示隐藏层到输出层之间的权重矩阵； W 表示相邻隐藏层之间的权重矩阵。左侧可以按照时间线展开得到右边的结构形式，每个时间节点只与相邻的时间节点进行关联，同时连接权重在不同时刻能共享参数，即不同时刻的连接权重相同。因此， S _t 不仅取决于 X _t 还取决于 S _{t -1} 。

循环神经网络在训练过程中，输出层与隐藏层的数学描述为

式中， f （ · ）与 g （ · ）表示激活函数。

在循环神经网络中，输出层可以看作全连接层，与隐藏层之间的节点相连，式（3-8）为输出层的计算公式，式（3-9）为隐藏层的计算公式。将式（3-9）重复带入式（3-8）得到

3.3.2 双向循环神经网络

在循环神经网络结构中，隐藏层状态的传输是前向的。双向循环神经网络 ^[75] （Bi-directional Recurrent Neural Network，BRNN）是为了解决当前时刻的输出与前一时刻的单元状态及与下一时刻的单元状态有关的问题。双向循环神经网络结构由两个循环神经网络叠加在一起，其基本结构如图3-12所示。