什么？在想LSTM的事？

在t时刻，LSTM有三个输入（都是向量）：

• x_t（当前时刻的输入）
• h_{t-1}（上一时刻的输出）
• c_{t-1}（上一时刻的单元状态，LSTM重要的部分）

两个输出：

• h_t（当前时刻的输出）
• c_t（当前时刻的单元状态）

门

**门实质上是一层全连接层，输入为一个向量，输出范围为 **(0,1)的实数向量。

大概的表示： g(x) = σ(Wx+b)

门的作用大概是控制能通过多少输入向量，实现方法是将门输出的向量与原输入向量做点积，如果门输出向量靠近0，那么原输入向量通过的就少，靠近一通过的就多，所以叫门

在接下来对三个门的介绍中可以发现，LSTM中的门都是由 h_{t-1}和 x_t拼接成的向量进行线性变换得到的

• 遗忘门控制要保留多少 c_{t-1}到 c_t
• 输入门控制要保留多少 x_t到 c_t
• 输出门控制要保留多少 c_t到 h_t

遗忘门

遗忘门控制要保留多少 c_{t-1}到 c_t

数学表达： f_t = σ(W_f·Concat[h_{t-1}, x_t] + b_f) ，注意这里的 f_t就是遗忘门，是一个向量，并且经过sigmoid激活后范围限制到 (0,1)

设输入的维度为 d_x，隐藏层的维度为 d_h，单元状态维度为 d_c（通常 d_c = d_h，**下面都写作 **d_h），则 W_f的维度为 d_h × (d_h + d_x) （因为遗忘门控制的是 c_{t-1}，所以维度和单元状态的维度保持一致）

但事实上是 W_f由两个矩阵组成，分别全连接再拼接：

W_{fx} = Matmul((d_h × d_x), (d_x × 1)) = (d_h × 1)

输入门

输入门控制要保留多少 x_t到 c_t

输入门的计算： i_t = σ(W_i·Concat[h_{t-1},x_t]+b_i) ，这里的 i_t就是输入门

i_t的维度： d_h × 1 （向量）

接下来，再计算出当前输入的单元状态 \widetilde{c}_t：

\widetilde{c}t = tanh(W_c·Concat[h{t-1}, x_t] + b_c)

\widetilde{c}_t的维度： d_h × 1 （向量）

这是纯由当前输入和上一层输出计算出来的

接下来计算当前单元状态 c_t：

c_t = f_t ∘ c_{t-1} + i_t ∘ \widetilde{c}_t

c_t的维度： d_h × 1 （向量）

这里体现了将门向量与原向量点积

至此当前单元状态 c_t计算完毕。

输出门

输出门控制要保留多少 c_t到 h_t

o_t = σ(W_o · Concat[h_{t-1}, x_t] + b_o)

o_t的维度： d_h × 1 （向量）

计算最终输出 h_t：

h_t = o_t ∘ tanh(c_t)

我也不知道这部分起什么副标题

c_t = f_t ∘ c_{t-1} + i_t ∘ \widetilde{c}_t

从此式可以看出：单元状态的本质是上一个单元状态经过遗忘门后再加上输入的单元状态，所以整体的变化不会太大，也符合单元状态的长期特征，

而相比之下， h_t的变化就大得多

联系实际（Pytorch）

关于实际应用中pytorch的几个参数：

• input_size ，即输入数据的特征维数，上文的 d_x
• hidden_size ，即隐藏层的维数，上文的 d_h，注意这里只是指LSTM输出的维数，而不是最终的，实践中后面可以加一层全连接之类的
• num_layers ，即循环神经网络层数（竖直方向堆叠）， 前一层的隐藏输出向量，对应下一层的输入向量 偷了张图可能会更直观些：