长短记忆神经网络

作者: JLGao的简书 | 来源:发表于2020-04-30 18:46 被阅读0次

长短记忆神经网络
循环神经网络进阶
Pytorch学习之LSTM预测航班
TensorFlow 实战Google深度学习框架（第2版）第八
LSTM(长短期记忆人工神经网络)实现
使用LSTMs时间序列预测北京雾霾
深度学习资源链接
第六章（1.7）深度学习实战——用lstm做小说预测
RNN和LSTM弱！爆！了！注意力模型才是王道
第三次打卡-2020-02-16

长短记忆神经网络定义

长短记忆神经网络（Long-short term memory, LSTM）是一种特殊的RNN结构。该神经网络可以有效保留历史信息，实现对文本的长期依赖信息进行学习。

关键问题：控制长期状态信息

图1. 长期状态信息 C 的控制

解决方法：门控开关

门的定义：使用门（Gate）实现对图1中开关的控制。所谓的门，即全连接层的一个神经元，如图2所示。门的激活有两种形式： $sigmod$ 和 $tanh$

图2. sigmod或tanh激活单元

门控实现：LSTM网络由输入门 $(input \ gate)$ 、遗忘门 $(forget \ gate)$ 、输出门 $(output \ gate)$ 和一个记忆单元 $(cell)$ 来实现历史信息的更新和保留，如图3所示。

图3. LSTM记忆单元

门限开关控制
遗忘门 $f_t$ ：决定保留多少上一时刻单元状态信息 $c_{t - 1}$ 到当前时刻的记忆单元 $c_{t}$ 中。
${f_t} = sigmoid\left( {{W_f} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_f}} \right).$
输入门 $i_t$ ：决定保留多少当前时刻的输入信息 $x_t$ 到当前时刻的记忆单元 $c_{t}$ 中。
${i_t} = sigmoid\left( {{W_i} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_i}} \right).$
输出门 ${o_{t}}$ ：决定控制多少当前时刻的记忆单元 $c_{t}$ 的输出值 ${o_t}$ 。
${o_t} = sigmoid\left( {{W_o} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_o}} \right).$
状态更新
当前时刻 $cell$ 候选状态值 ${c_{in}}$ （中间状态）：
${c_{in}} = \tanh \left( {{W_c} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_c}} \right).$
当前时刻长期状态值 ${c_t}$ 更新：
${c_t} = {f_t} \cdot {c_{t-1}} + {i_t} \cdot {c_{in}}.$
当前时刻输出值
当前时刻LSTM单元的输出值 ${a_{t}}$ 。
${a_t} = {o_t} \cdot \tanh \left( {{c_t}} \right).$

长短记忆神经网络
长短记忆神经网络定义长短记忆神经网络（Long-short term memory, LSTM）是一种特殊的RN...
循环神经网络进阶
几种循环神经网络的变种: 门控循环神经网络 (GRU) 长短记忆 (long short-term memory,...
Pytorch学习之LSTM预测航班
LSTM长短时神经网络预测航班序列本文通过LSTM长短时记忆神经网络，来预测航班信息。库导入导入pytorc...
TensorFlow 实战Google深度学习框架（第2版）第八
第八章：循环神经网络 * 8.1循环神经网络简介* 8.2长短时记忆网络（LSTM）结构* 8.3循环神经网络的变...
LSTM(长短期记忆人工神经网络)实现
简介长短期记忆人工神经网络（Long-Short Term Memory, LSTM）是一种时间递归神经网络(R...
使用LSTMs时间序列预测北京雾霾
翻译自Jason Brownlee博客一、前言神经网络诸如长短期记忆（LSTM）递归神经网络，可以很轻松地对多...
深度学习资源链接
1、感知机 2、线性单元和梯度下降 3、神经网络和反向传播算法 4、卷积神经网络 5、循环神经网络 6、长短时记忆...
第六章（1.7）深度学习实战——用lstm做小说预测
一、简介长短期记忆网络 LSTM（Long-Short Term Memory）是递归神经网络（RNN:Recu...
RNN和LSTM弱！爆！了！注意力模型才是王道
大数据文摘作品编译：晚君、笪洁琼、钱天培循环神经网络（RNN），长短期记忆（LSTM），这些红得发紫的神经网络...
第三次打卡-2020-02-16
学习笔记一、循环神经网络 LSTM 长短期记忆（Long short-term memory, LSTM）是一种...