最近做毕设读论文读得心累，很多论文公式一堆提升逼格，很多想法也不具普适性，好像大家都在各玩各的。
前两日看到知乎一个问题 如何评价深度学习文章平台Distill？，好奇点进一看究竟。啊真是通透易懂，平易近人。因为最近在研究Reservoir Comuting和ESN的东西，就着重看了一下RNN一块，做个小笔记。
Recurrent Neural Networks
人类的认知是连续的，认知事物总有先前经验，不会将所有事都重新思考。RNN是一种能让信息暂存的神经网络，它有loops，loop能够将信息不断往下一个网络状态传。
LSTM是一种特殊的RNN，表现突出。
The Problem of Long-Term Dependencies
比如说要预测 “the clouds are in the ___”，这个填空很简单肯定是sky，这是RNN能做的一件对过去信息需求量(通俗地说就是经验)比较小的事情。但是如果对过去信息需求量大的话，RNN表现不太好。但是LSTM就超棒der。
LSTM Networks
LSTMs are explicitly designed to avoid the long-term dependency problem.
标准RNN的循环模块只有单层
LSTM的循环模块有四个相互作用层
根据LSTM的模型图，\sigma 是介于0~1之间，决定保留多少信息来保障cell的状态，决定每个状态下的输出。
涉及到具体公式就不往下写了。这是一篇为了让爸妈看懂我在干啥的小笔记～
网友评论