【深度学习】RNN（循环神经网络）之LSTM（长短时记忆）
1 循环神经网络（RNN）概念循环神经网络，是一种线性序列结构，前一个神经元的结果会传递给后一个神经元。递归神经网络，是一种层次结构，前一个神经元会影响后一个神经元，后一个神经元同样也会影响前一个神经元。循环神经网络是递归神经网络中的一种特殊情况，因为线性结构是层次结构的一种特例。2 RNN结构2.1 误差传播为什么容易消失或放大1）如果采用线性激活函数，误差会被放大；2）如果采用sigmo
·
1 循环神经网络（RNN）概念
循环神经网络，是一种线性序列结构，前一个神经元的结果会传递给后一个神经元。
递归神经网络，是一种层次结构，前一个神经元会影响后一个神经元，后一个神经元同样也会影响前一个神经元。循环神经网络是递归神经网络中的一种特殊情况，因为线性结构是层次结构的一种特例。
2 RNN结构
2.1 误差传播为什么容易消失或放大
1）如果采用线性激活函数，误差会被放大；
2）如果采用sigmoid、双曲正切tanh，误差经过多层之后消失。
数学公式推导，有待学习。
2.2
3 小知识
3.1 循环神经网络
循环神经网络是指，存在这样一种结构，即神经元的输出同时作为下一次该神经元的输入，形成循环。
脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区，共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。
更多推荐
0
0- 0
已为社区贡献6条内容
所有评论(0)