<font color=blue> BP算法 </font>
M-P神经元模型
在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值与神经元的阈值进行比较，然后通过"激活函数" 处理以产生神经元的输出。
激活函数
阶跃函数：
阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。
激活函数：
sigmoid函数的主要优点是平滑，在每个x上都存在倒数。
BP算法（反向传播算法）
思想：先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果；然后计算输出层的误差，再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来对连接权和阈值进行调整。该迭代过程循环进行，直到达到某些停止条件为止。
BP算法的核心
BP算法中核心的数学工具就是微积分的链式求导法则
z是y的导数且可导，y是x的函数且可导，则
$\frac{{\partial z}}{{\partial x}} = \frac{{\partial z}}{{\partial y}} \cdot \frac{{\partial y}}{{\partial x}}$
BP算法的推导
整个算法的伪代码如下：
网友评论