深度学习（六）：前向传播算法和后向传播算法

版权声明:本文为博主原创文章，转载请注明出处，商业转载请联系作者(huxingfei097@163.com)，谢谢合作！

• 前向传播算法
   在神经网络中，信息从上一个神经元直接流转到下一个神经元，直到输出，依据每一个神经元的输入并根据相应规则可以计算出输出，最终得到在当前参数下的损失函数的过程，称为前向传播。  上图所示的神经网络结构前向传播过程计算如下（为简化计算，省略偏置项）：
    隐藏层的输出如下：
      a₁₁ = x₁ • W_1,1⁽¹⁾ + x₂ • W_2,1⁽¹⁾
      a₁₂ = x₁ • W_1,2⁽¹⁾ + x₂ • W_2,2⁽¹⁾
      a₁₃ = x₁ • W_1,3⁽¹⁾ + x₂ • W_2,3⁽¹⁾
    最终输出层的输出如下：
      y^{^} = a₁₁ • W_1,1⁽²⁾ + a₁₂ • W_1,2⁽²⁾+ a₁₃ • W_1,3⁽²⁾
   最终的损失函数计算如下（以均方误差损失函数为例）：
      J_MSE = ½ |y - y^{^}|²
• 反向传播算法
   反向传播算法是在前向传播算法的基础上，从神经网络的输出层向输入层依次计算损失函数对于各个参数的梯度，并在给定学习率下更新相关参数。
   在上面的神经网络中，依据链式求导法则，可以依次求出损失函数对每个参数的导数：
     
     ................
     
        
   其中,...,是损失函数对对应参数求导后得到的梯度（斜率），依据该值即可修正神经网络中的参数：
       
  其中是学习率，即沿着梯度（斜率）的方向更新参数。
   利用前向传播算法和反向传播算法不断更新损失函数的值和参数，直到损失函数下降到指定的阈值（或者最小值），即完成神经网络的训练。
• 算法实例：
   假设如下图的一个神经网络（比上面的要复杂一些）  已知初始值：
   w₁ = 0.1，w₂ = 0.2，w₃ = 0.3，w₄ = 0.4
   w₅ = 0.5，w₆ = 0.4，w₇ = 0.3，w₈ = 0.2
   i₁ = 0.05，i₂ = 0.1
   o₁ = 0.01，o₂ = 0.99
   b₁ = 0.25，b₂ = 0.45
  输入输出固定，需要优化的参数是权重w₁~w₈以及偏置b₁，b₂
  前向传播过程：
   隐藏层计算：
   
   
   输出层计算：
   
   
   损失函数计算：
   
  后向传播过程：
   权重参数导数计算：
   
     
     
   
     
     
   
     
     
   
     
     
   
     
     
   
     
     
   
     
     
   
     
     
   权重计算：
   
            
             
            
             
   
             
             
   以上计算出了在初始权重和偏置的情况下的损失函数，以及损失函数对每个要学习的参数（权重参数和偏置参数）的导数，之后即可按照选定的学习率更新参数，然后不断循环计算损失函数、更新参数直到达到迭代次数或者损失函数达到指定与之或者最小值。更新公式：
   
   

参考资料
 《深度学习》
本系列相关文章
深度学习（五）：机器学习基础
深度学习（四）：数值计算基础
深度学习（三）：概率与信息论基础
深度学习（二）：主成分分析算法
深度学习（一）：线性代数基础

深度学习新手，文章若有疏漏，欢迎及时指正！