昨天听百度的课，发现我居然一直没搞懂链式法则计算反向传播的过程，今天专门看了一下，找到一个例子帮助大家学习
我们使用一个简单的逻辑回归的例子
这里绿色是前向计算，褐红色是反向传播。
根据绿色值的设定，整个计算流程就是上面那个逻辑回归表达式，经过一步步运算，最终得到输出结果是0.73，此时如果和真正的结果比较，假如真实结果是1.73，会发现之间存在一个误差1.0
误差有了，需要相应的调整参数，于是我们需要反向传播。
开始反向传播得到过程：
很简单，就是拿 误差乘以导数
error=1，它是经过1/x计算得到的误差，导数f1=-1/x^2，反向传递 注意此时x的值是1.37，是运算前的值，不是运算后的结果值0.73 1X(-1/1.37^2)=-0.53
error=-0.53，它是经过x+1计算得到的误差，导数f2=1，反向传递 -0.53X(1)=f1Xf2=-0.53
error=-0.53，它是经过ex计算得到的误差，导数f3=ex，反向传递 -0.53X(e-1)=f1Xf2Xf3=-0.2
error=-0.2，它是经过-x计算得到的误差，导数f4=-1，反向传递 -0.2X(-1)=f1Xf2Xf3Xf4=0.2
error=0.2，它是经过m1+m2计算得到的误差，它有2个导数，
对m1的导数f51=1，反向传递 0.2X(1)=f1Xf2Xf3Xf4Xf51=0.2
对m2的导数f52=1，反向传递 0.2X(1)=f1Xf2Xf3Xf4Xf52=0.2
error=0.2，它是经过m3+m4 （这里是图中两个红框右边的那个加法操作）计算得到的误差，它有2个导数，
对m3的导数f61=1，反向传递 0.2X(1)=f1Xf2Xf3Xf4Xf51Xf61=0.2
对m4的导数f62=1，反向传递 0.2X(1)=f1Xf2Xf3Xf4Xf51Xf62=0.2
error=0.2，它是经过n1*n2 （这里是图中上面的那个红框的乘法操作）计算得到的误差，它有2个导数，
对n1的导数f71=n2，反向传递 0.2X(-1)=f1Xf2Xf3Xf4Xf51Xf61Xf71=-0.2
对n2的导数f72=n1，反向传递 0.2X(2)=f1Xf2Xf3Xf4Xf51Xf61Xf72=0.4
error=0.2，它是经过n3*n4 （这里是图中下面的那个红框的乘法操作）计算得到的误差，它有2个导数，
对n3的导数f81=n4，反向传递 0.2X(-2)=f1Xf2Xf3Xf4Xf51Xf62Xf81=-0.2
对n4的导数f82=n3，反向传递 0.2X(-3)=f1Xf2Xf3Xf4Xf51Xf62Xf82=-0.6
需要注意的是，误差从输出一层一层往前传播，不可以跳过某些中间步骤，在计算每一步的误差时，需要乘上上一步得到的误差（链式法则，层层相乘）。
至此，我们发现可以根据反向传播，修改参数w0，w1，w2的值，然后继续后续的工作。
在传播过程中，如果某一部分可以直接用一整个函数代替，则可以对整块求导，然后将导数值传到上一步，如下图所示，这仍然符合链式求导法则。
蓝色框内其实就是sigmoid函数，其导数为 f*(1-f)=(0.73x(1-0.73))=0.2，反向传递 1X0.2=0.2
其实在实际过程中，完整的反向传播应该是下图
网友评论