对于逻辑回归而言，如果没有偏置项 b，那么就只能在空间里画过原点的直线/平面/超平面。这时对于绝大部分情况，比如下图，要求决策面过原点的话简直是灾难。
因此，对于逻辑回归来说，必须要加上这个偏置项b，才能保证分类器可以在空间的任何位置画决策面（必须画直的，不能弯，嘤…）。
同样的道理，对于多个逻辑回归组成的神经网络，更要加上偏置项b了。但是想一想，如果隐层有3个节点，那就相当于有3个逻辑回归分类器啊。这三个分类器各画各的决策面，那一般情况下它们的偏置项b也会各不相同的呀。比如下面这个复杂的决策边界就可能是由三个隐层节点的神经网络画出来的：
那如何机智的为三个分类器(隐节点)分配不同的b呢？或者说如果让模型在训练的过程中，动态的调整三个分类器的b以画出各自最佳的决策面呢？
那就是先在X的前面加个1，作为偏置项的基底，（此时X就从n维向量变成了n+1维向量，即变成 [1, x1,x2…] ），然后，让每个分类器去训练自己的偏置项权重，所以每个分类器的权重就也变成了n+1维，即[w0,w1,…]，其中，w0就是偏置项的权重，所以1*w0就是本分类器的偏置/截距啦。这样，就让截距b这个看似与斜率W不同的参数，都统一到了一个框架下，使得模型在训练的过程中不断调整参数w0，从而达到调整b的目的。
所以，如果你在写神经网络的代码的时候，要是把偏置项给漏掉了，那么神经网络很有可能变得很差，收敛很慢而且精度差，甚至可能陷入“僵死”状态无法收敛。因此，除非你有非常确定的理由去掉偏置项b，否则不要看它小，就丢掉它哦。
网友评论