第三章 线性模型

3.1 基本形式

给定由d个属性的示例x=，其中是x在第i个属性上的取值，线性模型试图学习一个通过属性的线性组合来进行预测的函数：
​
或者
​
其中.

3.2 线性回归

给定数据集,其中,线性回归试图学得：

我们采用均方误差作为回归任务的性能度量，即

基于均方误差最小化求解的方法称为“最小二乘法"[c++实现]，对w和b求导：


令（3.5）和（3.6）为零可得到w和b的最优解的闭式解


其中为x的均值
类似的，对于“多元线性回归”同样可以用最小二乘法求解

3.3 对数线性回归

我们可以把线性回归模型写成，其中y代表由模型预测出的值，如果我们使模型去预测y的衍生物，例如

这就是“对数线性回归”，实际上就相当于让逼近y，实质上是输入空间的线性组合对输出空间的一个映射，即

以上都在进行回归学习，如果要进行分类的话，例如二分类任务，其输出标记为，如果要将转换为0/1值，可以用阶跃函数：

如图所示：

单位阶跃函数与对数几率函数.PNG

但阶跃函数不连续，于是我们用一个“替代函数”，例如对数几率函数：

上式可以写为

其中，y表示x为正例的概率，1-y为x为反例的概率，则称为“几率”，为“对数几率”