01 回归算法 - 简介

今天开始将进入机器学习的回归算法部分，首先介绍一下回归部分涉及到的知识点。

一、大纲

1、线性回归

预测连续值的方法。

2、Logistic回归

名曰回归，实际上是处理分类的方法。即处理离散值，是一个二分类的算法。

3、Softmax回归

基于Logistic回归的一种衍生。Logistic回归只能解决二分类的问题，Softmax回归可以解决多分类的问题。

4、梯度下降

梯度下降法是高等数学中的知识点，解决的问题是：对于任意一个目标函数，观测当函数取得极值点时，对应的自变量是多少。
在机器学习中的运用场景是：解决代价函数取得极小值点时，参数θ的取值。

5、Lasso回归

特征抽取、特征选择。

二、什么是回归算法

回归算法是一种有监督的算法。（有预测目标）

回归算法是一种用来构建自变量和应变量之间关系的算法，在机器学习中，应变量是目标值，自变量是特征。回归算法最后得到的是一组特征前的系数，使模型能够尽可能拟合造物主公式。

三、一维到N维

1、一维模型

现在拥有一组房屋面积及其对应房价的数据（ x₁ =100，房子100平方米。）我们要预测面积和价格的映射关系，构建如下模型：
h(x) = θ₀ + θ₁x₁

h(x) 为房价，x₁ 为房屋面积，根据大量的数据求出θ₀和θ₁的值，于是能够构建出一条直线。

如果此时将测试集中的数据投入到模型中，如果模型构建的比较好，可以看到测试集中所有(面积，价格)的点会均匀分布在直线的上下两侧，而且离的直线距离不会太远 (说明方差较小) 。如果测试集中的数据大量分布在直线的上方，或离直线的距离普遍较远，那么说明模型质量不高，需要重新训练。

2、二维模型

在面积的基础上，增加房间数量这一变量（ x₁ =100，房子100平方米。x₂=3，有三个房间。）

h(x) 为房价，根据大量的数据求出 θ₀、 θ₁、 θ₂的值，于是能够构建出一个平面。我们要预测面积、房间个数和房价的映射关系，构建如下模型：
h(x) = θ₀ + θ₁x₁ + θ₂x₂

从Y轴向下俯视该平面，可以获得该平面在x₁、 x₂两坐标轴上的投影。同样，由(x₁、 x₂)点衍生到平面上后，对应的Y轴值即是对应的房价值y或记作h(x) 。

3、n维模型
如果有1个特征，我们得到了一条直线模型。
如果有2个特征，我们得到了一个平面。
如果有2个以上的特征呢？
2个特征形成的平面，结合目标值构成了一个三维的图像，对于更高维度的思维结构人类是无法想象出来的。
对于两个以上特征形成的n维模型，我们称之为超平面(Hyperplane)
模型：
h(x) = θ₀ + θ₁x₁ + θ₂x₂ + … + θ_nx_n
h(x) = Σ θ_ix_i（ i=0~n ）
h(x) = θ^TX = [θ₁,θ₂,θ₃,…,θ_n] * [x₁,x₂,x₃,…,x_n]^T 即θ矩阵的转置，乘以X的矩阵。
PS：之前提到过，所有特征默认都是列向量，所以上面这个向量的乘法和转置符号的位置没有写错。

4、总结
线性回归的表现形式为：h(x) = θ^TX
最终要求计算出 θ的值，并选择最优的θ值构成算法公式。

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。