特点：主要用于解决回归问题，线性回归是许多强大非线性模型的基础(多项式回归，逻辑回归，SVM，神经网络...本质都是线性回归的拓展，寻找最优参数)，其结果具有很好的可解释性。
假设样本特征与样本输出标记之间存在线性关系，那么就可以寻找一条直线来最大程度拟合它们之间的关系。
① 简单线性回归：样本特征只有一个的回归拟合();
② 多元线性回归：多样本特征与样本输出标记之间的回归拟合。
1、简单线性回归简介
假设样本特征与样本输出标记之间存在线性关系，这个线性关系由最佳拟合的直线方程所表示，则对于每个样本点
，就有预测值
,其真值为
。样本点
与
的差距可由
所表示，但 绝对值函数
并非处处可导，对于寻找函数的极值点很不方便。从而使用任意点可导的二次函数
来度量真值与预测值的差异更好，考虑所有样本则有
。在寻找最优拟合直线的时候，目标就是使得所有样本真值与预测值的差距
尽可能小。
一类机器学习算法的基本思路:
找到参数值，使真值与预测值的差距尽可能
以上函数又称 损失函数(loss function)，描述的是模型没有拟合到样本的部分，也就是损失的部分。与之相对的是效用函数(utility function)，效用函数描述的是拟合上的程度。所有参数学习的套路：通过分析问题，确定问题的损失函数或效用函数；通过最优化损失函数(尽可能小)或者效用函数(尽可能大)，获得机器学习的模型。这个套路可在《最优化原理》《凸优化》中系统学习。
2、最优化损失函数
2.1 最小二乘(平方)法求简单线性回归的参数
对于二元二次形式的损失函数
，损失函数里变量分别是
和
，它们都对应一个开口向上的二次函数，使得损失函数最小也就意味着这个二元函数取其极小值，开口向上的二次函数的极小值在其导数为零的点取得。所以通过求偏导的形式可得
取极小值对应的
:
可解得
2.2 最小二乘(平方)法求简单线性回归的python实现
class SimpleLinearRegression:
def __init__(self):
"""初始化 Simple Linear Regression 模型"""
self.a_= None
self.b_ = None
def fit(self,x_train,y_train):
"""根据训练集x_train,y_train训练 Simple Linear Regression 模型"""
assert x_train.ndim == 1, "Simple Linear Regressor can only solve single feature tarining data."
assert len(x_train) == len(y_train), "the size of x_train must be equal to the size of y_train"
x_mean = np.mean(x_train)
y_mean = np.mean(y_train)
num = (x_train - x_mean).dot(y_train - y_mean) ### 参数a的分子部分的向量化运算
d = (x_train - x_mean).dot(x_train - x_mean) ### 参数a的分母部分向的量化运算
self.a_ = num/d
self.b_ = y_mean - self.a_ * x_mean
return self
def predict(self,x_predict):
"""给定待预测数据集x_predict，返回表示x_predict的结果向量"""
assert x_predict.ndim == 1," Simple Linear Regressor can only solve single feature training data."
assert self.a_ is not None and self.b_ is not None, "must fit before predict!"
return np.array([self._predict(x) for x in x_predict])
def _predict(self,x_single):
"""给定单个x_single,返回x的预测结果值"""
return self.a_ * x_single + self.b_
def __repr__(self):
return "SimpleLinearRegression()"
### 方法调用
x = np.random.random(size = 1000)
y = 2.0 * x + 3.0 + np.random.normal(size = 1000)
reg = SimpleLinearRegression()
reg.fit(x,y)
reg.predict(x_predict)
reg.a_
reg.b_
网友评论