什么是回归?
与我们想要预测的目标变量y有关,y可以是连续型变量,例如预测未来的房价;y可以是分类型变量,比如预测鸢尾花的类型。
一元线性回归:只用一个特征x来预测y,寻找一条直线,最大程度地“拟合”样本特征x与目标变量y之间的关系,即:y = ax + b。
多元线性回归:
image.png
损失函数(最小二乘法):
image.png
梯度下降法:梯度代表方向,对应J增大最快的方向,目标是使损失函数尽可能小
image.png
随机梯度下降法:梯度下降法使用所有的样本量,而随机梯度下降法随机选取一个样本量。
模型的评价指标:
(1)均方误差(MSE: Mean Squared Error)
image.png
与样本量无关
(2)均方根误差(RMSE: Root Mean Squared Error)
image.png
开方之后,解决了MSE的量纲问题
(3)平均绝对误差(MAE: Mean Absolute Error)
image.png
(4)R2_score
image.png









网友评论