逻辑回归的基本原理&深度学习_简版

温故而知新，可以为师也。

至于为什么要加入深度学习的对比，是想通过前沿算法的对比，体现出LR的优势与特点，以及深度学习可以期待的用途。

一、逻辑回归的基本原理

基本概念

odds，事件发生的概率比：，定义，进一步可得。

损失函数

Gradient descent will converge into global minimum only if the function is convex.

Mean squared error（线性回归使用）适用于逻辑回归时，是一个非凸函数，无法取得全局最优，逻辑回归的损失函数定义为：

参数求解（最大似然法）

采用最大似然法求解，对数最大似然最大时，即损失函数最小。

假设有m个观测样本，设为给定条件下得到的概率，则得到一个观测值的概率表示为，得到对数似然函数：

二、实际应用场景

少量样本（不易过拟合）、强调模型解释性的场景（如贷前，监管解释）、性能接近时选择简单的模型。

工业界Facebook使用 XGBOOST（提取特征） + LR（预测） 的方式，好处在于：1、离散化，增强对异常值的鲁棒性，类似于传统评分卡的WOE分箱；2、XGBOOST离散化后进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力。

三、深度学习应用场景

总结：All models are wrong, but some are useful。

四、python代码

略。

附，参考资料：

1、【机器学习算法系列之二】浅析Logistic Regression，https://chenrudan.github.io/blog/2016/01/09/logisticregression.html

2、Logistic Regression — Detailed Overview，https://towardsdatascience.com/logistic-regression-detailed-overview-46c4da4303bc

3、机器学习在信贷风控建模中的优势和挑战，https://zhuanlan.zhihu.com/p/68804254

4、Gradient Descent for Logistic Regression Simplified – Step by Step Visual Guide（废话极多），http://ucanalytics.com/blogs/gradient-descent-logistic-regression-simplified-step-step-visual-guide/