前言：这里是分类问题，之所以放到线性回归的下面介绍，是因为逻辑回归的步骤几乎是和前面一样的，写出目标函数，找到损失函数，求最小值，求解参数，建立模型，模型评估。分类算法，概率模型，返回的是属于这类模型的概率多大，交叉对数损失函数，其微分方程和梯度下降一样
softmax分类，解决数据不平均的问题，提高准确率

Logistic回归

• sogmid函数

  
  image.png
  image.png

• 损失函数函数
  解决二分类问题，训练模型，输出属于该目标值的概率。

  
  image.png image.png
  image.png
  

  损失函数为使得概率函数最大，则损失函数为：

  
  image.png

• 求解过程

  
  image.png
  image.png

softmax回归

解决多分类问题

• 写出概率函数：

  
  image.png
  

  注：为什么用指数函数，为了表示数据的微小变动引起的概率的指数级增大，

• 写出损失函数

  
  image.png
  

  第一求和符号是指m个样本，第二个k是指，一个样本中y=j时所有的样本概率和，为什么用对数函数？因为0-1范围对数变化率大，

• 求导

  
  image.png

• 梯度下降求解参数

  
  image.png