美文网首页
逻辑回归

逻辑回归

作者: 水星no1 | 来源:发表于2018-09-28 01:21 被阅读0次

逻辑回归：

公式

  • \hat{y} = \sigma( W^TX+b )
  • \hat{y} = \sigma(\theta^TX) \theta_0=b, X_0=1

where \sigma = \frac{1}{1+e^{-z}}
X \in R^{n\times m}
\hat{y} \in R^{1\times m }
W \in R^{n \times 1}
b \in R^{1\times m}

loss函数

  • loss= \frac{1}{2}(\hat{y}-y)^2 非凸函数，容易造成局部最优
  • log(loss) = -( ylog(\hat{y}) + (1-y)log(1-\hat{y})))
    y=1 : P( \hat{y} | X) = \hat{y}
    y=0 : P( \hat{y} | X) =1-\hat{y}
    loss = - \hat{y}^{y} (1-\hat{y})^{1-y}
    log(loss)
    Minimizing the loss corresponds with maximizing logp(y|x).

cost函数

cost = \frac{1}{m}\sum_{i=1}^{m} loss(y, \hat{y})

梯度下降

from ng image.png

梯度下降，非向量化算法

image.png

loss 对\hat{y}求导数

d_{\hat{y}} = -\frac{y}{\hat{y}} + \frac{1-y}{1-\hat{y}}

\sigma 对\hat{y}导数

d\sigma=\hat{y}(1-\hat{y})

相关文章

  • 机器学习day7-逻辑回归问题

    逻辑回归 逻辑回归，是最常见最基础的模型。 逻辑回归与线性回归 逻辑回归处理的是分类问题，线性回归处理回归问题。两...

  • ML03-逻辑回归（下部分）

    本文主题-逻辑回归（下部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

  • ML02-逻辑回归（上部分）

    本文主题-逻辑回归（上部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

  • 逻辑回归模型

    1.逻辑回归介绍2.机器学习中的逻辑回归3.逻辑回归面试总结4.逻辑回归算法原理推导5.逻辑回归(logistic...

  • Task 01|基于逻辑回归的分类预测

    知识背景 关于逻辑回归的几个问题 逻辑回归相比线性回归，有何异同？ 逻辑回归和线性回归最大的不同点是逻辑回归解决的...

  • 11. 分类算法-逻辑回归

    逻辑回归 逻辑回归是解决二分类问题的利器 逻辑回归公式 sklearn逻辑回归的API sklearn.linea...

  • 机器学习100天-Day4-6逻辑回归

    逻辑回归（Logistic Regression） 什么是逻辑回归 逻辑回归被用于对不同问题进行分类。在这里，逻辑...

  • SKlearn_逻辑回归小练习

    逻辑回归 逻辑回归（Logistic regression 或logit regression），即逻辑模型（英语...

  • R glm

    R 逻辑回归 R 怎么做逻辑回归

  • 逻辑斯蒂回归在二分类中的应用

    逻辑回归简介 逻辑斯蒂回归（logistic regression，又称“对数几率回归”）是经典的分类方法。逻辑斯...

网友评论

      本文标题：逻辑回归

      本文链接：https://www.haomeiwen.com/subject/xyssoftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|逻辑回归|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！