美文网首页
最大似然法求解Softmax回归

最大似然法求解Softmax回归

作者: deBroglie | 来源:发表于2019-03-28 20:22 被阅读0次

概念

Softmax回归就是k分类的逻辑回归。

建模

1）假设目标变量\small{y}服从\small{k}项式分布\small{(\phi_1, \cdots, \phi_{k-1})}：\small {\begin{eqnarray} p(y; \phi_1, \cdots, \phi_{k-1}) = \phi_{0}^{ \mathbf{1} \{ y = 0 \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y=k-1 \} } \\ = (1 - \sum_{j=1}^{k-1} \phi_{j})^{1 - \sum_{j=1}^{k-1} \mathbf{1} \{ y = j \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y = k-1 \} } \end{eqnarray} } 这里我们也用到了和最大似然求解k分类GDA模型中相同的指示函数\small{ \mathbf{1} \{ \cdot \}}。
2）将以上\small{k}项式分布写为指数族分布形式。定义\small{T(y) \in \mathbb{R}^{k-1}}满足\small{[T(y)]_{i} = \mathbf{1} \{ y = i \} , i=1,\cdots,k-1}，同时定义\small{T(0) = (0,\cdots,0)^{T} \in \mathbb{R}^{k-1} }。\small{ \begin{eqnarray} &p(y; \phi_1, \cdots, \phi_{k-1}) = \phi_{0}^{ \mathbf{1} \{ y = 0 \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y=k-1 \} } \\ =& (1 - \sum_{j=1}^{k-1} \phi_{j})^{1 - \sum_{j=1}^{k-1} \mathbf{1} \{ y = j \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y = k-1 \} } \\ =& \end{eqnarray} } 根据广义线性模型，\small{h(\vec{x})=E(y|\vec{x})}

未完待续

相关文章

网友评论

      本文标题：最大似然法求解Softmax回归

      本文链接：https://www.haomeiwen.com/subject/tcnzvqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|最大似然法求解Softmax回归|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！