Logistic Regression&softmax分

Logistic Regression分类器（LR classifier）

Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分类的概率信息。

1.两类Logistic回归

且在前面的二类问题中可以证明：

Softmax:

（注意：公式19没有看懂？？？是它错了应该是：）

Softmax分类器

2.1 softmax函数的定义

同样，我们贴一下wiki百科对softmax函数的定义：

softmax is a generalization of logistic function that "squashes"(maps) aKK-dimensional vectorzzof arbitrary real values to aKK-dimensional vectorσ(z)σ(z)of real values in the range (0, 1) that add up to 1.

这句话既表明了softmax函数与logistic函数的关系，也同时阐述了softmax函数的本质就是将一个KK维的任意实数向量压缩（映射）成另一个KK维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。

softmax函数形式如下（与logistic表面上不一样，但是其对数好像与都成正比）：

softmax函数经常用在神经网络的最后一层，作为输出层，进行多分类。

3. logistic和softmax的关系

1）logistic具体针对的是二分类问题，而softmax解决的是多分类问题，因此从这个角度也可以理解logistic函数是softmax函数的一个特例。