LDA

作者: 预眸丶 | 来源:发表于2021-03-24 22:56 被阅读0次

线性鉴别判定LDA

LDA的核心在于对有标签的类进行判别,属于有监督的机器学习算法。其核心在于获得类内散布矩阵和类间散布矩阵。获得两个矩阵后,我们要对他们进行降维(1维)投影,而此时的投影要求类内散布矩阵尽可能的小,而类间散布矩阵尽可能的大,这才能更好的分辨开类与类。

故而我们的目标函数则是J = \frac{w^TS_{b}w }{w^TS_{w}w } ,要使J尽可能的大。而如何确定w,观察得到上下都是关于w的二次项,故而解与w的大小无关,只与方向有关。此时我们可以令w^TS_{w}w = 1,则式子变为求max(w^TS_{b}w)即min(-w^TS_{b}w)。通过拉格朗日乘子法则式子变为:S_{b}w=\lambda S_{b}wS_{b}w = \lambda (u_{0}-u_{1}),则 w = S_{w}^- (u_{0}-u_{1}) S_{w}^- 一般使用奇异值SVD获得。

相关文章

网友评论

    本文标题:LDA

    本文链接:https://www.haomeiwen.com/subject/rrykhltx.html