SVM初识

涉及 ：  间隔

             软间隔 

            拉格朗日乘子法 (利用引入参数，并利用参数与待求的未知数的等式关系解出)   

             又因为 min （max（））问题  用到KTT 推出强对偶  then  对因子求导并令导数 = 0  得到 因子 值 进而利用 因子与 w  和 b 关系 求出解   

            或利用  QP (SMO)解出 w 和 b  

---->done 

说明  

              满足 KTT   一定能  推出 强对偶   <——> max(min())  等价  与  min (max())

               kTT :(有问题？？？)

1   SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题，其中核函数的引入解决非线性问题是svm的精华之处。

2   svm  是求一个平面（或线）把不同样本分开 并且要求 该平面的鲁棒性好即性能最优

       即  求两个条最近边界（min）的之间的最大距离（max)    

     其中位于最近边界上的点称为支持向量该点满足  w*x+b=1(不为0) ，相应的不在最近边界的点满  足w*x+b=0    如图两条虚线为所谓的最近边界

3     最近(min)边界的距离为  r =   w 是 待求 平面的法向量

     目标函数为  r    

      其中满足的约束条件  ： 是     a  如果 w*x +b > 0 则为正样本 即yi =1 ；如果w*x +b < 0 则 为负样本即yi =-1   ；总的来说 就是 yi *(w*x +b) >= 1 >0  (1)   说明 让（1）式大于1  是运用了不等式放缩的思想 。 

r =  (-)  *   (其中  ）为正负样点  代入 约束条件  yi *(w*x +b) = 1 （支持向量）  ------------》r=   

 4  所以  目标函数为    r = min    (与上面不同是为了下面的求解方便)

               约束              yi *(w*x +b) = 1 

5     引入   拉格朗日乘法 因子

   因为   4 是个 凸二次优化 问题  （目标函数是二次函数 即存在局部最值  且 约束 条件 为 一次函数）  可以   引入   拉格朗日乘法 因子    并且  通过重新建立 目标函数后   该因子 与  待求 w 和b  存在 （线性）关系   如式  M

分别对  w 和 b 求导   得 ：   下式  A  B 

其中    w  是     样本 xi  与  因子     的  线性组合   （yi 为  1  或者 -1   分类问题） 

将   A B  回代   式 M     得

            
     

分析   ： 新建的目标表达式 L   仅    取决于   xi   xj   两点之间的点乘

在  训练集中     yi *(w*x +b)     0  为 支持向量

                          yi *(w*x +b)  =  0  不为支持向量 （对求w 和  b  没作出任何贡献）

在 测试集中     yi *(w*x +b) >  0   则  x  属于  正样本

                       yi *(w*x +b) < 0  则  x 属于 负样本

后续

         软间隔  

          核函数

          应用实例（书 和 网上）

          b站白板推 和  唐  的视频  总结  

         还有  svm  的 面试题 

         smo??

        手推SVM ?