美文网首页
机器学习---感知机的理解

机器学习---感知机的理解

作者: amazingu | 来源:发表于2017-04-09 21:44 被阅读243次

感知机是一种线性分类,属于判别式模型,在机器学习中还有一种是生成式模型(generative model)。感知机以及其对偶形式是神经网络和支持向量机的基础。下面我将具体介绍感知机的原始形式及其对偶形式:

一、原始形式

感知机的要求就是找得一个超平面S,超平面的表达式为S=Wx+b,因此我们可以将任务简化成找到参数W和b即可。

原始形式很容易理解,具体的参见李航教授的《统计学习基础》。,最小化损失这个函数,文中采用的随机梯度下降(SGD),每次选取一个误分类点进行修改权值。算法形式很简单,

二、对偶形式

对偶形式的定义,不在此多讲。具体来看书中的算法

一开始的时候 ,我也感到很耐们,主要困惑的点在于以下两个方面:

1.为什么权重可以表示成ayx的形式,

2.为什么进行迭代的时候 ,只需要修改阿尔法a的值。

下面就来简单的说说我的理解:

感知机的模型很简单,简而言之就是一开始的时候不管原始数据分布,假设数据分布为二维,那么我们先画一条直线,然后观察哪一点在这条直线(即超平面)的划分下是不正确的,只要有一点不满足分类结果,OK,我们就针对这一点进行调整参数,这就是进行了一轮迭代。下面我们来看一下具体的过程,一开始的权重值为w=0,b=0,因此假设找到了划分不正确的某一点(Xi,Yi),那么权重调整的结果就是(nXiYi,nYi),因此第二轮迭代之后,找到了另外一点不符合分类结果的数据,就要继续调整,调整过程无非是加上或者减去相应的学习率乘以相应的坐标点。

这就是原始形式,那么这样的算法过程有什么缺点以及该怎么优化呢?这才是我们感兴趣的地方。缺点在于每次迭代过程必须用所有的点和权重参数做乘法,来判断是否符合分类结果。因此这就出现了重复计算的问题。

因此感知机的对偶形式就是对所有的参数点进行内积操作,将其结果保存在一个名为gram矩阵中,那么权重的判断只需要调用相应的索引值即可,并且权重的数值可以用参数点的线性组合表示。每次出现不符合结果的参数电,只需对这个点前面的数值(即a)进行修改,具体的就是加上相应的学习率。这就能够简化计算了。

因此这就是我对于感知机的原始形式和对偶形式的理解。

相关文章

  • 机器学习---感知机的理解

    感知机是一种线性分类,属于判别式模型,在机器学习中还有一种是生成式模型(generative model)。感知机...

  • 反馈神经网络

    1、Reference 多层感知机MLP(机器学习5)多层感知机原理详解 & Python与R实现深度学习笔记——...

  • 机器学习-逻辑回归推导

    逻辑回归在机器学习中属于比较常见的模型,它由感知机模型发展而来。刚学习机器学习的时候,看到感知机这个名字好奇怪,为...

  • 机器学习 - 感知机

    1.感知机模型 1.1感知机定义 假设输入空间(特征空间)是,输出空间是,输入表示实例的特征向量,对应于输入空间特...

  • 机器学习_感知机

    近期,打算重温机器学习算法,之前看过之后就忘了,没有达到真正的消化,这次以思考总结和代码实践为主,发现一些不懂问题...

  • CH2 感知机|2.1感知机模型&2.2学习策略《统计学

    文章原创,最近更新:2018-06-21 1.感知机模型2.学习策略 参考链接:1、 机器学习十七:感知机 前言:...

  • 统计学习方法笔记(第二章个人笔记)

    统计学习方法笔记(第二章个人笔记) 标签: 机器学习深度学习 感知机(P25) 感知机是神经网络与支持向量机的基础...

  • 机器学习(一)-感知机

    形象描述感知机 感知机(Perception)是神经网络和 SVM(支持向量机)的基础,是一种二分类的线性分类模型...

  • 机器学习之感知机

    一、定义 感知机是Frank Rosenblatt在1957年就职于Cornell航空实验室(Cornel...

  • 【统计机器学习】感知机

    开始记录机器学习中的传统算法。图片来自http://www.guokr.com/blog/793310/https...

网友评论

      本文标题:机器学习---感知机的理解

      本文链接:https://www.haomeiwen.com/subject/wxkjattx.html