感知机模型

感知器是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

w和b为感知机参数，w为权值（weight），b为偏置（bias）。sign为符号函数：

点到超平面的距离

假设点x′x′为超平面A:A: w^Tx + b = 0上的任意一点, 则点xx到AA的距离为x−x′，x−x′在超平面法向量w上的投影长度:

d = \frac {|w^T(x-x')|}{||w||} = \frac {|w^Tx + b|}{||w||}

超平面的正面与反面

一个超平面可以将它所在的空间分为两半, 它的法向量指向的那一半对应的一面是它的正面, 另一面则是它的反面.

感知机学习策略：

1.线性可分性：

对于一个数据集：T={(x1,y1),(x2,y2).....(xn,yn)}  xi属于X，yi属于Y属于{+1，-1}，i=1,2,3......n；如果存在超平面S w*x+b=0 能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有yi=+1的实例i，都有w*xi+b>0; 对于所有yi=-1的实例i，都有w*xi+b<0；则称数据集T为线性可分数据集，否则为线性不可分；

2. 感知机策略

假设训练数据集是线性可分的，感知机学习的目标就是求得一个能够将训练数据集中正负实例完全分开的分类超平面，为了找到分类超平面，即确定感知机模型中的参数w和b，需要定义一个损失函数并通过将损失函数最小化来求w和b。

这里选择的损失函数是误分类点到分类超平面S的总距离。输入空间中任一点x0到超平面S的距离为：

其中，||w||为w的L2范数。

explain：

范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

x 的 0 范数：x 到零点的汉明距离

x 的 1 范数：x 到零点的曼哈顿距离

x 的 2 范数：x 到零点的欧氏距离

...

x 的 n 范数：x 到零点的 n 阶闵氏距离

x 的无穷范数：x 到零点的切比雪夫距离

假设误分类点集合为M，则误分类点到超平面S的总距离为：

损失函数即为不考虑1/||W||的集合。