特征选择与稀疏学习 1. 子集搜索与评价 我们将属性称为特征，与学习任务相关的为相关特征，无用的属性为无关特征。从...[作者空间]
降维与度量学习 1 k近邻学习 k近邻学习是一种常用的监督学习算法，工作机制为：给定训练样本，基于某种距离度量找出...[作者空间]
聚类 1 聚类任务 聚类的目标是通过对无标记训练样本的学习来揭示数据内在性质及规律，为进一步的数据分析提供基础。聚...[作者空间]
集成学习 个体与集成 集成学习通过构造多个学习器来完成学习任务。集成学习的构造是先产生一组个体学习器，然后用某种策...[作者空间]
贝叶斯分类器 1 贝叶斯决策理论 概率框架下实施决策的基本方法。其基于已知概率和误差损失来选择最优类别标记。 显然...[作者空间]
支持向量机 1 间隔与支持向量 我们想要找到一个样本空间D中的超平面，将不同类别的样本划分开。这样的超平面有很多，...[作者空间]
神经网络 1 神经元模型 神经网络是由具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真...[作者空间]
决策树 1 基本流程 决策树基于树结构进行决策，决策过程的每个判定问题都是对某个属性的“测试”。 一般的，一棵决策...[作者空间]
线性模型 1 基本形式 线性模型形式简单、易于建模，却蕴含这机器学习的一些重要思想。**许多功能强大的非线性模型可...[作者空间]
模型评估与误差 1 经验误差与过拟合 错误率：m个样本中a个分错，错误率为：E = a/m精度：1 - 错误率误差...[作者空间]
绪论 人类通过经验做出一些判断，在计算机系统中，经验一般以数据的形式存在。因此，机器学习所研究的主要内容是从数据中...[作者空间]
随机梯度下降 神经网络模型 反向传播算法 随机梯度下降 通过多次的随机选择某一个样本进行梯度下降，其均值依然能够反...[作者空间]
非线性转化 逻辑回归 非线性转化 对于线性模型无法区分的数据对象，往往考虑通过映射到高一级的空间来使得数据本身线性...[作者空间]
偏差 - 方差 学习曲线 偏差 - 方差 泛化与近似的权衡 Eout较小时，说明所提出的f与实际相比的近似度较高。...[作者空间]
定义 计算感知器的VC维 VC维的详细解释 将理论泛化为简单形式 定义 假设集合H的VC维记为：dVC(H) ，是...[作者空间]
证明mh(N) 是多项式 证明mh(N) 可以在Hoeffding不等式中代替M 证明mh(N)为多项式 为了证明...[作者空间]
训练与测试 例证 重要概念：断点 训练与测试 以一次期末考试为例： 在测试中：Ein 是考前复习时，与复习资料之间...[作者空间]
在真实数据中，错误与噪音是不可避免的，对于这些问题的处理也同样非常重要。 错误评估 为了衡量模型的总体效果，我们统...[作者空间]
线性分类 以数字识别为例： 对其中的一张图而言（假定为16*16像素），其输入为：x = (x1 ,x2 ,x3,...[作者空间]
前言 在所有的预测问题里面，时间序列预测最让我头疼。 做时间序列预测，传统模型最简便，比如Exponential ...[作者空间]
