什么是机器学习

为了在计算机上解决问题，我们需要算法。算法是指令的序列，把输入变成输出。

然而，对于某些任务，我们没有算法可以实现，例如：没有区分手写数字的算法，每个人写的数字样子可能不一样，因人而异。但是我们可以轻易的获得大量手写数字的样本，也可以通过人工去识别对应的数字。

随着计算机技术的发展，我们已经拥有了存储海量数据以及通过计算机网络从远程站点访问数据的能力。

我们确信存在某种过程，可以解释数据的对应关系，也许不能完全识别这过程，但是应该还是可以构造一个相似的模型。这就是机器学习要做的。

机器学习方法在大型数据库中的应用称为数据挖掘，它不仅仅能够在数据库方面应用，同时也是人工智能的组成部分，同时还可以解决语音和视觉识别等许多问题。

机器学习使用实例数据或者过去的经验来训练计算机，以优化某种性能。我们依赖于某些参数的模型，而学习就是执行计算机程序，利用训练数据或以往经验来优化模型的参数。模型是可以预测的，或者是描述性的。

机器学习在构建数学模型时利用里统计学原理，因为其核心任务就是从样本中学习。同时也要注意模型的可实现性，也就是时间和空间复杂度能够在现实中实现。

非监督学习

在监督学习中，我们的目标是学习从输入到输出的映射关系，其中输出的答案已经确定。但是在非监督学习中，只有输入数据没有与之对应的答案，而我们的目标就是发现输入数据中的规律。在统计学中，称为密度估计。密度估计的一种方法是聚类（clustering），就是对输入数据进行分类。

增强学习

在某些应用中，系统的输出是动作的序列。在这种情况下单个的动作并不重要，重要的是策略，即达到正确动作的序列。如果一个动作是正确策略的组成部分，那么就是好的。这种情况下，机器学习程序就应当能够评估策略的好坏程度，在好的动作序列中学习，以便能产生策略。这就是增强学习算法。