万能近似定理(Universal approximation theorem)描述：

In the mathematical theory of artificial neural networks, theuniversal approximation theoremstates that a feed-forward network with a single hidden layer containing a finite number of neurons can approximate continuous functions on compact subsets ofR, under mild assumptions on the activation function.

Universal approximation theorem(Hornik et al., 1989;Cybenko, 1989)定理表明：前馈神经网络，只需具备单层隐含层和有限个神经单元，就能以任意精度拟合任意复杂度的函数。这是个已经被证明的定理。

线性回归（Linear Regression）

举例引入：变量X表示输入，变量Y表示输出，存在一个数据集，如图1

图1：数据集

我们的目标是构建一个数学模型，使得该模型满足数据集的隐含规律。即:向模型输入X，模型会输出正确的值Y。

如果以学过的一元函数y=wx+b为例，用比较简单的函数去模拟数据集的规律。定义一个一元一次函数模型，如图2：

图2：一元一次函数模型

那么应该如果确定函数的两个参数w，b呢？一般的方法是先随机取值或者猜一个合适的数值，观察输出的结果，如图3。

图3：候选参数的模型1

实验结果发现，候选参数的模型1输出值y与真实值y相差很大，所以之前猜测的参数并不合适，需要进行参数的调整，如图4。

图4： 候选参数的模型2

实验结果发现，候选参数的模型2输出值y与真实值y还是存在差距，但是相较于模型1，显然差距更小。那么如何定义候选模型更精准呢？这需要量化输出值和真实值之间的差值。此处引入损失函数(lost function)的概念，如图4。

图4：损失函数

将模型输出值与真实值之间的差值平方和作为一种更好的量化。损失函数越小，表明预测值与真实值之间的差值越小，说明参数w,b越能精确模拟数据集中的规律。

补充内容：欧式举例——欧式距离是每个点到函数直线上的最短距离。欧式举例的另一种翻译是最小二乘法(least square method)。最小二乘法——最小二乘法是机器学习中的概念，是设法找到一条直线确定参数w，b，使所有的样本(数据集)到直线上的欧式举例最小。最小二乘法示例如下图5.

图5： 最小二乘法示例

有了损失函数之后，可以量化地比较候选参数模型，比较他们的损失函数值各是多少，如图6。

图6：候选参数模型1,2的损失函数值

根据损失函数L(w,b)可以看出模型2更好一些。但是如果希望损失函数再小一些，就要引入优化器(Optimizer)的概念，如图7。其中，argminL(w,b)中的argmin表示L(w,b)取得最小值时自变量w,b的取值。

图7：优化器

想办法找出最小损失函数值L(w,b)对应的参数w,b，优化器的选择是一个学问，常用的优化器是梯度下降法。但是最笨拙的方法是随机尝试法。在原有(w,b)=(2,2)的基础上，往周围扩散，最后可以发现(w,b)=(2,2)时，损失函数值最小，等于0。其参数的搜索过程涉及到了最优搜索办法，不在本内容的范围。但是模型制定的基本思路已经清晰，如图8。

图8：参数模型基本思路

上述的内容是线性回归，如果对线性回归有一个更严谨的定义，那就要引用《机器学习》(周志华著)的定义：

线性回归(linear regression)是试图学得一个线性模型以尽可能准确地预测实值输出标记。

对应到我们的模型中，模型函数为y=4x-4，此模型为线性模型。此模型预测的结果可以将损失函数达到0，可以百分之百预测，如图9，但是一般的实际情况只能达到尽可能准确地预测真实值。

图9：线性回归

如果将上述的例子扩展一下，比如有三个自变量x1,x2,x3的输入，会有一个因变量y的输出，那么模型一般会设为三元函数。有三个输入变量(x1,x2,x3)，那么就会需要4个参数(w1,w2,w3,w4)进行优化。我们将这种情况成为多元线性回归(multivariate linear regression)。其实这也是图像识别的原型模型。