极限学习机原理

详见ELM极限学习机--笔记
详见极限学习机(Extreme Learning Machine, ELM)原理详解和MATLAB实现

1.创始人：

黄广斌.png
黄教授微博：
黄广斌-ELM的微博_微博
文章来源：
Extreme Learning Machines: Random Neurons, Random Features, Kernels

2.人工智能和机器学习发展的三次浪潮

20180331174304487[1].png

机器学习时代的必要条件：
（1）高效的计算环境
（2）丰富多态的数据
（3）高效的学习算法
另外机器学习和人工智能几乎是相伴的，两者之间的发展趋势如下：

20180331185456937[1].png

类比于生物神经网络，创生了人工神经网络，在人工神经网络中，研究者认为所有网络的隐层神经元都需要进行不断的调整。但是详细想生物有那么多的神经是每一个都有必要进行调节？？每一个都被用到了吗？所以提出了四个问题：
（1）真的有必要花费那么多的人力来寻找这种需要人工调整隐层参数的学习算法，并应用与不同的神经网络？显然生物大脑汇中并没有调整参数的精灵
（2）我们真的需要不同的学习算法来使不同类型的神经网络可以进行特征学习，聚类，回归和分类吗？
（3）为什么生物大脑比那些继承人共学习算法的机器更加“高效”和智能？
（4）为什么“一个不完美的神经网络，它包含很多随机连接，却能稳定的执行那些需要完美电路才能执行的功能？”、

引言

极限学习机不是一个新的东西，只是在算法（方法）上有新的内容。在神经网络结构上，就是一个前向传播的神经网络，和之前几篇博文讲的意义。

20180929091459434[1].png

为什么我们需要ELM？
The learning speed of feedforward neural networks is in general far slower than required and it has been a major bottleneck in their applications for past decades. Two key reasons behind may be:

the slow gradient-based learning algorithms are extensively used to train neural networks.
all the parameters of the networks are tuned iteratively by using such learning algorithms.

最大的创新点：

1）输入层和隐含层的连接权值、隐含层的阈值可以随机设定，且设定完后不用再调整。这和BP神经网络不一样，BP需要不断反向去调整权值和阈值。因此这里就能减少一半的运算量了。

2）隐含层和输出层之间的连接权值β不需要迭代调整，而是通过解方程组方式一次性确定。

研究表明，通过这样的规则，模型的泛化性能很好，速度提高了不少。

一言概之，ELM最大的特点就是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。

Compared BP Algorithm and SVM，ELM has several salient features:

•Ease of use. No parameters need to be manually tuned except predefined network architecture.只有隐含层神经元个数需要我们调整。

•Faster learning speed. Most training can be completed in milliseconds, seconds, and minutes.

•Higher generalization performance. It could obtain better generalization performance than BP in most cases, and reach generalization performance similar to or better than SVM.（泛化能力提升）

•Suitable for almost all nonlinear activation functions.Almost all piecewise continuous (including discontinuous, differential, non-differential functions) can be used as activation functions.

•Suitable for fully complex activation functions. Fully complex functions can also be used as activation functions in ELM.

ELM的作者，黄广斌老师提供的代码：http://www.ntu.edu.sg/home/egbhuang/elm_codes.htm
参考博文：https://blog.csdn.net/google19890102/article/details/18222103?utm_source=copy