深度学习能替代机器学习算法么（一种基于遗忘机制的在线深度极限学习机）

0 引言

HUANG G B等在2006年提出极限学习机（Extreme Learning Machine，ELM）^[1]。极限学习机是为单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks，SLFN)设计的学习算法，该算法需要人为调整的参数只有隐藏层神经元的个数，比传统基于梯度下降的神经网络训练算法^[2-4]收敛速度快，泛化性能好。

但在实际应用中，数据往往不能一次性获取，当获取到新的数据时，又要把新的数据和旧的数据放到一起来训练网络，会浪费许多时间。在线极限学习机（Online Sequential ELM，OS-ELM）^[5]可以将数据逐个或逐块地添加到网络中，当新的数据到来时，并不需要把旧的数据拿出来重新训练。但由于在线极限学习机的浅层网络结构，即使设置很多的隐藏层节点个数，仍然很难有效应对复杂的实际应用。同时，算法虽然能够逐个或逐块地学习数据，在较短的时间内达到较高的精度要求，但该算法对学习的时效性的数据不是太好，即数据在一段时间内是有效的，过一段时间后数据将失效（如天气预测或股票预测等）。

本文结合在线极限学习机原理和深度极限学习机自动编码器(Deep ELM AutoEncoder，DELM-AE)^[6-7]原理，提出无监督的在线深度极限学习机自动编码器(OS-DELM-AE)，使ELM-AE具备在线学习的能力；在OS-DELM-AE的基础上进一步引入遗忘机制，提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE)；并用FOS-DELM-AE做无监督的特征学习，FOS-ELM^[8]做有监督的目标学习，使OS-ELM具备深层网络结构的同时，能适应很强时效性的应用。

相比浅层网络，深层网络能更好地处理高维数据；更接近人脑，对输入数据的特征进行层次化提取；能获得更多有用信息等。文献[6]用极限学习机训练深度自动编码器，每一层看作是一次极限学习机的训练，每层训练结束后将不再调整参数；上一层的输出作为下一层的输入，依次以极限学习机的训练方式训练自动编码器，从而形成深度极限学习机自动编码器。其网络模型如图1所示。

其中，自动编码器是一种无监督的学习方法，最初主要用于高维数据处理，自动编码器通过尽可能复现输入信号，学习到代表输入数据的新的特征。自动编码器由编码器和解码器组成。编码器在网络的训练和部署时使用，而解码器只在训练时使用。通过随机映射输入信号，自动编码器重构输入信号的问题就成了极限学习机问题。

2 FOS-DELM

2.1 OS-DELM-AE

近年来，深度学习^[9-12]成为研究热点，深度学习得到了极大发展，在深度学习发展的同时，在线深度学习的发展也得到了新的支撑^[13-15]。本文在OS-ELM原理和深度ELM-AE原理的启发下，提出了OS-DELM-AE，将ELM-AE在线化，每一层OS-ELM-AE训练完成之后不再调整参数，上一层OS-ELM-AE的输出作为下一层OS-ELM-AE的输入，逐层训练OS-DELM-AE，通过OS-DELM-AE，将样本特征分层提取，并具备在线学习的能力。下面是OS-DELM-AE的具体算法步骤。

2.1.1 第1层特征学习

2.1.2 第p层特征学习

2.2 FOS-DELM

遗忘机制是逐步驱除有错误可能及过时信息数据的有效方法，ZHAO J等^[8]在OS-ELM算法中结合了遗忘机制，提出遗忘机制FOS-ELM算法。本文将遗忘机制引入到OS-DELM-AE中，提出了FOS-DELM-AE方法，使OS-DELM-AE能有效驱除错误信息及过时信息数据。以FOS-DELM-AE方法做无监督特征学习，以FOS-ELM做目标学习，提出基于遗忘机制的在线深度极限学习机（FOS-DELM）。

设以前的数据块为Ω_{k-s 1}，新添的数据块为Ω_{k 1}，各层OS-DELM-AE输出权重的迭代计算公式为：

其中，X_{k 1}为第k 1块数据样本输入，s是每个数据块的有效单位时间。在OS-DELM-AE算法中，要计算β^{k 1}，需要知道从N₀～N_{k 1}的所有数据块，而FOS-DELM-AE算法计算β^{k 1}时，只需要第k 1次添加的数据块Ω_{k 1}和第k-s 1次添加的数据块Ω_{k-s 1}。这是使FOS-DELM-AE算法具备有效去除有可能是错误信息的过时数据的关键。

3 实验评估

本文算法FOS-DELM选用JINAN QINGQI MTCYCL、HUAXIN CEMENT、HAINAN AIRLINES、JINZHOU PORT等数据集，与OS-ELM、FOS-ELM算法做对比实验。评价指标为均方根误差(RMSE)(均方根误差越小效果越好)、判定系数(R-square)(判断系数越接近1代表拟合程度越高)以及训练时间作为评价指标。其中FOS-DELM采用3层结构，前两层为FOS-DELM-AE，最后一层为FOS-ELM。实验结果见表1～表6。

由表1、表3、表5可知，FOS-DELM较OS-ELM、FOS-ELM降低了RMSE；由表2、表4、表6可知，FOS-DELM较OS-ELM、FOS-ELM提升了R-square。

对水环境中DO（水中溶氧量参数指标）、NH3-N（水中氨氮含量指标）进行实验测试，如图2和图3所示，横坐标表示某个时刻，纵坐标表示某个时刻对应值。该结果图选取连续52个时刻的值作为展示，其他时刻有类似效果。从图2、图3的拟合效果看，FOS-DELM对水质指标的拟合程度比FOS-ELM更高。综合上述实验分析来看，FOS-DELM可以作为在线学习的有效方法，并具备深度学习和实效性强等优势。

4 结束语

本文结合在线极限学习机原理和深度极限学习机自动编码器原理，提出无监督的在线深度极限学习机自动编码器，使ELM-AE具备在线学习的能力；在深层在线ELM-AE的基础上进一步引入遗忘机制，提出FOS-DELM-AE；并用FOS-DELM-AE做无监督的特征学习，FOS-ELM做有监督的目标学习，使OS-ELM具备深层网络结构的同时，具备在线学习能力。最后通过基于指标RMSE和R-square的实验验证了本文算法FOS-ELM的有效性。

参考文献

[1] HUANG G B，ZHU Q Y，SIEW C K.Extreme learning machine：theoryand applications[J].Neurocomputing，2006，70：489-501.

[2] JIAN W，WEN Y，GOU Y，et al.Fractional-order gradient descent learning of BP neural networks with Caputo derivative[J].Neural Networks，2017，89：19-30.

[3] 王洪元，史国栋.人工神经网络技术及其应用[M].北京：中国石化出版社，2003.

[4] 郁磊.MATLAB智能算法30个案例分析[M].北京：北京航空航天大学出版社，2015.

[5] LIANG N Y，HUANG G B，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks，2006，17(6)：1411-1423.

[6] Tang Jiexiong，Deng Chenwei，Huang Guangbin.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems，2015，27(4)：1210-1213.

[7] 刘勘，袁蕴英.基于自动编码器的短文本特征提取及聚类研究[C].CCF国际自然语言处理与中文计算会议，2014：120-121.

[8] ZHAO J，WANG Z，DONG S P.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing，2012，87(15)：79-89.

[9] SCHMIDHUBER J.Deep learning in neural networks：an overview[J].Neural Networks，2015，61：85-117.

[10] NODA K，YAMAGUCHI Y，NAKADAI K，et al.Audiovisual speech recognition using deep learning[J].Applied Intelligence，2015，42(4)：722-737.

[11] READ J，PEREZCRUZ F.Deep learning for multi-label classification[J].Machine Learning，2014，85(3)：333-359.

[12] RAHHAL M M A，BAZI Y，ALHICHRI H，et al.Deep learning approach for active classification of electrocardiogram signals[J].Information Sciences，2016，345(1)：340-354.

[13] YAN X，JING Y，ZHONG S.An online supervised learning method based on gradient descent for spiking neurons[J].Neural Networks，2017，93：7-20.

[14] LEI Y，ZHOU D X.Analysis of online composite mirror descent algorithm[J].Neural Computation，2017，29(3)：825-860.

[15] CHENG W Y，JUANG C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classification problems[J].IEEE Transactions on Fuzzy Systems，2015，22(2)：324-337.

作者信息：

刘步中1，2

(1.江苏省中小企业电子产品工程技术研发中心，江苏 淮安223003；2.淮安信息职业技术学院，江苏 淮安223003）

,