随着浅层结构模型的不断完善,在基于浅层机构模型的基础上,有一系列算法被提出和应用。如:支持向量机(Support Vector Machines,SVM)、Boosting、最大熵方法(如,Logistic Regression,LR)等。下面以支持向量机为例简单介绍。
支持向量机(Support Vector Machines,SVM)是在统计学习理论的基础上发展起来的新一代学习算法。它在文本分类、手写识别、图像分类、生物信息学等领域中获得较好的应用。 它是基于VC维理论和结构风险最小原理建立的,能够较好地解决小样本、非线性、高维数和局部极小点等实际问题。
SVM的基本思想是通过使用分类间隔最大化来求解最优的分类面,算法最终转化为解一个凸二次规划的优化问题,得到的将是全局最优解,并且SVM通过引入核函数,将非线性变化转化到高维特征空间,算法的复杂程度与样本的维数没有关系,而只和样本的数量相关。支持向量机在结构上类似于三层的前馈神经网络,隐含层节点数由支持向量机确定,通过解凸二次规划的优化问题,同时可以得到隐含层节点数和权值向量。支持向量机的原理示意图如下:
对于非线性问题,通过采用适当的核函数,将输入空间的非线性变换映射到某个高维空间中的线性问题,在变换空间求最优分类面。
根据wolf对偶理论,得到最优化问题的对偶问题:
决策函数为:
喜欢本文的话,欢迎关注活在信息时代哦:)
,