用于RBF-SVM参数搜索的伪梯度动态步长算法

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

用于RBF-SVM参数搜索的伪梯度动态步长算法

张宏达, 王晓丹, 徐海龙

文章导航 > 电子科技大学学报 > 2010 > 39(4): 523-527,555

张宏达, 王晓丹, 徐海龙. 用于RBF-SVM参数搜索的伪梯度动态步长算法[J]. 电子科技大学学报, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

引用本文:

张宏达, 王晓丹, 徐海龙. 用于RBF-SVM参数搜索的伪梯度动态步长算法[J]. 电子科技大学学报, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

ZHANG Hong-da, WANG Xiao-dan, XU Hai-long. Pseudo Gradient and Dynamic Step Optimization Algorithm for RBF-SVM Parameter Search[J]. Journal of University of Electronic Science and Technology of China, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

Citation:

ZHANG Hong-da, WANG Xiao-dan, XU Hai-long. Pseudo Gradient and Dynamic Step Optimization Algorithm for RBF-SVM Parameter Search[J]. Journal of University of Electronic Science and Technology of China, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

用于RBF-SVM参数搜索的伪梯度动态步长算法

doi: 10.3969/j.issn.1001-0548.2010.04.010

1.
三原25信箱陕西三原 713800

基金项目:

国家自然科学基金(60975026);陕西省自然科学基金(2007F19)

作者简介:
张宏达(1981-),男,博士生,主要从事智能信息处理、机器学习方面的研究.

中图分类号: TP181

Pseudo Gradient and Dynamic Step Optimization Algorithm for RBF-SVM Parameter Search

1.
Mailbox No. 25,Sanyuan Sanyuan Shanxi 713800

摘要: 针对基于径向基核函数(RBF)的支持向量机(SVM)超参数选择问题，提出了一种基于差分方程的新算法——伪梯度动态步长算法。该算法根据径向基核函数的特点提出由训练集的空间特性确定的核参数搜索范围，并采用对数刻度表示搜索空间；利用参数空间中SVM在两个临近点的分类精度的变化估计参数的搜索方向，并且随着搜索方向的变化动态调整搜索步长，从而实现较快的搜索。通过与Grid和PSO方法的对比实验，表明该算法具有良好的性能。
- 动态步长 /
- 梯度 /
- 超参数 /
- 支持向量机
Abstract: To the issue of hyper-parameter selection for radial basis function (RBF) based support vector machines (SVM), a new algorithm named as pseudo gradient and dynamic step optimization is proposed. Based on the characteristics of RBF, the kernel parameter is pre-estimated according to the distribution of the train set and the logarithmic scale is employed for the parameter space. The search direction is estimated with the changing of classification accuracy and by tuning the search step accordingly. At last, comparative experiments with Grid approach and PSO algorithm indicate the validity of the proposed algorithm.
- dynamic step /
- gradient /
- hyper-parameter /
- support vector machines

[1]	黄一鸣, 雷航, 周瑞, 桑楠. 基于手机传感器的握持方式判断及运动状态识别 . 电子科技大学学报, 2017, 46(2): 399-406. doi: 10.3969/j.issn.1001-0548.2017.02.014
[2]	谭颖, 张涛, 谭睿, 沈小涛, 校景中. 基于小波变换与SVM的ADHD病人分类 . 电子科技大学学报, 2015, 44(5): 789-794. doi: 10.3969/j.issn.1001-0548.2015.05.025
[3]	张静, 刘忠宝. 基于流形判别分析的全局保序学习机 . 电子科技大学学报, 2015, 44(6): 911-916. doi: 10.3969/j.issn.1001-0548.2015.06.020
[4]	高军峰, 张文佳, 杨勇, 胡佳佳, 陶春毅, 官金安. 基于P300和极限学习机的脑电测谎研究 . 电子科技大学学报, 2014, 43(2): 301-306. doi: 10.3969/j.issn.1001-0548.2014.02.028
[5]	何海江. 截断误差的光滑型支持向量顺序回归 . 电子科技大学学报, 2014, 43(1): 131-136. doi: 10.3969/j.issn.1001-0548.2014.01.022
[6]	刘忠宝. 新型支持向量机在风速预测模型中的应用研究 . 电子科技大学学报, 2014, 43(5): 754-757. doi: 10.3969/j.issn.1001-0548.2014.05.021
[7]	刘忠宝, 王士同. 面向大规模数据的隐私保护学习机 . 电子科技大学学报, 2013, 42(2): 272-276. doi: 10.3969/j.issn.1001-0548.2013.02.018
[8]	王宏, 周正欧, 李廷军, 孔令讲. 基于EEMD穿墙雷达人的运动模式识别 . 电子科技大学学报, 2011, 40(3): 346-351. doi: 10.3969/j.issn.1001-0548.2011.03.003
[9]	韩杰思, 沈建京. 采用图像滤波的多特征JPEG盲检测 . 电子科技大学学报, 2011, 40(2): 255-260. doi: 10.3969/j.issn.1001-0548.2011.02.020
[10]	江虹, 伍春, 马景辉. 最小二乘SVM的CR认知引擎设计 . 电子科技大学学报, 2011, 40(1): 41-46. doi: 10.3969/j.issn.1001-0548.2011.01.008
[11]	丁世飞, 齐丙娟, 谭红艳. 支持向量机理论与算法研究综述 . 电子科技大学学报, 2011, 40(1): 2-10. doi: 10.3969/j.issn.1001-0548.2011.01.001
[12]	张雪芹, 顾春华, 吴吉义. 异常检测中支持向量机最优模型选择方法 . 电子科技大学学报, 2011, 40(4): 559-563. doi: 10.3969/j.issn.1001-0548.2011.04.017
[13]	陈其松, 陈孝威, 张欣, 吴茂念. 优化SVM在锅炉负荷预测中的应用 . 电子科技大学学报, 2010, 39(2): 316-320. doi: 10.3969/j.issn.1001-0548.2010.02.035
[14]	何海江, 陈姝. 由排序支持向量机抽取博客文章的摘要 . 电子科技大学学报, 2010, 39(4): 593-597. doi: 10.3969/j.issn.1001-0548.2010.04.026
[15]	向国齐, 严志坚, 黄大贵. 支持向量机替代模型的遗传优化设计 . 电子科技大学学报, 2009, 38(3): 459-462. doi: 10.3969/j.issn.1001-0548.2009.03.034
[16]	唐艳, 柳建新, 龚安栋. ICA+CSSD的脑-机接口分类 . 电子科技大学学报, 2008, 37(3): 466-469.
[17]	胡丹, 肖建, 车畅. 再生核支持向量机在非线性系统中的应用 . 电子科技大学学报, 2008, 37(1): 124-127.
[18]	徐图, 罗瑜, 何大可. 多类支持向量机的DDoS攻击检测的方法 . 电子科技大学学报, 2008, 37(2): 274-277.
[19]	王勇, 许录平. 独立成分分析和支持向量机的虹膜识别方法 . 电子科技大学学报, 2007, 36(3): 583-586.
[20]	周鸣争, 汪军. 基于支持向量机的传感器非线性误差校正 . 电子科技大学学报, 2006, 35(2): 242-245.

WeChat

点击查看大图

计量

文章访问数: 3419
HTML全文浏览量: 117
PDF下载量: 53
被引次数: 0

用于RBF-SVM参数搜索的伪梯度动态步长算法

doi: 10.3969/j.issn.1001-0548.2010.04.010

1. 三原25信箱陕西三原 713800

基金项目:

国家自然科学基金(60975026);陕西省自然科学基金(2007F19)

作者简介:
张宏达(1981-),男,博士生,主要从事智能信息处理、机器学习方面的研究.

收稿日期: 2009-01-04
修回日期: 2009-09-30
刊出日期: 2010-08-15

中图分类号: TP181

关键词:

摘要: 针对基于径向基核函数(RBF)的支持向量机(SVM)超参数选择问题，提出了一种基于差分方程的新算法——伪梯度动态步长算法。该算法根据径向基核函数的特点提出由训练集的空间特性确定的核参数搜索范围，并采用对数刻度表示搜索空间；利用参数空间中SVM在两个临近点的分类精度的变化估计参数的搜索方向，并且随着搜索方向的变化动态调整搜索步长，从而实现较快的搜索。通过与Grid和PSO方法的对比实验，表明该算法具有良好的性能。

English Abstract

张宏达, 王晓丹, 徐海龙. 用于RBF-SVM参数搜索的伪梯度动态步长算法[J]. 电子科技大学学报, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

引用本文:

张宏达, 王晓丹, 徐海龙. 用于RBF-SVM参数搜索的伪梯度动态步长算法[J]. 电子科技大学学报, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

ZHANG Hong-da, WANG Xiao-dan, XU Hai-long. Pseudo Gradient and Dynamic Step Optimization Algorithm for RBF-SVM Parameter Search[J]. Journal of University of Electronic Science and Technology of China, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

Citation:

ZHANG Hong-da, WANG Xiao-dan, XU Hai-long. Pseudo Gradient and Dynamic Step Optimization Algorithm for RBF-SVM Parameter Search[J]. Journal of University of Electronic Science and Technology of China, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

期刊在线

编辑办公

友情链接

电子科技大学

版权所有 © 《电子科技大学学报》编辑部

地址: 成都市建设北路二段四号电子科技大学主楼中350室电话: 028-83202308,83207559 Email: xuebao@uestc.edu.cn

本系统由北京仁和汇智信息技术有限公司开发