基于Single-Pass的网络舆情热点发现算法

格桑多吉; 乔少杰; 韩楠; 张小松; 杨燕; 元昌安

doi:10.3969/j.issn.1001-0548.2015.04.021

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Single-Pass的网络舆情热点发现算法

格桑多吉, 乔少杰, 韩楠, 张小松, 杨燕, 元昌安,

文章导航 > 电子科技大学学报 > 2015 > 44(4): 599-604

格桑多吉, 乔少杰, 韩楠, 张小松, 杨燕, 元昌安, . 基于Single-Pass的网络舆情热点发现算法[J]. 电子科技大学学报, 2015, 44(4): 599-604. doi: 10.3969/j.issn.1001-0548.2015.04.021

引用本文:

GESANG Duoji, QIAO Shao-jie, HAN Nan, ZHANG Xiao-song, YANG Yan, YUAN Chang-an, KANG Jian. An Internet Public Opinion Hotspot Detection Algorithm Based on Single-Pass[J]. Journal of University of Electronic Science and Technology of China, 2015, 44(4): 599-604. doi: 10.3969/j.issn.1001-0548.2015.04.021

Citation:

GESANG Duoji, QIAO Shao-jie, HAN Nan, ZHANG Xiao-song, YANG Yan, YUAN Chang-an, KANG Jian. An Internet Public Opinion Hotspot Detection Algorithm Based on Single-Pass[J]. Journal of University of Electronic Science and Technology of China, 2015, 44(4): 599-604. doi: 10.3969/j.issn.1001-0548.2015.04.021

基于Single-Pass的网络舆情热点发现算法

doi: 10.3969/j.issn.1001-0548.2015.04.021

详细信息

中图分类号: TP312

An Internet Public Opinion Hotspot Detection Algorithm Based on Single-Pass

摘要: 考虑网络事件的时间距离,基于半结构化网页中不同位置特征项重要程度的不同,提出改进的single-pass文本聚类算法single-pass*,优势在于对Web文本不同位置特征项的加权处理,仅需计算新文档与同类别种子文档间的相似度。实验结果表明,相比single-pass,改进算法极大减少了漏检率和错检率,降低了由于新文本流内文档进行相似度计算导致系统性能的下降,平均提高Web文本聚类效率40%。将聚类后的Web文本应用于网络舆情分析,进行主题关注度分析和话题热度特性分析。
- 舆情分析 /
- single-pass /
- 文本聚类 /
- 话题发现

[1]	JIA Zi-yan, HE Qing, ZHANG Hai-jun, et al. A news event detection and tracking algorithm based on dynamic evolution model[J]. Journal of Computer Research and Development, 2004, 41(7): 1273-1280.
[2]	BAEZA-YATES R, RIBEIRO-NETO B. Modern information retrieval[M]. Boston, USA: Addison Wesley, 2000.
[3]	ZHAO Wen-qing, HOU Xiao-ke. News topic recognition of Chinese microblog based on word co-occurrence graph[J]. CAAI Transactions on Intelligent Systems, 2012, 7(5): 444- 449.
[4]	贾自艳, 何清, 张海俊, 等. 一种基于动态进化模型的事件探测和追踪算法[J]. 计算机研究与发展, 2004, 41(7): 1273-1280.
[5]	SHUI Yi-dong, QU You-li, HUANG Hou-kuan, et al. A new topic detection and tracking approach combining periodic classification and single-pass clustering[J]. Journal of Beijing Jiaotong University, 2009, 33(5): 85-87.
[6]	GONG Z, JIA Z, LUO S, et al. An adaptive topic tracking approach based on single-pass clustering with sliding time window[C]//Proceedings of the 2011 International Conference on Computer Science and Network Technology. Washington DC, USA: IEEE Computer Society, 2011: 1311- 1314.
[7]	FORESTIERO A, CLARA P, GIANDOMENICO S. A single pass algorithm for clustering evolving data streams based on swarm intelligence[J]. Data Mining and Knowledge Discovery, 2013, 26(1): 1-26.
[8]	ZHANG Xiao-yan, WANG Ting. Research of technologies on topic detection and tracking[J]. Journal of Frontiers of Computer Science and Technology, 2009, 3(4): 347-357.
[9]	赵文清, 侯小可. 基于词共现图的中文微博新闻话题识别[J]. 智能系统学报, 2012, 7(5): 444-449.
[10]	KANG Jian, QIAO Shao-qie, GESANG Duoji, et al. A semi- structured Tibetan text clustering algorithm based on swarm intelligence[J]. Pattern Recognition and Artificial Intelligence, 2014, 27(7): 663-671.
[11]	ZHU Z, WANG P, JIA Z, et al. Network topic detection model based on text reconstructions[J]. Informatica, 2013, 37(4): 367-372.
[12]	YANG C, YANG J, DING H, et al. A hot topic detection approach on Chinese microblogging[C]//Proceedings of the International Conference on Information Engineering and Applications (IEA) 2012. London: Springer, 2013: 411-420.
[13]	税仪冬, 瞿有利,黄厚宽, 等. 周期分类和Single-Pass聚类相结合的话题识别与跟踪方法[J]. 北京交通大学学报, 2009, 33(5): 85-87.
[14]	张晓燕, 王挺. 话题发现与追踪技术研究[J]. 计算机科学与探索, 2009, 3(4): 347-357.
[15]	康健, 乔少杰, 格桑多吉, 等. 基于群体智能的半结构化藏文文本聚类算法[J]. 模式识别与人工智能, 2014, 27(7): 663-671.

[1]	李海林, 张丽萍. 时间序列数据挖掘中的聚类研究综述 . 电子科技大学学报, 2022, 51(3): 416-424. doi: 10.12178/1001-0548.2022055
[2]	林俊锋. 基于引入隐形传播者的SEIR模型的COVID-19疫情分析和预测 . 电子科技大学学报, 2020, 49(3): 375-382. doi: 10.12178/1001-0548.2020083
[3]	张林兵, 郭强, 吴行斌, 梁耀洲, 刘建国. 基于多维行为分析的用户聚类方法研究 . 电子科技大学学报, 2020, 49(2): 315-320. doi: 10.12178/1001-0548.2018212
[4]	钱志森, 黄瑞章, 魏琴, 秦永彬, 陈艳平. 半监督语义动态文本聚类算法 . 电子科技大学学报, 2019, 48(6): 803-808. doi: 10.3969/j.issn.1001-0548.2019.06.001
[5]	李海林, 魏苗. 自适应属性加权近邻传播聚类算法 . 电子科技大学学报, 2018, 47(2): 247-255. doi: 10.3969/j.issn.1001-0548.2018.02.014
[6]	万武南, 陈俊. 双重掩码的模幂算法聚类相关功耗分析攻击 . 电子科技大学学报, 2018, 47(4): 588-594. doi: 10.3969/j.issn.1001-0548.2018.04.018
[7]	杨仁凤, 陈端兵, 谢文波. 微博用户兴趣主题抽取方法 . 电子科技大学学报, 2018, 47(4): 633-640. doi: 10.3969/j.issn.1001-0548.2018.04.025
[8]	于娟, 曹晓. 基于百科词条的本体概念聚类方法研究 . 电子科技大学学报, 2017, 46(3): 636-640. doi: 10.3969/j.issn.1001-0548.2017.03.026
[9]	李晓瑜, 俞丽颖, 雷航, 唐雪飞. 一种K-means改进算法的并行化实现与应用 . 电子科技大学学报, 2017, 46(1): 61-68. doi: 10.3969/j.issn.1001-0548.2017.01.010
[10]	杨燕, 冯晨菲, 贾真, 王红军. 基于链接的模糊聚类集成方法 . 电子科技大学学报, 2014, 43(6): 887-892. doi: 10.3969/j.issn.1001-0548.2014.06.016
[11]	施侃晟, 刘海涛, 白英彩, 宋文涛, 洪亮亮. 余弦度量和适应度函数改进的聚类方法 . 电子科技大学学报, 2013, 42(4): 621-624. doi: 10.3969/j.issn.1001-0548.2013.04.017
[12]	朱君, 曲超, 汤庸. 利用单词超团的二分图文本聚类算法 . 电子科技大学学报, 2008, 37(3): 439-442.
[13]	朵春红, 王翠茹. 网格和密度的聚类算法在CRM中的应用 . 电子科技大学学报, 2007, 36(6): 1289-1291,1314.
[14]	郑晓鸣, 吕士颖, 王晓东. 免疫接种粒子群的聚类算法 . 电子科技大学学报, 2007, 36(6): 1264-1267.
[15]	牛强, 夏士雄, 周勇, 张磊. 改进的模糊C-均值聚类方法 . 电子科技大学学报, 2007, 36(6): 1257-1259,1272.
[16]	祝金荣, 胡望斌. 聚类电价预测方法研究 . 电子科技大学学报, 2007, 36(6): 1278-1281.
[17]	董韵涵, 杨万麟. 改进最优聚类中心雷达目标识别法 . 电子科技大学学报, 2006, 35(2): 183-185,192.
[18]	耿技, 印鉴. 改进的共享型最近邻居聚类算法 . 电子科技大学学报, 2006, 35(1): 70-72.
[19]	叶茂, 陈勇. 基于分布模型的层次聚类算法 . 电子科技大学学报, 2004, 33(2): 171-174.
[20]	李秀森, 韩静轩, 马力. 增长因素为聚类变量的因素分析 . 电子科技大学学报, 2002, 31(2): 204-206.

点击查看大图

计量

文章访问数: 5450
HTML全文浏览量: 207
PDF下载量: 241
被引次数: 0

基于Single-Pass的网络舆情热点发现算法

doi: 10.3969/j.issn.1001-0548.2015.04.021

刊出日期: 2015-08-15

中图分类号: TP312

关键词:

摘要: 考虑网络事件的时间距离,基于半结构化网页中不同位置特征项重要程度的不同,提出改进的single-pass文本聚类算法single-pass*,优势在于对Web文本不同位置特征项的加权处理,仅需计算新文档与同类别种子文档间的相似度。实验结果表明,相比single-pass,改进算法极大减少了漏检率和错检率,降低了由于新文本流内文档进行相似度计算导致系统性能的下降,平均提高Web文本聚类效率40%。将聚类后的Web文本应用于网络舆情分析,进行主题关注度分析和话题热度特性分析。