有效的爬行Ajax页面的网络爬行算法

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

有效的爬行Ajax页面的网络爬行算法

李华波, 吴礼发, 赖海光, 郑成辉, 黄康宇

文章导航 > 电子科技大学学报 > 2013 > 42(1): 115-120

李华波, 吴礼发, 赖海光, 郑成辉, 黄康宇. 有效的爬行Ajax页面的网络爬行算法[J]. 电子科技大学学报, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

引用本文:

李华波, 吴礼发, 赖海光, 郑成辉, 黄康宇. 有效的爬行Ajax页面的网络爬行算法[J]. 电子科技大学学报, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

LI Hua-bo, WU Li-fa, LAI Hai-guang, ZHENG Cheng-hui, HUANG Kang-yu. Efficient Algorithm for Crawling Ajax Web Pages[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

Citation:

LI Hua-bo, WU Li-fa, LAI Hai-guang, ZHENG Cheng-hui, HUANG Kang-yu. Efficient Algorithm for Crawling Ajax Web Pages[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

有效的爬行Ajax页面的网络爬行算法

doi: 10.3969/j.issn.1001-0548.2013.01.024

1.
解放军理工大学指挥信息系统学院南京 210007

基金项目:

江苏省自然科学基金(BK2010132)

作者简介:
李华波(1981-),男,博士,主要从事网络安全方面的研究.

中图分类号: TP393.08

Efficient Algorithm for Crawling Ajax Web Pages

1.
College of Command Information System,PLAUST Nanjing 210007

摘要: Ajax页面的生成和页面导航需要执行客户端的JavaScript代码, 传统网络爬行算法无法获取Ajax页面全部内容. 分析了Ajax的工作方式, 阐述了爬行Ajax网页所面临的主要问题, 提出并实现了一种有效爬行Ajax页面的网络爬行算法. 该算法可控制客户端浏览器动态生成页面内容和完成页面导航, 为爬行过的页面分配标识编号并生成相应静态页面. 实验结果表明, 提出的算法所爬行的Ajax页面数量明显多于传统方法, 同时, 采用的双重消重策略可有效减少算法的时间耗费.
- Ajax /
- 爬行算法 /
- 消重策略 /
- 搜索引擎
Abstract: The generation of Ajax web pages and the Ajax page navigation must execute the client JavaScript, thus it is impossible to extract the complete content of an Ajax page through the traditional crawling algorithms. In this paper, the working mode of Ajax is analyzed, the problem of crawling Ajax web pages is elaborated, and an effective algorithm for crawling Ajax pages is proposed. The algorithm can realize the dynamic generation of Ajax web contents in client browser and the navigation of Ajax web pages, and also it can assign identification number for the crawled pages whose static pages can be generated. Experimental result shows that the number of Ajax pages crawled by the proposed algorithm is obvious bigger than the traditional ones', and the presented replicas-detecting policies can effectively reduce the time consumption of the algorithm.
- Ajax /
- crawling algorithm /
- replicas-detecting policy /
- search engine

[1]	刘露露, 贺占庄, 马钟, 刘彬, 王莉. 多阶段特征重分布算法的小样本目标检测 . 电子科技大学学报, 2023, 52(1): 116-124. doi: 10.12178/1001-0548.2022016
[2]	齐鑫, 荀德旭, 冯舒琪, 高娜, 侯思宇, 卢雨青, 黄兰, 陈佳佳. 利用药物重定位策略挖掘胃癌治疗药物 . 电子科技大学学报, 2023, 52(5): 659-666. doi: 10.12178/1001-0548.2023086
[3]	李冠中, 李绿周. 精确Grover量子搜索算法概述 . 电子科技大学学报, 2022, 51(3): 342-346. doi: 10.12178/1001-0548.2022100
[4]	李林, 范明钰, 郝江涛. 基于对抗攻击的图像隐写策略搜索 . 电子科技大学学报, 2022, 51(2): 259-263. doi: 10.12178/1001-0548.2021335
[5]	周宁, 张嵩霖, 张晨. 融合粗糙数据推理的多策略改进麻雀搜索算法 . 电子科技大学学报, 2022, 51(5): 743-753. doi: 10.12178/1001-0548.2021288
[6]	陈作汉, 曹洁, 赵付青, 张建林. 基于搜索偏好知识的复杂多模差分进化算法 . 电子科技大学学报, 2020, 49(6): 875-882. doi: 10.12178/1001-0548.2020153
[7]	肖海林, 张文娟, 聂在平, 王茹. 基于布谷鸟搜索算法的用户选择和干扰对齐 . 电子科技大学学报, 2017, 46(6): 801-805, 818. doi: 10.3969/j.issn.1001-0548.2017.06.001
[8]	罗四维, 侯孟书, 牛新征, 吕孟婕. 基于免疫优化策略的副本放置算法 . 电子科技大学学报, 2017, 46(5): 741-746. doi: 10.3969/j.issn.1001-0548.2017.05.017
[9]	温怀玉, 霍伟东. 无线传感器网络流量重分配拥塞控制算法 . 电子科技大学学报, 2017, 46(2): 407-411. doi: 10.3969/j.issn.1001-0548.2017.02.015
[10]	张民, 贾海涛, 沈震. 基于遗传算法改进的粒子滤波重采样模型 . 电子科技大学学报, 2015, 44(3): 344-349. doi: 10.3969/j.issn.1001-0548.2015.03.005
[11]	王灿, 秦志光, 杨磊, 杨皓. 基于改进Sparse Indexing的多负载消冗方法 . 电子科技大学学报, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017
[12]	张宏达, 王晓丹, 徐海龙. 用于RBF-SVM参数搜索的伪梯度动态步长算法 . 电子科技大学学报, 2010, 39(4): 523-527,555. doi: 10.3969/j.issn.1001-0548.2010.04.010
[13]	张磊, 陈俊亮, 孟祥武, 沈筱彦, 郭杰. 基于用户偏好的垂直搜索算法 . 电子科技大学学报, 2010, 39(1): 91-96. doi: 10.3969/j.issn.1001-0548.2010.01.021
[14]	胡建, 李志蜀, 欧鹏, 罗思达. 粒子群优化算法中的分步式策略 . 电子科技大学学报, 2009, 38(3): 435-440. doi: 10.3969/j.issn.1001-0548.2009.03.028
[15]	王向展, 宁宁, 于奇. 新型分段多分搜索算法高速A/D转换方案 . 电子科技大学学报, 2008, 37(1): 61-64.
[16]	田延硕, 刘晓云. 一种提高局部搜索能力的混合遗传算法 . 电子科技大学学报, 2006, 35(2): 232-234,256.
[17]	张晓琴, 黄玉清. 基于禁忌搜索的启发式求解背包问题算法 . 电子科技大学学报, 2005, 34(3): 359-362.
[18]	唐普英, 李志辉, 黄顺吉. 基于遗传算法和禁忌搜索的多用户检测器 . 电子科技大学学报, 2004, 33(5): 499-502.
[19]	胡新帮, 汤志伟. 基于极值索引的数据排序算法 . 电子科技大学学报, 2003, 32(6): 696-700.
[20]	廖向前, 黄顺吉. 一种GPS动态解相位模糊的搜索算法 . 电子科技大学学报, 1997, 26(4): 352-356.

WeChat

点击查看大图

计量

文章访问数: 3365
HTML全文浏览量: 110
PDF下载量: 39
被引次数: 0

有效的爬行Ajax页面的网络爬行算法

doi: 10.3969/j.issn.1001-0548.2013.01.024

1. 解放军理工大学指挥信息系统学院南京 210007

基金项目:

江苏省自然科学基金(BK2010132)

作者简介:
李华波(1981-),男,博士,主要从事网络安全方面的研究.

收稿日期: 2011-04-12
修回日期: 2012-09-18
刊出日期: 2013-02-15

中图分类号: TP393.08

关键词:

摘要: Ajax页面的生成和页面导航需要执行客户端的JavaScript代码, 传统网络爬行算法无法获取Ajax页面全部内容. 分析了Ajax的工作方式, 阐述了爬行Ajax网页所面临的主要问题, 提出并实现了一种有效爬行Ajax页面的网络爬行算法. 该算法可控制客户端浏览器动态生成页面内容和完成页面导航, 为爬行过的页面分配标识编号并生成相应静态页面. 实验结果表明, 提出的算法所爬行的Ajax页面数量明显多于传统方法, 同时, 采用的双重消重策略可有效减少算法的时间耗费.

English Abstract

李华波, 吴礼发, 赖海光, 郑成辉, 黄康宇. 有效的爬行Ajax页面的网络爬行算法[J]. 电子科技大学学报, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

引用本文:

李华波, 吴礼发, 赖海光, 郑成辉, 黄康宇. 有效的爬行Ajax页面的网络爬行算法[J]. 电子科技大学学报, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

LI Hua-bo, WU Li-fa, LAI Hai-guang, ZHENG Cheng-hui, HUANG Kang-yu. Efficient Algorithm for Crawling Ajax Web Pages[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

Citation:

LI Hua-bo, WU Li-fa, LAI Hai-guang, ZHENG Cheng-hui, HUANG Kang-yu. Efficient Algorithm for Crawling Ajax Web Pages[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(1): 115-120. doi: 10.3969/j.issn.1001-0548.2013.01.024

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

期刊在线

编辑办公

友情链接

电子科技大学

版权所有 © 《电子科技大学学报》编辑部

地址: 成都市建设北路二段四号电子科技大学主楼中350室电话: 028-83202308,83207559 Email: xuebao@uestc.edu.cn

本系统由北京仁和汇智信息技术有限公司开发