基于改进Sparse Indexing的多负载消冗方法

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于改进Sparse Indexing的多负载消冗方法

王灿, 秦志光, 杨磊, 杨皓

文章导航 > 电子科技大学学报 > 2013 > 42(5): 734-739

王灿, 秦志光, 杨磊, 杨皓. 基于改进Sparse Indexing的多负载消冗方法[J]. 电子科技大学学报, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

引用本文:

王灿, 秦志光, 杨磊, 杨皓. 基于改进Sparse Indexing的多负载消冗方法[J]. 电子科技大学学报, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

WANG Can, QIN Zhi-guang, YANG Lei, YANG Hao. Multiple-Loads Deduplication Method Based on Improved Sparse Indexing[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

Citation:

WANG Can, QIN Zhi-guang, YANG Lei, YANG Hao. Multiple-Loads Deduplication Method Based on Improved Sparse Indexing[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

基于改进Sparse Indexing的多负载消冗方法

doi: 10.3969/j.issn.1001-0548.2013.05.017

王灿^1,2,
秦志光^1,2,
杨磊^1,2,
杨皓^1,2

1.
电子科技大学计算机科学与工程学院成都 611731;
2.
网络与数据安全四川省重点实验室成都 611731

基金项目:

国家科技重大专项(2011ZX03002-002-03);教育部培育基金(708078);国家自然科学基金(60873075,60973118)

作者简介:
王灿(1977-),男,博士,主要从事信息安全、存储优化技术等方面的研究.

中图分类号: TP309.3

Multiple-Loads Deduplication Method Based on Improved Sparse Indexing

WANG Can^1,2,
QIN Zhi-guang^1,2,
YANG Lei^1,2,
YANG Hao^1,2

1.
School of Computer Science and Engineering,University of Electronic Science and Technology of China Chengdu 611731;
2.
Network and Data Security Key Laboratory of Sichuan Province Chengdu 611731

摘要: 针对现有的Sparse Indexing方法不能有效处理小文件备份负载的问题,提出了一种以Broder扩展定理为理论依据的最小特征采样算法,该算法可以对不同形式的备份负载进行有效的特征采样。在此算法的基础上,设计了一种多负载重复数据消除方法,该方法通过对备份负载进行特征采样,仅在内存中维护完整索引的一个很小的子集,并通过批量读入分块标识符,摊销了磁盘访问开销,提高了吞吐量。实验结果表明,该方法对混合备份负载的压缩比是Sparse Indexing的2.04倍,而吞吐量与Sparse Indexing相当。该方法适用于需要处理多种形式备份负载的高性能重复数据消除系统。
- 重复数据消除 /
- 磁盘瓶颈 /
- 最小特征采样 /
- 稀疏索引 /
- 吞吐量
Abstract: To address the problem that the sparse indexing can not deduplicate the backup load based on small files effectively, a min-feature sampling algorithm based on the Broder's extension theorem is proposed. In addition, a deduplication method for multiple backup loads, which is on the basis of the min-feature sampling algorithm, is presented. This method only maintains a very small subset of the full index in the RAM by sampling the backup load, and the cost of disk accesses is amortized by loading the chunk IDs in batches. As a result, the throughput of the method is improved effectively. The experimental results indicate that the compression ratio of the method on the mixed backup loads is 2.04 times of the sparse indexing, and its throughput is almost equal to the sparse indexing. This method is applicable to the high-performance deduplication systems which need to process backup loads of multiple types.
- deduplication /
- disk bottleneck /
- minimum feature sampling /
- sparse index /
- throughput

[1]	申滨, 徐浪, 周晓勇, 闫伟. 基于最优加权多属性决策的LWA网络接入点选择算法 . 电子科技大学学报, 2020, 49(3): 445-452. doi: 10.12178/1001-0548.2019110
[2]	侯卫民, 苏佳, 王静. 传感器网络中提高吞吐量的机会波束调度算法 . 电子科技大学学报, 2019, 48(3): 336-339. doi: 10.3969/j.issn.1001-0548.2019.03.004
[3]	田心记, 贾文杰. 超密集网络中基于分簇的资源分配方案 . 电子科技大学学报, 2019, 48(6): 823-830. doi: 10.3969/j.issn.1001-0548.2019.06.004
[4]	何兴高, 李蝉娟, 王瑞锦, 邓伏虎, 刘行. 基于信息熵的高维稀疏大数据降维算法研究 . 电子科技大学学报, 2018, 47(2): 235-241. doi: 10.3969/j.issn.1001-0548.2018.02.012
[5]	何晋, 陈思洋, 朱西平. 基于IEEE 802.11p的车载自组网MAC层接入算法RLBSA . 电子科技大学学报, 2015, 44(5): 674-679. doi: 10.3969/j.issn.1001-0548.2015.05.006
[6]	朱丰, 张群, 梁必帅, 罗迎, 李开明, 毕博. 频谱稀疏OFD-LFM弹头自旋微动特征重构方法 . 电子科技大学学报, 2013, 42(3): 369-374. doi: 10.3969/j.issn.1001-0548.2013.03.010
[7]	何红洲, 周明天. 基于互信息量的生物信息数据特征标注方法 . 电子科技大学学报, 2013, 42(6): 916-920. doi: 10.3969/j.issn.1001-0548.2013.06.020
[8]	罗浚溢, 田书林, 王志刚, 刘涛. 最小L₁范数实现周期非均匀采样与重构研究 . 电子科技大学学报, 2012, 41(3): 418-423. doi: 10.3969/j.issn.1001-0548.2012.03.019
[9]	朱丰, 张群, 段艳丽, 顾福飞, 李开明, 毕博. 基于二维稀疏采样的HRRP合成及ISAR成像方法 . 电子科技大学学报, 2012, 41(6): 847-852. doi: 10.3969/j.issn.1001-0548.2012.06.006
[10]	马涛, 陈杰. 消除重复计算的H.264帧内预测电路 . 电子科技大学学报, 2009, 38(1): 67-70.
[11]	徐飞, 庄奕琪, 郭锋. 载荷长度对蓝牙数据传输吞吐量的影响 . 电子科技大学学报, 2008, 37(1): 39-42.
[12]	徐斌阳, 李少谦. 认知无线电系统中的联合功率控制 . 电子科技大学学报, 2008, 37(5): 649-652.
[13]	付志明, 幺周石, 谭庆贵, 胡渝. 无线光CDMA接入网的网络吞吐量研究 . 电子科技大学学报, 2007, 36(4): 681-684.
[14]	黄继伟, 李云飞, 朱宏. 删失数据下的Fisher信息量 . 电子科技大学学报, 2006, 35(3): 423-425.
[15]	吴劲, 卢显良, 任立勇, 魏青松. 缓存失效策略的性能分析数学模型 . 电子科技大学学报, 2005, 34(2): 225-228.
[16]	张崇富, 邱昆, 陈华容. 波分复用/光码分多址网络性能研究 . 电子科技大学学报, 2005, 34(4): 433-436.
[17]	胡新帮, 汤志伟. 基于极值索引的数据排序算法 . 电子科技大学学报, 2003, 32(6): 696-700.
[18]	高飞, 郭彦平, 赵东风. 随机多址信道冲突分解算法及吞吐量分析 . 电子科技大学学报, 2001, 30(2): 124-128,133.
[19]	马逾钢, 洪福明, 李乐民. 按需分配多码CDMA及其吞吐量性能的研究 . 电子科技大学学报, 1997, 26(5): 461-464.
[20]	钱炜宏, 李乐民. 输入/输出ATM交换机在突发性业务下的性能 . 电子科技大学学报, 1997, 26(6): 576-580.

WeChat

点击查看大图

计量

文章访问数: 4242
HTML全文浏览量: 123
PDF下载量: 71
被引次数: 0

基于改进Sparse Indexing的多负载消冗方法

doi: 10.3969/j.issn.1001-0548.2013.05.017

1. 电子科技大学计算机科学与工程学院成都 611731;

2. 网络与数据安全四川省重点实验室成都 611731

基金项目:

国家科技重大专项(2011ZX03002-002-03);教育部培育基金(708078);国家自然科学基金(60873075,60973118)

作者简介:
王灿(1977-),男,博士,主要从事信息安全、存储优化技术等方面的研究.

收稿日期: 2011-10-12
修回日期: 2012-02-21
刊出日期: 2013-10-15

中图分类号: TP309.3

关键词:

摘要: 针对现有的Sparse Indexing方法不能有效处理小文件备份负载的问题,提出了一种以Broder扩展定理为理论依据的最小特征采样算法,该算法可以对不同形式的备份负载进行有效的特征采样。在此算法的基础上,设计了一种多负载重复数据消除方法,该方法通过对备份负载进行特征采样,仅在内存中维护完整索引的一个很小的子集,并通过批量读入分块标识符,摊销了磁盘访问开销,提高了吞吐量。实验结果表明,该方法对混合备份负载的压缩比是Sparse Indexing的2.04倍,而吞吐量与Sparse Indexing相当。该方法适用于需要处理多种形式备份负载的高性能重复数据消除系统。

English Abstract

王灿, 秦志光, 杨磊, 杨皓. 基于改进Sparse Indexing的多负载消冗方法[J]. 电子科技大学学报, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

引用本文:

王灿, 秦志光, 杨磊, 杨皓. 基于改进Sparse Indexing的多负载消冗方法[J]. 电子科技大学学报, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

WANG Can, QIN Zhi-guang, YANG Lei, YANG Hao. Multiple-Loads Deduplication Method Based on Improved Sparse Indexing[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

Citation:

WANG Can, QIN Zhi-guang, YANG Lei, YANG Hao. Multiple-Loads Deduplication Method Based on Improved Sparse Indexing[J]. Journal of University of Electronic Science and Technology of China, 2013, 42(5): 734-739. doi: 10.3969/j.issn.1001-0548.2013.05.017

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

期刊在线

编辑办公

友情链接

电子科技大学

版权所有 © 《电子科技大学学报》编辑部

地址: 成都市建设北路二段四号电子科技大学主楼中350室电话: 028-83202308,83207559 Email: xuebao@uestc.edu.cn

本系统由北京仁和汇智信息技术有限公司开发