基于Hadoop的小文件存储优化方案

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Hadoop的小文件存储优化方案

李孟, 曹晟, 秦志光

文章导航 > 电子科技大学学报 > 2016 > 45(1): 141-145

李孟, 曹晟, 秦志光. 基于Hadoop的小文件存储优化方案[J]. 电子科技大学学报, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

引用本文:

李孟, 曹晟, 秦志光. 基于Hadoop的小文件存储优化方案[J]. 电子科技大学学报, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

LI Meng, CAO Sheng, QIN Zhi-guang. Storage Optimization Method of Small Files Based on Hadoop[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

Citation:

LI Meng, CAO Sheng, QIN Zhi-guang. Storage Optimization Method of Small Files Based on Hadoop[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

基于Hadoop的小文件存储优化方案

doi: 10.3969/j.issn.1001-0548.2016.01.024

中图分类号: TP391.6

Storage Optimization Method of Small Files Based on Hadoop

摘要: Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。
- Hadoop /
- 索引机制 /
- 关联关系 /
- 小文件存储

[1]	LIU X, HAN J, ZHONG Y, et al. Implementing WebGIS on Hadoop: a case study of improving small file I/O performance on HDFS[C]//Cluster Computing and Workshops, 2009. CLUSTER'09. New Orleans, LA: IEEE, 2009: 1-8.
[2]	MACKEY G, SEHRISH S, WANG J. Improving metadata management for small files in HDFS[C]//Cluster Computing and Workshops, 2009. CLUSTER'09. New Orleans, LA: IEEE, 2009: 1-4.
[3]	JIANG L, LI B, SONG M. The optimization of HDFS based on small files[C]//Broadband Network and Multimedia Technology (IC-BNMT), 2010 3rd IEEE International Conference on IEEE. Beijing: IEEE, 2010.
[4]	BORTHAKUR D. The hadoop distributed file system: Architecture and design[J]. Hadoop Project Website, 2007, 11: 21.
[5]	SHAFER J, RIXNER S, COX A L. The hadoop distributed filesystem: balancing portability and performance[C]//Performance Analysis of Systems & Software (ISPASS), 2010 IEEE International Symposium. White Plains, NY: IEEE, 2010: 122-133.
[6]	DUTCH M, BOLOSKY W. A study of practical deduplication[C]//Proceedings of the 9th USENIX Conference on File and Storage Technology(FAST'11). San Jose, CA, USA: [s.n.], 2011.
[7]	ATTEBURY G, BARANOVSKI A, BLOOM K, et al. Hadoop distributed file system for the grid[C]//Nuclear Science Symposium Conference Record (NSS/MIC). Orlando, FL: IEEE, 2009: 1056-1061.
[8]	POTERAS C M, PETRISOR C, MOCANU M, et al. DCFMS: A chunk-based distributed file system for supporting multimedia communication[C]//2011 Federated Conference on Computer Science and Information Systems (FedCSIS). Szczecin: IEEE Press, 2011: 737-741.
[9]	CHANDRASEKAR S, DAKSHINAMURTHY R, SESHAKUMAR P, et al. A novel indexing scheme for efficient handling of small files in hadoop distributed file system[C]//2013 International Conference on Computer Communication and Infromatics. Coimbatore, India: [s.n.], 2013.
[10]	FU Song-ling, LIAO Xiang-ke, HE Li-gang, et al. FlatLFS: a lightweight file system for optimizing the performance of accessing massive small files[J]. Journal of National University of Defense Techonology, 2013, 35(2): 120-126.

[1]	杨大伟, 王红星, 刘传辉, 康家方. 基于连续相位调制的椭圆球面波多载波索引调制 . 电子科技大学学报, 2022, 51(1): 65-72. doi: 10.12178/1001-0548.2021050
[2]	郁湧, 顾捷, 赵娜, 骆永军, 阚世林. 基于双层耦合网的表型-基因关联分析与预测 . 电子科技大学学报, 2020, 49(3): 438-444. doi: 10.12178/1001-0548.2019133
[3]	魏鹏, 周成, 肖悦, 李少谦. 基于索引调制的广义频分复用技术 . 电子科技大学学报, 2017, 46(3): 516-521. doi: 10.3969/j.issn.1001-0548.2017.03.007
[4]	李晓瑜, 俞丽颖, 雷航, 唐雪飞. 一种K-means改进算法的并行化实现与应用 . 电子科技大学学报, 2017, 46(1): 61-68. doi: 10.3969/j.issn.1001-0548.2017.01.010
[5]	唐志贤, 冯钧, 徐曦, 史涯晴. 面向水系河网的建模与索引方法研究 . 电子科技大学学报, 2015, 44(4): 611-616. doi: 10.3969/j.issn.1001-0548.2015.04.023
[6]	钟婷, 耿纪昭, 熊虎, 秦志光. 云存储中基于SBT的数据完整性验证机制 . 电子科技大学学报, 2014, 43(6): 929-933. doi: 10.3969/j.issn.1001-0548.2014.06.023
[7]	朱怡安, 雷万保. 基于服务关联模型的服务排序算法——ServiceRank . 电子科技大学学报, 2011, 40(4): 607-611. doi: 10.3969/j.issn.1001-0548.2011.04.027
[8]	邱元杰, 刘心松. P2P文件系统的高效写机制 . 电子科技大学学报, 2011, 40(4): 587-591. doi: 10.3969/j.issn.1001-0548.2011.04.023
[9]	陈建英, 刘心松. 基于大规模分布式副本定位的分级索引压缩机制 . 电子科技大学学报, 2011, 40(4): 554-558. doi: 10.3969/j.issn.1001-0548.2011.04.016
[10]	于雪莲, 李中志, 汪学刚. 反向预测加权邻域数据关联算法 . 电子科技大学学报, 2010, 39(3): 364-367. doi: 10.3969/j.issn.1001-0548.2010.03.008
[11]	魏镇韩, 陈鸣, 赵洪华. AS关系快速推断算法 . 电子科技大学学报, 2010, 39(2): 266-270,292. doi: 10.3969/j.issn.1001-0548.2010.02.024
[12]	胡晓勤, 卢正添, 刘晓洁, 李涛, 赵庆华, 赵奎. 远程文件快速同步方法 . 电子科技大学学报, 2008, 37(4): 594-597.
[13]	郭宁. 嵌入式系统基于RMS对象存储机制的设计与实现 . 电子科技大学学报, 2008, 37(1): 105-108.
[14]	吴劲, 张凤荔, 何兴高, 陆庆. SIP安全机制研究 . 电子科技大学学报, 2007, 36(6): 1211-1214.
[15]	杨利英, 张军英, 覃征. 元学习算法选择机制及关联对性能的影响 . 电子科技大学学报, 2007, 36(2): 278-280,290.
[16]	张晶炜, 熊伟, 何友. 当前统计概率数据关联算法 . 电子科技大学学报, 2005, 34(1): 4-7.
[17]	龚礼华. 离散映射混沌系统的关联耦合同步 . 电子科技大学学报, 2004, 33(2): 214-217.
[18]	卫春敏, 赵莉, 陈文宇. 对象/关系映射中的完整性及关系约束检查 . 电子科技大学学报, 2004, 33(5): 570-572,593.
[19]	胡新帮, 汤志伟. 基于极值索引的数据排序算法 . 电子科技大学学报, 2003, 32(6): 696-700.
[20]	姚敏, 黄燕君. 模糊一致关系及其应用 . 电子科技大学学报, 1997, 26(6): 632-635.

WeChat

点击查看大图

计量

文章访问数: 3930
HTML全文浏览量: 119
PDF下载量: 165
被引次数: 0

基于Hadoop的小文件存储优化方案

doi: 10.3969/j.issn.1001-0548.2016.01.024

刊出日期: 2016-02-15

中图分类号: TP391.6

关键词:

摘要: Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。

English Abstract

李孟, 曹晟, 秦志光. 基于Hadoop的小文件存储优化方案[J]. 电子科技大学学报, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

引用本文:

李孟, 曹晟, 秦志光. 基于Hadoop的小文件存储优化方案[J]. 电子科技大学学报, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

LI Meng, CAO Sheng, QIN Zhi-guang. Storage Optimization Method of Small Files Based on Hadoop[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

Citation:

LI Meng, CAO Sheng, QIN Zhi-guang. Storage Optimization Method of Small Files Based on Hadoop[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024

全文HTML

参考文献 (10)

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

期刊在线

编辑办公

友情链接

电子科技大学

版权所有 © 《电子科技大学学报》编辑部

地址: 成都市建设北路二段四号电子科技大学主楼中350室电话: 028-83202308,83207559 Email: xuebao@uestc.edu.cn

本系统由北京仁和汇智信息技术有限公司开发