MUSE:一种面向云存储系统的高性能元数据存储引擎

段翰聪; 向小可; 吕鹏程

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

MUSE:一种面向云存储系统的高性能元数据存储引擎

段翰聪, 向小可, 吕鹏程

文章导航 > 电子科技大学学报 > 2016 > 45(2): 221-226

段翰聪, 向小可, 吕鹏程. MUSE:一种面向云存储系统的高性能元数据存储引擎[J]. 电子科技大学学报, 2016, 45(2): 221-226.

引用本文:

段翰聪, 向小可, 吕鹏程. MUSE:一种面向云存储系统的高性能元数据存储引擎[J]. 电子科技大学学报, 2016, 45(2): 221-226.

DUAN Han-cong, XIANG Xiao-ke, Lü Peng-cheng. MUSE: A High-Performance Metadata Storage Engine for Cloud Storage System[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(2): 221-226.

Citation:

DUAN Han-cong, XIANG Xiao-ke, Lü Peng-cheng. MUSE: A High-Performance Metadata Storage Engine for Cloud Storage System[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(2): 221-226.

MUSE:一种面向云存储系统的高性能元数据存储引擎

详细信息

中图分类号: TP311

MUSE: A High-Performance Metadata Storage Engine for Cloud Storage System

摘要: 该文设计了一种高性能的面向云存储系统的元数据存储引擎(MUSE)。首先,其底层物理存储模块采用LSM-tree模型的高速key-value存储引擎LevelDB方案,通过设计多缓存表和多线程紧凑机制对该方案进行优化,使其可以充分利用内存和多核CPU并行能力;其次,提出了基于多I/O通道的元数据存取调度机制。通道之间读写操作隔离,聚合多个通道为上层提供高并发随机I/O读写能力;此外,针对上层目录命名空间管理,提出路径分割映射和全路径映射策略两种策略,可基于不同的应用场景在性能与可用性间进行折中选择。系统测试结果表明,MUSE能够很好地适应海量小文件存储场景,相对于其他元数据存储系统在性能上有显著的提升。
- I/O /
- LSM-tree /
- 海量 /
- 元数据 /
- 性能 /
- 小文件 /
- 存储引擎

[1]	ZHANG L, ZHU L G, ZENG S F. Metadata update strategy with high reliability[J]. Applied Mechanics and Materials, 2013(411): 382-385.
[2]	GHEMAWAT B S, GOBIOFF H, LEUNG S. (2003) The google file system[C]//ACM SIGOPS Operating Systems Review. Indianapolis, USA: [s.n.], 2010.
[3]	SHVACHKO K, KUANG H, RADIA S, et al. The hadoop distributed file system[C]//2010 IEEE 26th Symposium on Mass Storage Systems and Technologies (MSST). Incline Village, Nevada, USA: IEEE, 2010:1-10.
[4]	CARNS P H, LII W B L, ROSS R B, et al. PVFS: a parallel file system for Linux clusters[C]//Proceedings of the 4th Annual Linux Showcase Conference. Atlanta, Georgia, USA: 2000: 391-430.
[5]	O'NEIL P, CHENG E, GAWLICK D, et al. The log-structured merge-tree (LSM-tree)[J]. Acta Informatica, 1996, 33(4): 351-385.
[6]	CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: a distributed storage system for structured data[J]. Proceedings of Usenix Symposium on Operating Systems Design Implementation, 2006, 26(2): 205-218.
[7]	LAKSHMAN A, MALIK P. Cassandra-a decentralized structured storage system[J]. ACM Sigops Operating Systems Review, 2010, 44(2): 35-40.
[8]	BlOOM B H. Space/time trade-offs in hash coding with allowable errors[J]. Communications of the ACM, 1970, 13(7): 422-426.
[9]	ARGE L. The buffer tree: a technique for designing batched external data structures[J]. Algorithmica, 2003, 37(37): 1-24.
[10]	PERCONA INC. TokuDB[EB/OL]. (2011-1-1). https://www. percona.com/software/mysql-database/percona-tokudb.
[11]	ESMET J, BENDER M A, FARACH C M, et al. The TokuFS streaming file system[C]//Proceedings of the 4th USENIX Conference on Hot Topics in Storage and File Systems. Boston, USA: USENIX Association, 2012: 14.
[12]	BENDER M A, FARACH C M, FINEMAN J T, et al. Cache-oblivious streaming B-trees[C]//Proceedings of the Nineteenth Annual ACM Symposium on Parallel Algorithms and Architectures -SPAA '07. Santorini, Greece: ACM, 2007: 81-92.
[13]	SHREEDHAR M, VARGHESE G. Efficient fair queuing using deficit round-robin[J]. IEEE/ACM Transactions on Networking, 1996, 4(3): 375-385.

[1]	曹晖, 张秦正. 基于FSL数据集的去重性能分析 . 电子科技大学学报, 2018, 47(4): 621-625. doi: 10.3969/j.issn.1001-0548.2018.04.023
[2]	郭畅, 沈晴霓, 吴中海. 防止数据泄露的云存储数据分布优化模型 . 电子科技大学学报, 2016, 45(1): 118-122. doi: 10.3969/j.issn.1001-0548.2016.01.020
[3]	李孟, 曹晟, 秦志光. 基于Hadoop的小文件存储优化方案 . 电子科技大学学报, 2016, 45(1): 141-145. doi: 10.3969/j.issn.1001-0548.2016.01.024
[4]	朱朝文, 袁海文, 郭鑫, 马钊, 周莉梅. 基于相位滞后补偿的有源电力滤波器性能提高研究 . 电子科技大学学报, 2016, 45(3): 393-398. doi: 10.3969/j.issn.1001-0548.2016.02.014
[5]	任飞, 刘贤洪, 秦志光. 智能电视安全存储数据访问方法 . 电子科技大学学报, 2014, 43(1): 144-148. doi: 10.3969/j.issn.1001-0548.2014.01.024
[6]	周涛. 网络大数据——复杂网络的新挑战: 如何从海量数据获取信息? . 电子科技大学学报, 2013, 42(1): 7-8. doi: 10.3969/j.issn.1001-0548.2013.01.004
[7]	陈飞, 曹政, 王凯, 胡农达, 安学军. 高性能计算节点中的同步操作加速引擎设计 . 电子科技大学学报, 2012, 41(1): 92-97. doi: 10.3969/j.issn.1001-0548.2012.01.018
[8]	邱元杰, 刘心松. P2P文件系统的高效写机制 . 电子科技大学学报, 2011, 40(4): 587-591. doi: 10.3969/j.issn.1001-0548.2011.04.023
[9]	朱彬, 刘爱华, 吴成宾. I/Q通道相位不一致对LFM脉压性能的影响 . 电子科技大学学报, 2007, 36(4): 696-698,702.
[10]	吴国纲. DDoS攻击与IP拥塞控制研究 . 电子科技大学学报, 2007, 36(3): 614-616,655.
[11]	唐继勇, 许德芬, 杨峰. 播出服务器磁盘I/O与缓存性能分析 . 电子科技大学学报, 2006, 35(2): 214-216.
[12]	黄诚武, 王晟, 李乐民. 主动网流调度模型A-Flow的研究 . 电子科技大学学报, 2005, 34(4): 501-504.
[13]	罗光春, 杨俊辉, 卢显良. 基于移动代理的新型IDS维护更新机制设计 . 电子科技大学学报, 2005, 34(3): 369-372.
[14]	唐续, 刘心松, 杨峰, 刘谐. 分布式并行服务器中的高性能通信研究 . 电子科技大学学报, 2005, 34(2): 213-216.
[15]	黄克军, 杨峰, 熊梅, 李毅超. 基于DPB⁺-Tree的数据迁移策略研究 . 电子科技大学学报, 2004, 33(2): 180-183,224.
[16]	罗光春, 卢显良, 张骏, 李炯. 基于多传感器数据融合的入侵检测机制 . 电子科技大学学报, 2004, 33(1): 71-74.
[17]	魏青松, 卢显良, 任立勇, 周旭. 一种高效的磁盘队列I/O机制 . 电子科技大学学报, 2003, 32(6): 687-691.
[18]	卢军, 陈凌虎, 卢显良. 一种适应WAN的新型分层缓存管理机制 . 电子科技大学学报, 2002, 31(3): 275-280.
[19]	胥能, 徐洁, 李毅超. 基于XML的可扩展图片数据库的实现方法 . 电子科技大学学报, 2002, 31(6): 590-594.
[20]	吴跃, 邱会中, 余水, 余元辉. Web数据库性能调优 . 电子科技大学学报, 2002, 31(3): 255-261.

点击查看大图

计量

文章访问数: 4237
HTML全文浏览量: 141
PDF下载量: 279
被引次数: 0

MUSE:一种面向云存储系统的高性能元数据存储引擎

刊出日期: 2016-04-15

中图分类号: TP311

关键词:

摘要: 该文设计了一种高性能的面向云存储系统的元数据存储引擎(MUSE)。首先,其底层物理存储模块采用LSM-tree模型的高速key-value存储引擎LevelDB方案,通过设计多缓存表和多线程紧凑机制对该方案进行优化,使其可以充分利用内存和多核CPU并行能力;其次,提出了基于多I/O通道的元数据存取调度机制。通道之间读写操作隔离,聚合多个通道为上层提供高并发随机I/O读写能力;此外,针对上层目录命名空间管理,提出路径分割映射和全路径映射策略两种策略,可基于不同的应用场景在性能与可用性间进行折中选择。系统测试结果表明,MUSE能够很好地适应海量小文件存储场景,相对于其他元数据存储系统在性能上有显著的提升。