科学工作流与高性能计算集成方案

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

科学工作流与高性能计算集成方案

赵勇, 李有福, 李小龙, 刘鹏, 田文洪

文章导航 > 电子科技大学学报 > 2014 > 43(3): 457-463

赵勇, 李有福, 李小龙, 刘鹏, 田文洪. 科学工作流与高性能计算集成方案[J]. 电子科技大学学报, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

引用本文:

赵勇, 李有福, 李小龙, 刘鹏, 田文洪. 科学工作流与高性能计算集成方案[J]. 电子科技大学学报, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

ZHAO Yong, LI You-fu, LI Xiao-long, LIU Peng, TIAN Wen-hong. An Approach to Integrate Scientific Workflow with High Performance Computing[J]. Journal of University of Electronic Science and Technology of China, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

Citation:

ZHAO Yong, LI You-fu, LI Xiao-long, LIU Peng, TIAN Wen-hong. An Approach to Integrate Scientific Workflow with High Performance Computing[J]. Journal of University of Electronic Science and Technology of China, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

科学工作流与高性能计算集成方案

doi: 10.3969/j.issn.1001-0548.2014.03.024

1.
电子科技大学计算机科学与工程学院成都 611731

基金项目:

国家自然科学基金(61034005, 61073175)

作者简介:
赵勇(1971-),男,博士,教授,主要从事云计算、网格计算、高性能计算、大数据处理和工作流等方面的工作.

中图分类号: TP302.7

An Approach to Integrate Scientific Workflow with High Performance Computing

1.
School of Computer Science and Engineering,University of Electronic and Science Technology of China Chengdu 611731

摘要: 科学工作流为科学计算提供了工作流定义、流程管理和任务并行化等支持，高性能计算为大规模数据处理提供了集群管理、任务管理、资源调度等机制. 如今正进入一个"大数据"时代，将科学工作流系统与高性能计算结合实现高性能计算平台上大规模并行计算具有重要意义. 集成中间件与上层工作流系统和底层高性能计算平台进行交互，提供任务提交与状态监控功能. 同时，集成方案为分布式集群中计算平台提供新的参考实现. 基于上述分析以Swift科学工作流与Windows高性能计算平台集成方案为例，通过NASA MODIS图片处理工作流来分析并验证集成方案的可行性和性能.
- 计算平台 /
- 分布式集群 /
- 高性能计算 /
- 大规模并行计算 /
- 科学工作流
Abstract: Scientific workflow provides scientific computing with workflow specification, workflow process management, task parallelism, etc. High performance computing provides mechanisms and development interfaces such as cluster management, task management, task scheduling, etc. to scientific computing. While we are entering into a "big data" era, it is necessary to integrate scientific workflow with high performance computing to implement the large scale parallel computing on high performance computing platform. The integration middleware interact with upper workflow systems and underlying HPC platform provides the support for task submission and status monitoring. The integration architecture will be a reference solution to the construction of computing platforms in distributed cluster environment. Taking Swift scientific workflow system and Windows HPC platform integration solution as references, a case study by using a NASA MODIS image processing workflow is presented to analyze and demonstrate the capability of the integrated system.
- computing platform /
- distributed cluster /
- high performance computing /
- large scale parallel computing /
- scientific workflow

[1]	李睿琪, 刘晨馨, 尚璠, 狄增如. 系统科学视角下的城市建模与城市计算研究进展 . 电子科技大学学报, 2022, 51(5): 786-799. doi: 10.12178/1001-0548.2022048
[2]	钱吉裕, 魏涛, 王韬, 李秋燕, 吴传贵. 高性能硅基微流道优化方法研究 . 电子科技大学学报, 2020, 49(1): 92-97. doi: 10.12178/1001-0548.2018250
[3]	何怀文, 傅瑜. 批量到达下的IaaS云计算中心服务性能评价 . 电子科技大学学报, 2015, 44(3): 445-450. doi: 10.3969/j.issn.1001-0548.2015.03.022
[4]	吴浩洋, 王韬, 陈佳华, 龚健, 李晓光, 张高瀚, 吕松武. GRT:高性能可定制无线网络底层软硬件开放平台 . 电子科技大学学报, 2015, 44(1): 123-128. doi: 10.3969/j.issn.1001-0548.2015.01.021
[5]	王磊, 卢显良, 陈明燕, 张伟, 张顺生. 基于多核计算的雷达并行仿真结构 . 电子科技大学学报, 2014, 43(1): 113-118. doi: 10.3969/j.issn.1001-0548.2014.01.019
[6]	周俊, 彭凯, 刘大刚. 基于高层数据模型库的三维粒子模拟程序研究 . 电子科技大学学报, 2014, 43(4): 530-536. doi: 10.3969/j.issn.1001-0548.2014.04.010
[7]	陈飞, 曹政, 王凯, 胡农达, 安学军. 高性能计算节点中的同步操作加速引擎设计 . 电子科技大学学报, 2012, 41(1): 92-97. doi: 10.3969/j.issn.1001-0548.2012.01.018
[8]	李建江, 路川, 张磊. 基于指导语句的CUDA程序性能分析工具研究与实现 . 电子科技大学学报, 2012, 41(2): 280-284. doi: 10.3969/j.issn.1001-0548.2012.02.021
[9]	肖波, 聂晓文, 侯孟书. DHT网络规模估计算法的定量分析与设计 . 电子科技大学学报, 2011, 40(2): 261-266. doi: 10.3969/j.issn.1001-0548.2011.02.021
[10]	陈建英, 刘心松. 基于大规模分布式副本定位的分级索引压缩机制 . 电子科技大学学报, 2011, 40(4): 554-558. doi: 10.3969/j.issn.1001-0548.2011.04.016
[11]	赖生建, 王秉中, 黄廷祝. 共享内存系统中高效并行FDTD计算方案 . 电子科技大学学报, 2010, 39(5): 680-683. doi: 10.3969/j.issn.1001-0548.2010.05.007
[12]	廖勇, 熊光泽, 陈旭东, 桑楠, 朱清新. 分布式实时嵌入式系统端到端性能确保 . 电子科技大学学报, 2007, 36(3): 541-544.
[13]	彭涛, 唐斌. 一种分布式信号源的参数估计算法 . 电子科技大学学报, 2005, 34(5): 611-613,664.
[14]	唐续, 刘心松, 杨峰, 刘谐. 分布式并行服务器中的高性能通信研究 . 电子科技大学学报, 2005, 34(2): 213-216.
[15]	方英武, 张广鹏, 吴德伟, 黄玉美, 赵修斌, 王轶. 分布式数据挖掘计算过程——DDCP算法研究 . 电子科技大学学报, 2003, 32(1): 80-84.
[16]	刘一钫, 张云勇, 刘锦德. 基于移动Agent的分布式信息系统平台研究 . 电子科技大学学报, 2002, 31(6): 595-601.
[17]	陈文宇, 桑楠. 分布式实时计算系统的一种调试方法 . 电子科技大学学报, 2001, 30(5): 503-506.
[18]	任立勇, 卢显良. 基于串-并行计算BP网络拓扑结构的研究与实现 . 电子科技大学学报, 2000, 29(2): 197-200.
[19]	陈泽祥, 成建波. 投影管磁聚焦系统场分布的数值计算 . 电子科技大学学报, 1998, 27(4): 407-410.
[20]	唐应辉. 排队模型中计算队长分布的递推式 . 电子科技大学学报, 1997, 26(3): 298-302.

WeChat

点击查看大图

计量

文章访问数: 4320
HTML全文浏览量: 126
PDF下载量: 85
被引次数: 0

科学工作流与高性能计算集成方案

doi: 10.3969/j.issn.1001-0548.2014.03.024

1. 电子科技大学计算机科学与工程学院成都 611731

基金项目:

国家自然科学基金(61034005, 61073175)

作者简介:
赵勇(1971-),男,博士,教授,主要从事云计算、网格计算、高性能计算、大数据处理和工作流等方面的工作.

收稿日期: 2013-03-20
修回日期: 2013-09-06
刊出日期: 2014-06-15

中图分类号: TP302.7

关键词:

摘要: 科学工作流为科学计算提供了工作流定义、流程管理和任务并行化等支持，高性能计算为大规模数据处理提供了集群管理、任务管理、资源调度等机制. 如今正进入一个"大数据"时代，将科学工作流系统与高性能计算结合实现高性能计算平台上大规模并行计算具有重要意义. 集成中间件与上层工作流系统和底层高性能计算平台进行交互，提供任务提交与状态监控功能. 同时，集成方案为分布式集群中计算平台提供新的参考实现. 基于上述分析以Swift科学工作流与Windows高性能计算平台集成方案为例，通过NASA MODIS图片处理工作流来分析并验证集成方案的可行性和性能.

English Abstract

赵勇, 李有福, 李小龙, 刘鹏, 田文洪. 科学工作流与高性能计算集成方案[J]. 电子科技大学学报, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

引用本文:

赵勇, 李有福, 李小龙, 刘鹏, 田文洪. 科学工作流与高性能计算集成方案[J]. 电子科技大学学报, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

ZHAO Yong, LI You-fu, LI Xiao-long, LIU Peng, TIAN Wen-hong. An Approach to Integrate Scientific Workflow with High Performance Computing[J]. Journal of University of Electronic Science and Technology of China, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

Citation:

ZHAO Yong, LI You-fu, LI Xiao-long, LIU Peng, TIAN Wen-hong. An Approach to Integrate Scientific Workflow with High Performance Computing[J]. Journal of University of Electronic Science and Technology of China, 2014, 43(3): 457-463. doi: 10.3969/j.issn.1001-0548.2014.03.024

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

期刊在线

编辑办公

友情链接

电子科技大学

版权所有 © 《电子科技大学学报》编辑部

地址: 成都市建设北路二段四号电子科技大学主楼中350室电话: 028-83202308,83207559 Email: xuebao@uestc.edu.cn

本系统由北京仁和汇智信息技术有限公司开发