您所在的位置: 成果库 大规模集群云工作流分布式调度系统

大规模集群云工作流分布式调度系统

发布时间: 2022-11-25

来源: 科技服务团

基本信息

合作方式: 技术转让
成果类型: 发明专利
行业领域:
电子信息技术,计算机及网络技术
成果介绍
随着云计算技术的日趋成熟与广泛应用,云数据中心内资源的按使用付费模式以及弹性扩展能力,为大规模科学应用的分布式管理与高效执行提供了快速、灵活、可扩展的部署环境。越来越多的科学家利用工作流来构建、管理复杂的科学应用,并将其科学工作流部署或者逐步迁移到云数据中心执行。科学应用高效执行的关键是工作流调度,而调度算法的设计、调度性能以及调度方案的可实施性,直接取决于任务执行时间的估计精度。 由于存在大量的用户请求与响应,实际云数据中心的运行数据呈指数级增长。其中,工作流任务执行日志中包含了大量的任务执行时间数据及其相关影响因素数据,在数据驱动的任务执行时间预测中起着重要作用。这些日志所包含的影响因素数据可被划分为Categorical数据和Numerical数据。其中,Categorical数据与任务和资源的多样性、异构性相关,其数值离散且取值范围广,如任务名称和机器ID等;Numerical数据则与云环境、云资源的动态特性相关,其数值连续,且在一定范围内波动,如资源利用率和网络带宽等。
成果亮点
本系统结合深度学习等智能化算法机理,研究出一套云工作流智能管理与调度优化算法,面向复杂工业制造领域云工作流实现服务定制与灵活部署需求,达到云计算资源的集约利用和合理优化调度的目的,能够使大规模跨集群云数据中心资源得到充分利用。在不同典型应用场景下,尤其是在用户具有不同程度的偏好时,满足用户隐私安全保护和不同服务质量标准要求,大幅降低执行时间和耗费成本。
团队介绍
本项目来源于北京理工大学相关技术团队,北京理工大学是首批“高等学校科技成果转化和技术转移基地”,北京理工大学技术转移中心入选了“国家技术转移示范机构”,并被授予“北京市科技成果转化统筹协调与服务平台共建机构”“中关村国家自主创新示范区高校技术转移办公室”“北京理工大学专利运营办公室”等荣誉称号,是“北京高校技术转移联盟”秘书长单位和常驻地。近年来,技术转移中心所开展的相关工作被中央电视台、《人民日报》等权威媒体报道逾百次。
成果资料
产业化落地方案
点击查看