科创中国

行业领域

新一代信息技术产业,互联网与云计算、大数据服务

需求背景

大数据平台应对每一种业务场景都有一套的大数据软件优化配置参数，如果使用现有的集群管理技术，那么就需要写大量的脚本，之后在成百上千台服务器上执行自动化配置脚本，将大数据配置版本放入一虚拟机中进行运行，之后将所述虚拟机保存为一镜像文件；由于脚本都是通过人员进行编写，因此其工作量是巨大的，并且若是某一脚本中出现问题，则排查难度较大，不利于用户使用。

需解决的主要技术难题

1.需要提供一种大数据平台版本管理与快速迭代部署方法及系统；才能将大数据配置版本放入一虚拟机中进行运行，之后将所述虚拟机保存为一镜像文件； 

2.难以将大数据平台的每个版本制作一个虚拟机镜像文件，无法通过镜像文件的迭代到达整个集群的管理配置的升级迭代；

3.没有途径将镜像文件上传至镜像仓库服务器，生成不了对应的时间戳；

期望实现的主要技术目标

1)大数据配置的镜像化被和配置一致性：通过轻量级虚拟化实现了大数据配置文件的镜像化，并且通过虚拟化镜像仓库统一管理和下发版本，实现整个大数据的配置文件的一致性，不会出现版本紊乱的问题。

 2)大数据配置版本的安全验证测试：在虚拟化镜像仓库服务器对每个版本进行虚拟机环境中验证配置的正确性，避免配置异常导致的大数据集群异常问题。

3)大数据配置版本的快速迭代：通过虚拟化镜像仓库服务器，可以快速下发配置镜像版本到所有的大数据集群节点服务器，实现集群配置版本的快速迭代。

需求解析

解析单位：四川省成都市 解析时间：2022-10-25

朱玉玲

智慧云律（成都）网络服务有限公司

顾问

综合评价

通过本项目开发就可以实现为每个大数据优化配置制作一个虚拟镜像文件，大数据进程运行在这个镜像文件创建的容器中即可实现整个集群的统一优化升级配置。实现大数据平台镜像版本化管理和版本的快速迭代优化版本，改变以前需要管理一堆复杂脚本的局面，让运维管理扁平化，改变传统的分布式脚本执行，变成了分布式容器替换了。大数据配置的镜像化、配置镜像文件的集中管理、大数据配置迭代的安全测试验证、大数据配置升级迭代切换。

查看更多>

处理进度