基于大数据平台的数据处理系统
价格 双方协商
地区: 四川省 成都市 龙泉驿区
需求方: 五幺***公司
行业领域
新一代信息技术产业,互联网与云计算、大数据服务
需求背景
随着信息化的不断开展,各业务系统、数据中心、大数据平台独立建设,具体的数据链路如图1所述。针对不同数据需求,每个应用场景将自己需求的数据抽取,然后再进行计算,实现数据应用展示。但是存在数据分散存储,数据重复存储的问题,导致存储资源浪费,各应用场景各自分别计算,并不能很好的利用已建成的大数据平台数据存储组件。
需解决的主要技术难题
1.无法分别根据预设数据处理规则对各个类别的电力数据进行标准化处理和关联处理,无法将处理后的电力数据按照业务应用需求进行分类存储;
2.根据业务应用需求从数据存储模块获取对应的目标电力数据,难以通过离线数据计算组件或实时数据计算组件对目标电力数据进行计算,很难得到计算结果;
3.获取计算结果后,需要迅速对计算结果进行分析后按照预设输出形式进行输出;
期望实现的主要技术目标
1.数据接入模块,用于采集各个类别的电力数据,其中,电力数据的类别包括:非实时结构化数据、采集量测数据和外部数据;
2.数据存储模块,用于分别根据预设数据处理规则对各个类别的电力数据进行标准化处理和关联处理,并将处理后的电力数据按照业务应用需求进行分类存储;
3.数据计算模块,用于根据业务应用需求从数据存储模块获取对应的目标电力数据,并通过离线数据计算组件或实时数据计算组件对目标电力数据进行计算,得到计算结果;
4.分析服务模块,用于获取计算结果,并对计算结果进行分析后按照预设输出形式进行输出。
需求解析
解析单位:四川省成都市 解析时间:2022-10-27
朱玉玲
智慧云律(成都)网络服务有限公司
顾问
综合评价
处理进度