科创中国

行业领域

电子信息技术,计算机及网络技术

需求背景

随着数据仓库维护的数据量不断扩大，现有的数据仓库及其周围构建的解决方案已经无法为数据管理请求提供合理的响应时间。例如金融行业中，每天可能会有数亿甚至数十亿条新数据记录添加到金融资产数据处理系统中。为了提高响应时间，一个表的行在多台服务器上用不同的磁盘进行分区，从而能够对大表进行并行输入/输出扫描。集群中每个节点执行的操作是相同的，但是通过结构抽取的数据被自动分区，以允许每个节点独立地处理其操作符，最终使得多个关系操作符同时操作，允许流水线并行，其中产生数据流的操作符与消耗数据流的操作符并行运行。需要为各种商业智能应用分析结构化数据。

需解决的主要技术难题

1.传统解决方案难以同时保证低成本的扩展同时满足延迟要求；

2.挖掘分析应用并没有利用数据仓库，结构化数据未来的规模将使数据仓库的解决方案难以扩展。

期望实现的主要技术目标

1.配置节点的多个数据并行集群以与多个数据源通信；

2.将从多个数据源的结构化数据导出的中间数据集存储在节点的多个数据并行集

群中，所述中间数据集从多个数据源卸载；

3.利用查询引擎处理对多个数据源的所述中间数据集和所述结构化数据的语义查询，并生成查询结果，其中语义查询的处理基于反向索引映射属性值；

4.利用查询转换模块将高级语言查询转换成包括MapReduce查询的低级语言查询，所述MapReduce查询用于查询存储在节点的多个数据并行集群中的中间数据集；

处理进度