科创中国

行业领域

电子信息技术

需求背景

本系统方法有效的改善了原先系统进行 SQL 查询，需要专业人员写模型sal，由数据人员去数据库写脚本跑sal，操作难度大，过程繁琐，对于大量的查询或并发操作，普通人员无法操作的问题，通过本次改进后，操作简单，在编写好 SQL 模型后，只需要通过前台页面将模型导入系统,自定义存储结果的表格,设定跑批时间,通过presto数据库可以连接到各个异构数据，运行结果会自动存储到本地数据库，该方法能够将数据模型文件通过系统前端页面保存到系统存储数据库，通过设置定时任务，生成任务任务编号，由Presto引擎进行查询处理，并将结果写入系统服务存储数据库。如此，能够进行跨库跨系统的，对各个异构库进行批量查询，查询结果根据任务编号进行匹配，使最终结果一一对应，能够有效的防止大量的并发查询造成关联问题，保证了查询申请和查询结果的一致性，异构查询系统，前后端配合，用户不直接接触 SQL 引擎，并且查询结果的展示方式可以自定义。

需解决的主要技术难题

研发一种基于presto 的跨金融机构的异构数据风险分析系统，以解决现有技术中现在市面上的数据分析工具，采用针对某一类数据库或者某一数据结构，要求用户需要提前使用数据同步工具对数据进行汇聚，对原有的系统或者平台进行数据源的改造，变成统一的数据源，进行数据的分析。

数据库模块:用于存储所述 Presto 查询模块操作中的运行结果。包括创建模块，用于自定义创建表格，所表格为模型存入到数据库模块中后配置模型运行结果字段产生的结果。Presto 查询模块:对查询申请进行计算，若查询结果与查询申请的任务编号相匹配，则将数据结果存入至所述数据库模块中并在所述展示模块中展示。

期望实现的主要技术目标

技术内容:presto的跨金融机构的异构数据风险分析系统，本系统采用 B/S 架构，由编写模块、任务模块、数据库模块、Presto查询模块和展示模块设计构成，具体内容如下:编写模块:用于存储用户在编写模块中编写的模型 SQL;任务模块:用于用户在所述数据库模块中查询时生成查询任务，任务模块中生成的查询任务在所述Presto查询模块中进行计算对比，展示模块用于展示Presto 查询模块中查询的模型结果:数据库模块和任务模块之间设有任务编号管理模块，用户在所述的数据库模块中发生搜索申请时，任务模块中生成与之相应的任务编号，每一个查询申请和查询结果都生成一个任务编号，任务编号管理模块用于防止批量查询的结果和 SQL 任务匹配的关系错乱。

处理进度