本申请公开了一种数据的处理方法、装置及电子设备，该方法应用于大数据技术领域，该方法包括：确定待写入的数据；依据分片数据表将待写入的数据写入数据仓库的目标分片中，得到更新后的数据仓库；在接收到数据查询请求的情况下，响应数据查询请求，依据分片数据表在更新后的数据仓库中查询目标数据；依据数据分析工具对目标数据进行计算和处理，得到目标数据的计算结果。通过本申请，解决了相关技术中对关系型数据库中的数据进行联机分析处理时，由于关系型数据库对海量数据进行实时处理的效率较差，无法满足联机分析处理的高时效分析需求的问题。求的问题。求的问题。
【技术实现步骤摘要】
数据的处理方法、装置及电子设备
[0001]本申请涉及大数据
，具体而言，涉及一种数据的处理方法、装置及电子设备。
技术介绍
[0002]目前，随着计算能力的增强以及网络的快速发展，金融市场外汇信息的传递速度也越来越快。金融机构为了掌握金融市场的动向，以及对金融市场的外汇信息迅速做出反应，需要及时地获取金融市场的外汇信息，并对外汇信息进行综合和分析计算，进而对金融机构的金融产品的产品价格或经营策略进行调整。现有技术中金融机构在获取金融市场的外汇信息时，可以采用信息收集工具将收集到的交易信息存储至关系型数据库中，从关系型数据库中进行数据查询，然后对查询到的数据进行分析计算，得到金融市场的交易信息。虽然关系型数据库的使用较为方便，但关系型数据库的查询效率较低，无法满足对金融市场的海量外汇信息进行高时效实时分析的需求。
[0003]针对相关技术中对关系型数据库中的数据进行联机分析处理时，由于关系型数据库对海量数据进行实时处理的效率较差，无法满足联机分析处理的高时效分析需求的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本申请的主要目的在于提供一种数据的处理方法、装置及电子设备，以解决相关技术中对关系型数据库中的数据进行联机分析处理时，由于关系型数据库对海量数据进行实时处理的效率较差，无法满足联机分析处理的高时效分析需求的问题。
[0005]为了实现上述目的，根据本申请的一个方面，提供了一种数据的处理方法，该方法包括：确定待写入的数据；依据分片数据表将所述待写入的数据写入数据仓库的目标分片中，得到更新后的数据仓库，其中，所述分片数据表中存储有所述数据仓库中数据对应的分片信息；在接收到数据查询请求的情况下，响应所述数据查询请求，依据所述分片数据表在所述更新后的数据仓库中查询目标数据；依据数据分析工具对所述目标数据进行计算和处理，得到所述目标数据的计算结果。
[0006]进一步地，在依据分片数据表将所述待写入的数据写入数据仓库的目标分片中之前，所述方法还包括：配置目标容器，并在所述目标容器中创建目标进程，其中，所述目标容器是与所述数据仓库所处容器不同的容器；采用所述目标进程创建写入节点，并启动所述写入节点。
[0007]进一步地，依据分片数据表将所述待写入的数据写入数据仓库的目标分片中包括：创建缓存队列，并将所述待写入的数据逐条写入所述缓存队列中；每经过第一预设时长确定所述缓存队列中存储的数据，得到批量数据；依据所述分片数据表，确定所述批量数据中每条数据在所述数据仓库中对应的所述目标分片；采用所述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中。
[0008]进一步地，在依据所述分片数据表在所述更新后的数据仓库中查询目标数据之前，所述方法还包括：将所述分片数据表加载至Redis缓存中；依据所述分片数据表在所述更新后的数据仓库中查询目标数据包括：通过查询节点在所述Redis缓存中获取所述分片数据表，并依据所述分片数据表在所述数据仓库的分片中获取所述目标数据，其中，所述查询节点用于在所述数据仓库中查询数据。
[0009]进一步地，在将所述分片数据表加载至Redis缓存中之前，所述方法还包括：在检测到目标对象对所述分片数据表发起修改指令的情况下，依据所述修改指令对所述分片数据表进行更新，得到更新后的分片数据表；依据所述更新后的分片数据表对所述Redis缓存中存储的分片数据表进行更新，得到更新后的分片数据表。
[0010]进一步地，采用所述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中包括：在检测到第二预设时长内所述写入节点处理的数据量大于或等于第一预设数据量的情况下，则创建第一节点，并采用所述第一节点和所述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中；在检测到所述第二预设时长内所述写入节点处理的数据量小于第二预设数据量的情况下，则删除所述第一节点，并采用所述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中。
[0011]进一步地，采用所述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中包括：在检测到第三预设时长内写入所述数据仓库的数据量大于或等于第三预设数据量的情况下，则将超过所述第三预设数据量的数据存储到消息引擎系统中；在检测到所述第三预设时长内写入所述数据仓库的数据量小于第四预设数据量的情况下，则将所述消息引擎系统中存储的数据作为所述待写入的数据，执行依据所述分片数据表将所述待写入的数据写入所述数据仓库的目标分片中的步骤。
[0012]进一步地，在接收到数据查询请求的情况下，响应所述数据查询请求，依据所述分片数据表在所述更新后的数据仓库中查询目标数据包括：若所述查询节点中存在查询时长大于第四预设时长的查询语句，则对所述查询语句进行记录和优化处理。
[0013]为了实现上述目的，根据本申请的另一方面，提供了一种数据的处理装置，该装置包括：确定单元，用于确定待写入的数据；写入单元，用于依据分片数据表将所述待写入的数据写入数据仓库的目标分片中，得到更新后的数据仓库，其中，所述分片数据表中存储有所述数据仓库中数据对应的分片信息；查询单元，用于在接收到数据查询请求的情况下，响应所述数据查询请求，依据所述分片数据表在所述更新后的数据仓库中查询目标数据；计算单元，用于依据数据分析工具对所述目标数据进行计算和处理，得到所述目标数据的计算结果。
[0014]进一步地，所述装置还包括：配置单元，用于在依据分片数据表将所述待写入的数据写入数据仓库的目标分片中之前，配置目标容器，并在所述目标容器中创建目标进程，其中，所述目标容器是与所述数据仓库所处容器不同的容器；创建单元，用于采用所述目标进程创建写入节点，并启动所述写入节点。
[0015]进一步地，所述写入单元包括：创建子单元，用于创建缓存队列，并将所述待写入的数据逐条写入所述缓存队列中；第一确定子单元，用于每经过第一预设时长确定所述缓存队列中存储的数据，得到批量数据；第二确定子单元，用于依据所述分片数据表，确定所述批量数据中每条数据在所述数据仓库中对应的所述目标分片；写入子单元，用于采用所
述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中。
[0016]进一步地，所述装置还包括：加载单元，用于在依据所述分片数据表在所述更新后的数据仓库中查询目标数据之前，将所述分片数据表加载至Redis缓存中；所述查询单元包括：获取子单元，用于通过查询节点在所述Redis缓存中获取所述分片数据表，并依据所述分片数据表在所述数据仓库的分片中获取所述目标数据，其中，所述查询节点用于在所述数据仓库中查询数据。
[0017]进一步地，所述装置还包括：第一更新单元，用于在将所述分片数据表加载至Redis缓存中之前，在检测到目标对象对所述分片数据表发起修改指令的情况下，依据所述修改指令对所述分片数据表进行更新，得到更新后的分片数据表；第二更新单元，用于依据所述更新后的分片数据表对所述Redis本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：确定待写入的数据；依据分片数据表将所述待写入的数据写入数据仓库的目标分片中，得到更新后的数据仓库，其中，所述分片数据表中存储有所述数据仓库中数据对应的分片信息；在接收到数据查询请求的情况下，响应所述数据查询请求，依据所述分片数据表在所述更新后的数据仓库中查询目标数据；依据数据分析工具对所述目标数据进行计算和处理，得到所述目标数据的计算结果。2.根据权利要求1所述的方法，其特征在于，在依据分片数据表将所述待写入的数据写入数据仓库的目标分片中之前，所述方法还包括：配置目标容器，并在所述目标容器中创建目标进程，其中，所述目标容器是与所述数据仓库所处容器不同的容器；采用所述目标进程创建写入节点，并启动所述写入节点。3.根据权利要求2所述的方法，其特征在于，依据分片数据表将所述待写入的数据写入数据仓库的目标分片中包括：创建缓存队列，并将所述待写入的数据逐条写入所述缓存队列中；每经过第一预设时长确定所述缓存队列中存储的数据，得到批量数据；依据所述分片数据表，确定所述批量数据中每条数据在所述数据仓库中对应的所述目标分片；采用所述写入节点将所述批量数据中的每条数据写入该条数据对应的所述目标分片中。4.根据权利要求1所述的方法，其特征在于，：在依据所述分片数据表在所述更新后的数据仓库中查询目标数据之前，所述方法还包括：将所述分片数据表加载至Redis缓存中；依据所述分片数据表在所述更新后的数据仓库中查询目标数据包括：通过查询节点在所述Redis缓存中获取所述分片数据表，并依据所述分片数据表在所述数据仓库的分片中获取所述目标数据，其中，所述查询节点用于在所述数据仓库中查询数据。5.根据权利要求4所述的方法，其特征在于，在将所述分片数据表加载至Redis缓存中之前，所述方法还包括：在检测到目标对象对所述分片数据表发起修改指令的情况下，依据所述修改指令对所述分片数据表进行更新，得到更新后的分片数据表；依据所述更新后的分片数据表对所述Redis缓存中存储的分片数据表进行更新，得到更新后的分片数据表。6.根据权利要求3所述的方法，其特征在于，采用所述写入节点将所述批量数据...
【专利技术属性】
技术研发人员：徐明潘，朱石存，陈赵永，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。