数据采集及处理的系统及方法技术方案

本发明专利技术提供了一种数据采集及处理方法，包括：自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；采集用户端口中与业务数据相关的业务信息，并对该业务信息进行暂存和计算；将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；定期将非关系内存数据库中更新的数据同步回传到远程数据库；从而在进行大量数据处理时，可直接与非关系内存数据库进行通讯，而不需要与远程数据库通讯，性能得到了最大的优化。

【技术实现步骤摘要】
数据采集及处理的系统及方法
本专利技术涉及一种计算机及通信领域数据采集及处理的系统及方法，尤其涉及一种利用非关系内存数据库的数据采集及处理的系统和方法。
技术介绍
对于传统的业务处理方式，特别是需要处理大量并行数据的业务，常常需要从远程数据库中下载数据，再从内存中检索处理指令，再在运算器中进行计算。这会导致数据来回次数过多，导致计算速度减缓。而且这种业务处理方式需要与网络数据实时连通，若网络环境不稳定，则会影响当前业务。因此，有必要提供一种改进的数据采集及处理的系统和方法以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种高效稳定的数据采集及处理的系统和方法。为实现上述目的，本专利技术提供了一种数据采集及处理方法，其特征在于，所述数据采集及处理方法包括如下步骤：S1、自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；S2、采集用户端口与S1步骤中业务数据相关的业务信息，并对该业务信息进行暂存和计算；S3、将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；S4、定期将非关系内存数据库中更新的数据同步回传到远程数据库;若干个所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据与对应的业务信息的计算结果都存储于相应的数据存储单元中;上述计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n。作为本专利技术的进一步改进，所述业务数据、与之相对应的业务信息的计算结果以及对应的数据存储单元具有相同的主键，在S1及S3步骤中进行存储操作时，将上述业务信息的计算结果及业务数据存储到非关系内存数据库中相应的数据存储单元。作为本专利技术的进一步改进，所述S2步骤具体为：S21、监听用户端口，进行业务信息的接收及回发；S22、分析业务信息，抛弃业务信息中无效的部分并将剩余有效部分拆分成不同的指令数据；S23、获取指令数据，并根据指令数据的类型依次处理；S24、针对不同的指令数据进行不同的逻辑运算。作为本专利技术的进一步改进，所述数据采集及处理方法还包括对S1至S4步骤同步进行监控，所述监控为逐层的软件监控，对S1至S4步骤的运行信息同步进行监控，并在运行异常时，对相应步骤进行重启。为实现上述目的，本专利技术提供了一种数据采集及处理系统，其特征在于，所述数据采集及处理系统包括：远程数据库，用以存储数据；采集单元，设置有若干个采集子单元，每个采集子单元包括采集线程，用以采集用户端口的业务信息，处理线程，用以对采集到的业务信息进行计算，存储线程，用以暂存计算后的数据；非关系内存数据库，包括若干个数据存储单元，用以存储从远程数据库中获取的计算需要的业务数据以及所述业务信息的计算结果；同步单元，用以连接远程数据库和非关系内存数据库，使非关系内存数据库通过该同步单元自远程数据库中获得计算需要的业务数据，同时定期将非关系内存数据库汇总的更新数据同步回传到远程数据库;所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据及对应的业务信息的计算结果都存储于相应的数据存储单元;业务信息的计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n。作为本专利技术的进一步改进，所述业务数据、与之相对应的业务信息的计算结果，以及对应的数据存储单元具有相同的主键，在非关系内存数据库中进行存储操作时，将业务信息的计算结果及业务数据存储到相应的数据存储单元。作为本专利技术的进一步改进，所述采集及处理线程包括：接收发送线程，用以监听用户端口，进行业务信息的接收及回发；用户接口，用以分析业务信息，抛弃业务信息中无效的部分并将剩余有效部分拆分成不同的指令数据，指令待处理队列，用以获取指令数据，再发送给用户接口，则用户接口针对不同的指令数据进行不同的逻辑运算。作为本专利技术的进一步改进，所述数据采集及处理系统还包括监控远程数据库、采集单元、非关系内存数据库、同步单元的监控单元，所述监控单元为逐层的软件监控，对运行信息同步进行监控，并在数据异常时，对上述远程数据库、非关系内存数据库、采集单元及同步单元进行重启，其中所述监控单元对采集单元的监控具体包括有：管理员监控，连接采集单元和用户端口，人工重启所述采集单元和用户端口；监控程序监控，连接数据采集子单元，所述数据采集子单元的内存用量超过设置范围或者所述采集子单元汇报情况超时时，自动重启采集子单元或者采集子单元的监控单元；采集子单元监控，连接采集线程以及处理线程，自动重启超过响应时间限制值的所述采集线程和处理线程；终端监控，连接终端，若长时间没有数据来往，或者多次发送数据无法成功，自动断开终端连接，等待终端自动重连。附图说明图1是本专利技术中数据采集及处理方法的流程图；图2是本专利技术中数据采集及处理系统的模块图。具体实施方式以下将结合附图所示的各实施方式对本实专利技术进行详细描述。但这些实施方式并不限制本专利技术，本领域的普通技术人员根据这些实施方式所做出的结构或功能上的变换均包含在本专利技术的保护范围内。本专利技术所述数据采集及处理方法包括以下步骤：S1、自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；所述业务数据一次性加载进非关系内存数据库中。S2、采集用户端口与S1步骤中的业务数据相关的业务信息，并对该业务信息进行暂存和计算。S2步骤具体为：S21、监听用户端口，进行数据的接收及回发；S22、将收到的数据中无效的部分剔除，并根据剩余的有效部分，将数据拆分成不同的指令数据，并且一条条添加到队列中。S23、循环获取队列中的指令，并根据指令数据的类型依次处理。S24、针对不同的指令数据进行不同的逻辑运算，并且去访问不同的数据存储单元。S3、将业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元，所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据与对应的业务信息的计算结果都存储于相应的数据存储单元内。S4、定期将非关系内存数据库中更新的数据同步回传到远程数据库，所述数据存储单元有一定的大小限量，若数据存储单元内存储的数据超过了该限量，则将所述数据存储单元内的更新的部分回传到数据存储单元内。上述S3步骤中，若在非关系内存数据库中存储或删除数据，可先缓存若干个存储或删除操作指令，或者在当前存储或删除操作时间间隔若干毫秒，进行一次批量操作。根据存储或删除操作指令，计算出要操作的数据库存储单元的范围列表，然后循环对数据进行统一的存储或删除。上述S4步骤中，在将更新的数据同步回传到远程数据库之前，需要在非关系内存数据库中定位查找更新的数据，查找方法可使用二分法快速定位记录。上述业务信息的计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n，所述业务数据、与之相对应的业务信息的计算结果以及对应的数据存储单元均具有相同的主键。所述4字节变更版本号为记录存储及删除操作的次数，所述记录内容根据不同的记录类型会有不同的定义。所述数据采集及处理方法还包括对S1至S4步骤同步进行监控，所述监控步骤为本文档来自技高网...

【技术保护点】
一种数据采集及处理方法，其特征在于，所述数据采集及处理方法包括如下步骤：S1、自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；S2、采集用户端口与S1步骤中业务数据相关的业务信息，并对该业务信息进行暂存和计算；S3、将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；S4、定期将非关系内存数据库中更新的数据同步回传到远程数据库。

【技术特征摘要】
1.一种数据采集及处理方法，其特征在于，所述数据采集及处理方法包括如下步骤：S1、自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；S2、采集用户端口与S1步骤中业务数据相关的业务信息，并对该业务信息进行暂存和计算；S3、将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；S4、定期将非关系内存数据库中更新的数据同步回传到远程数据库;若干个所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据与对应的业务信息的计算结果都存储于相应的数据存储单元中;上述计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n。2.根据权利要求1所述的数据采集及处理方法，其特征在于，所述业务数据、与之相对应的业务信息的计算结果以及对应的数据存储单元具有相同的主键，在S1及S3步骤中进行存储操作时，将上述业务信息的计算结果及业务数据存储到非关系内存数据库中相应的数据存储单元。3.根据权利要求1所述的数据采集及处理方法，其特征在于，所述S2步骤具体为：S21、监听用户端口，进行业务信息的接收及回发；S22、分析业务信息，抛弃业务信息中无效的部分并将剩余有效部分拆分成不同的指令数据；S23、获取指令数据，并根据指令数据的类型依次处理；S24、针对不同的指令数据进行不同的逻辑运算。4.根据权利要求1，所述数据采集及处理方法还包括对S1至S4步骤同步进行监控，所述监控为逐层的软件监控，对S1至S4步骤的运行信息同步进行监控，并在运行异常时，对相应步骤进行重启。5.一种数据采集及处理系统，其特征在于，所述数据采集及处理系统包括：远程数据库，用以存储数据；采集单元，设置有若干个采集子单元，每个采集子单元包括采集线程，用以采集用户端口的业务信息，处理线程，用以对采集到的业务信息进行计算，存储线程，用以暂存计算后的数据；非关系内存数据库，包括若干个数据存储单元，用以存储从远程数据库中获取的计算需要的业务数据以...

【专利技术属性】
技术研发人员：唐鸣，
申请(专利权)人：江苏百联软件有限公司，
类型：发明
国别省市：江苏;32