数据动态实时更新方法、装置及存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，提出一种数据动态实时更新方法、装置及存储介质，其中的方法包括：S1、通过STORM拓扑结构接收数据信息；S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并进行数据转换；S3、将数据转换后的数据信息存储入RTM树存储引擎，并存入一级缓存；S4、将一级缓存中的数据信息按照类型信息放入任务队列中，并依次存储入二级缓存；S5、解析存入二级缓存中的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库。本发明专利技术通过在将数据信息存储入一级缓存中，并直接从一级缓存中调用数据信息，大大提升了数据更新效率。

Method, device and storage medium for dynamic real-time updating of data

【技术实现步骤摘要】
数据动态实时更新方法、装置及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据动态实时更新方法、装置及存储介质。
技术介绍
在分布式服务器运行中，当出现更新的信息数据时，信息数据传输至数据库，然后服务器依次经缓存、内存和数据库读取数据信息。数据信息的入库和调用均需占用较多时间，增大了服务器的负载；且当对数据信息的实时性要求较高时，获取的数据为缓存或内存中过时的数据信息，存在错误率较高的问题。现有技术中通过采取定时更新的方式进行数据更新，通过配置定时器的间隔时间，例如5分钟或者10分钟一次，在到达设定间隔时段后自动调用预先设定的计划任务；定时器在固定时间触发一次定时任务引擎，进而执行数据更新脚本。当某个功能任务的执行时间较长时，则采用定时器每隔一段时间系统自动执行上述功能任务。上述方法，通过设置定时器而实现数据更新的目的；当任务界面真实触发时，不需要执行复杂的逻辑判断，即可只读取结果。但是，但是上述方法存在的弊端如下：存在及时性低、不能及时反馈当前数据的真实状态。另外一种数据更新是通过采用信息通知的方式实现，当分布式服务器中的一个数据库有数据更新，通过发通知的方式告知其他服务器进行数据同步；一旦数据库的数据发生变化，通知每个分布的服务器更新内存数据，每个分布的服务器获取消息进行更新。上述方法实时性有所增强，但是面对一些对时间实时要求较高的场景，仍存在数据更新延迟的风险。所以，亟需一种高及时性的数据动态实时更新的方法。
技术实现思路
本专利技术提供一种数据动态实时更新方法、电子装置及计算机可读存储介质，其主要通过将数据信息存储入一级缓存中，并在服务器运行时，直接从一级缓存中调用数据信息，减少了数据入库和数据更新造成的延时，从而大大缩短了数据更新时间。为实现上述目的，本专利技术还提供一种数据动态实时更新方法，应用于电子装置，方法包括：S1、通过预先设置的STORM拓扑结构接收数据信息；S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；S3、将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；S4、将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；S5、解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。数据信息按照类型信息进一步，优选的，当RTM树存储引擎内的数据信息达到阈值后，将数据信息存入一级缓存的方法包括：S110、所述RTM树存储引擎在接收数据转换后的数据信息后，计算RTM树存储引擎内已有数据信息的信息量；S120、判断所述信息量是否大于预设信息量阈值，若是，则触发RTM树存储引擎对所存储的数据信息进行归并操作；若否，则重复S110的步骤；S130、将归并操作后的数据信息存储入一级缓存。进一步，优选的，当所述RTM树存储引擎在接收数据转换后的数据信息后，还包括数据信息的类型判定过程，所述类型判定过程包括：判断所接收的数据信息的类型与设定类型是否一致，若不一致，则丢弃所述数据信息，并继续接收新的数据信息；若一致，则删除一级缓存中的原有的同类型数据信息，并将所接收的数据信息继续进行信息量阈信息量阈值的判定。进一步，优选的，在二级缓存接收一级缓存中的数据信息之前，还包括对一级缓存中数据信息的时间戳的判定过程，所述时间戳的判定过程包括：读取存入一级缓存的数据信息的时间戳，计算所述时间戳与现有时间的时间差；判定所述时间差是否大于预设的时间阈值，若大于，则判定一级缓存中的此数据信息过时，等待新的数据信息的；若小于，则判定此数据信息未过时，调取此数据信息。进一步，优选的，所述步骤S5中，对已入库二级缓存数据文件数量进行更新后，还包括：生成新的待写入二级缓存数据文件，等待下一次二级缓存数据文件的写入。为实现上述目的，本专利技术还提供一种数据动态实时更新系统，包括数据信息接收单元、数据信息转换单元、一级缓存存入单元、二级缓存存入单元以及二级缓存更新单元；其中，数据信息接收单元，用于通过预先设置的STORM拓扑结构接收数据信息；数据信息转换单元，用于通过STORM拓扑结构的发射节点接收到数据信息后，将数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；一级缓存存入单元，用于将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；二级缓存存入单元，用于将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；二级缓存更新单元，用于解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。数据信息按照类型信息。进一步，优选的，所述一级缓存存入单元包括数据信息存储模块、数据信息的信息量判定模块、数据信息归并模块以及一级缓存存入模块；其中，所述数据信息存储模块，用于所述RTM树存储引擎在接收数据转换后的数据信息后，计算RTM树存储引擎内已有数据信息的信息量；所述数据信息的信息量判定模块，用于判断所述数据信息存储模块的信息量是否大于预设信息量阈值，若是，则进入所述数据信息归并模块；所述数据信息归并模块，用于将存储于所述数据信息存储模块的信息量大于预设信息量阈值的数据信息进行归并操作；所述一级缓存存入模块，用于将所述数据信息归并模块归并操作后的数据信息存储入一级缓存。为实现上述目的，本专利技术还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中存储有数据动态实时更新程序，所述数据动态实时更新程序被所述处理器执行时实现如下步骤：S1、通过预先设置的STORM拓扑结构接收数据信息；S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；S3、将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；S4、将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所本文档来自技高网...

【技术保护点】
1.一种数据动态实时更新方法，应用于电子装置，其特征在于，所述方法包括：/nS1、通过预先设置的STORM拓扑结构接收数据信息；/nS2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；/nS3、将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；/nS4、将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；/nS5、解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。/n

【技术特征摘要】
1.一种数据动态实时更新方法，应用于电子装置，其特征在于，所述方法包括：
S1、通过预先设置的STORM拓扑结构接收数据信息；
S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；
S3、将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；
S4、将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；
S5、解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。


2.根据权利要求1所述的数据动态实时更新方法，其特征在于，所述步骤S3中，当RTM树存储引擎内的数据信息达到阈值后，将数据信息存入一级缓存的方法包括：
S110、所述RTM树存储引擎在接收数据转换后的数据信息后，计算RTM树存储引擎内已有数据信息的信息量；
S120、判断所述信息量是否大于预设信息量阈值，若是，则触发RTM树存储引擎对所存储的数据信息进行归并操作；若否，则重复S110的步骤；
S130、将归并操作后的数据信息存储入一级缓存。


3.根据权利要求2所述的数据动态实时更新方法，其特征在于，当所述RTM树存储引擎在接收数据转换后的数据信息后，还包括数据信息的类型判定过程，所述类型判定过程包括：
判断所接收的数据信息的类型与设定类型是否一致，若不一致，则丢弃所述数据信息，并继续接收新的数据信息；
若一致，则删除一级缓存中的原有的同类型数据信息，并将所接收的数据信息继续进行信息量与信息量阈值的判定。


4.根据权利要求2或3所述的数据动态实时更新方法，其特征在于，在二级缓存接收一级缓存中的数据信息之前，还包括对一级缓存中数据信息的时间戳的判定过程，所述时间戳的判定过程包括：
读取存入一级缓存的数据信息的时间戳，计算所述时间戳与现有时间的时间差；
判定所述时间差是否大于预设的时间阈值，若大于，则判定一级缓存中的此数据信息过时，等待新的数据信息的；
若小于，则判定此数据信息未过时，调取此数据信息。


5.根据权利要求1所述的数据动态实时更新方法，其特征在于，所述步骤S5中，对已入库二级缓存数据文件数量进行更新后，还包括：
生成新的待写入二级缓存数据文件，等待下一次二级缓存数据文件的写入。


6.一种数据动态实时更新系统，其特征在于，包括数据信息接收单元、数据信息转换单元、一级缓存存入单元、二级缓存存入单元以及二级缓存更新单元；其中，
数据信息接收单元，用于通过预先设置的STORM拓扑结构接收数据信息；
数据信息转换单元，用于通过STORM拓扑结构的发射节点接收到数据信息后，将数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；
一级缓存存入单元，用于将数据转换后...

【专利技术属性】
技术研发人员：李海斌，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44