本发明专利技术公开了物联网海量业务话单处理系统、方法、装置及存储介质，包括：应用软件服务层，用于采集第一业务话单，并对第一业务话单进行格式化、分析、去重、合并以及分发处理得到第一话单文件和第一话单消息，进而上传第一话单文件和第一话单消息；平台环境服务层，部署有分布式文件系统、分布式协调服务、资料数据库以及流式处理框架，用于接收第一话单文件和第一话单消息，并根据第一话单文件对资料数据库进行全量同步，根据第一话单消息对资料数据库进行增量同步；基础设施服务层，包括底层云主机，用于提供计算资源池、存储资源池以及网络资源池。本发明专利技术提高了业务话单的处理效率，也优化了用户的使用感知，可广泛应用于数据处理技术领域。理技术领域。理技术领域。
【技术实现步骤摘要】
物联网海量业务话单处理系统、方法、装置及存储介质
[0001]本专利技术涉及数据处理
，尤其是一种物联网海量业务话单处理系统、方法、装置及存储介质。
技术介绍
[0002]目前随着工业物联网的不断发展，客户对物联网的使用需求在不断增加，物联网的开卡量也不断上升，随着用户数的不断增加，话单数也呈现出指数级的增长，原有的系统架构已经不能支撑海量用户数据话单的处理，需要开发一套新的系统架构来支撑目前的用户的话单的处理，从而能对用户进行实时的计费、分析，提供用户实时的查询和定制化的使用。
[0003]因物联网业务的独特性，用户大多会对流量使用敏感，需要对已经使用的流量总量、使用详情进行实时/准实时的查询，同时物联网业务根据工信部的要求，有限额管控和大量达量断网的场景，导致无法像人联网一样可以适当减少话单的数量无法，拉长话单的生产时间，增加话单使用流量的落单机制。目前日均话单量达到32亿，基于HBASE处理话单的模式已经出现了瓶颈，但是使用量的汇聚计算通过原连接数持续增长，系统支撑能力需要持续增强，因此需要对计费架构进行整体优化，需要一个新的技术架构来实时/准实时处理海量物联网用户数据话单。
技术实现思路
[0004]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0005]为此，本专利技术实施例的一个目的在于提供一种高效的物联网海量业务话单处理系统。
[0006]本专利技术实施例的另一个目的在于提供一种物联网海量业务话单处理方法。
[0007]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0008]第一方面，本专利技术实施例提供了一种物联网海量业务话单处理系统，包括：
[0009]应用软件服务层，所述应用软件服务层用于采集第一业务话单，并对所述第一业务话单进行格式化、分析、去重、合并以及分发处理得到第一话单文件和第一话单消息，进而上传所述第一话单文件和所述第一话单消息；
[0010]平台环境服务层，所述平台环境服务层部署有分布式文件系统、分布式协调服务、资料数据库以及流式处理框架，所述平台环境服务层用于接收所述第一话单文件和所述第一话单消息，并根据所述第一话单文件对所述资料数据库存储的话单数据进行全量同步，根据所述第一话单消息对所述资料数据库存储的话单数据进行增量同步；
[0011]基础设施服务层，所述基础设施服务层包括底层云主机，所述底层云主机用于提供计算资源池、存储资源池以及网络资源池。
[0012]进一步地，在本专利技术的一个实施例中，所述应用软件服务层包括：
[0013]采集引擎，所述采集引擎用于采集物联网话单网元设备的所述第一业务话单；
[0014]全流程引擎，所述全流程引擎用于对所述第一业务话单和所述资料数据库存储的用户资料信息进行格式化、分析、去重、合并以及分发处理得到所述第一话单文件和所述第一话单消息；
[0015]上传引擎，所述上传引擎用于上传所述第一话单文件和所述第一话单消息。
[0016]进一步地，在本专利技术的一个实施例中，所述全流程引擎包括：
[0017]格式化单元，所述格式化单元用于对所述第一业务话单进行格式化处理得到第二话单文件和第二话单消息；
[0018]分析单元，所述分析单元用于对所述第二话单信息进行分析处理得到第三话单文件和第三话单消息；
[0019]去重单元，所述去重单元用于对所述第三话单消息进行去重处理得到第四话单文件和第四话单消息；
[0020]消息分发单元，所述消息分发单元用于对所述第四话单消息进行分发处理得到所述第一话单消息，并将所述第一话单消息发送至所述上传引擎；
[0021]文件分发单元，所述文件分发单元用于对所述第四话单文件进行分发处理得到所述第一话单文件，并将所述第一话单文件发送至所述上传引擎。
[0022]进一步地，在本专利技术的一个实施例中，所述全流程引擎还包括：
[0023]合并单元，所述合并单元用于对所述第二话单文件、所述第三话单文件、所述第四话单文件以及所述第一话单消息进行合并处理得到所述用户资料信息，并通过所述分布式文件系统将所述用户资料信息异步存储至所述资料数据库。
[0024]进一步地，在本专利技术的一个实施例中，所述平台环境服务层包括分布式缓存架构，所述分布式缓存架构包括：
[0025]HBase单元，所述HBase单元用于存储所述资料数据库；
[0026]引擎节点，所述引擎节点包括REST服务单元、Redis单元以及无主模块，所述无主模块用于与所述Redis单元和所述HBase单元进行数据交互，实现所述引擎节点的本地缓存机制；
[0027]接口机，所述接口机包括资料接口和控制台，所述控制台通过所述资料接口与所述HBase单元进行数据交互，所述控制台用于控制所述REST服务单元。
[0028]进一步地，在本专利技术的一个实施例中，所述平台环境服务层还包括：
[0029]缓存更新服务模块，所述缓存更新服务模块用于通过所述分布式协调服务向所述资料接口发送资料变更指令，并通过所述分布式文件系统将资料变更内容传递至所述资料接口，使得所述资料接口对所述资料数据库进行资料更新。
[0030]进一步地，在本专利技术的一个实施例中，所述平台环境服务层还包括：
[0031]增量解析模块，所述增量解析模块用于对所述第一业务消息进行解析得到第一解析文件，将所述第一解析文件和所述第一业务消息保存至所述分布式文件系统，并生成相应的数据索引表。
[0032]第二方面，本专利技术实施例提供了一种物联网海量业务话单处理方法，包括以下步骤：、
[0033]通过应用软件服务层采集第一业务话单，并对所述第一业务话单进行格式化、分析、去重、合并以及分发处理得到第一话单文件和第一话单消息，进而上传所述第一话单文
件和所述第一话单消息；
[0034]通过平台环境服务层接收所述第一话单文件和所述第一话单消息，并根据所述第一话单文件对资料数据库存储的话单数据进行全量同步，根据所述第一话单消息对所述资料数据库存储的话单数据进行增量同步；
[0035]其中，所述平台环境服务层部署有分布式文件系统、分布式协调服务、资料数据库以及流式处理框架，所述平台环境服务层通过设置在基础设施服务层的底层云主机提供计算、存储以及网络通信服务。
[0036]第三方面，本专利技术实施例提供了一种物联网海量业务话单处理装置，包括：
[0037]至少一个处理器；
[0038]至少一个存储器，用于存储至少一个程序；
[0039]当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种物联网海量业务话单处理方法。
[0040]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种物联网海量业务话单处理方法。
[0041]本专利技术的优点和有益效果本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种物联网海量业务话单处理系统，其特征在于，包括：应用软件服务层，所述应用软件服务层用于采集第一业务话单，并对所述第一业务话单进行格式化、分析、去重、合并以及分发处理得到第一话单文件和第一话单消息，进而上传所述第一话单文件和所述第一话单消息；平台环境服务层，所述平台环境服务层部署有分布式文件系统、分布式协调服务、资料数据库以及流式处理框架，所述平台环境服务层用于接收所述第一话单文件和所述第一话单消息，并根据所述第一话单文件对所述资料数据库存储的话单数据进行全量同步，根据所述第一话单消息对所述资料数据库存储的话单数据进行增量同步；基础设施服务层，所述基础设施服务层包括底层云主机，所述底层云主机用于提供计算资源池、存储资源池以及网络资源池。2.根据权利要求1所述的一种物联网海量业务话单处理系统，其特征在于，所述应用软件服务层包括：采集引擎，所述采集引擎用于采集物联网话单网元设备的所述第一业务话单；全流程引擎，所述全流程引擎用于对所述第一业务话单和所述资料数据库存储的用户资料信息进行格式化、分析、去重、合并以及分发处理得到所述第一话单文件和所述第一话单消息；上传引擎，所述上传引擎用于上传所述第一话单文件和所述第一话单消息。3.根据权利要求2所述的一种物联网海量业务话单处理系统，其特征在于，所述全流程引擎包括：格式化单元，所述格式化单元用于对所述第一业务话单进行格式化处理得到第二话单文件和第二话单消息；分析单元，所述分析单元用于对所述第二话单信息进行分析处理得到第三话单文件和第三话单消息；去重单元，所述去重单元用于对所述第三话单消息进行去重处理得到第四话单文件和第四话单消息；消息分发单元，所述消息分发单元用于对所述第四话单消息进行分发处理得到所述第一话单消息，并将所述第一话单消息发送至所述上传引擎；文件分发单元，所述文件分发单元用于对所述第四话单文件进行分发处理得到所述第一话单文件，并将所述第一话单文件发送至所述上传引擎。4.根据权利要求3所述的一种物联网海量业务话单处理系统，其特征在于，所述全流程引擎还包括：合并单元，所述合并单元用于对所述第二话单文件、所述第三话单文件、所述第四话单文件以及所述第一话单消息进行合并处理得到所述用户资料信息，并通过所述分布式文件系统将所述用户资料信息异步存储至所述资料数据库。5.根据权利要求1至4中任一项所述的一种物联网海量业务话单处理系统，其特...
【专利技术属性】
技术研发人员：韩炜，王亚磊，曾庆佳，李婷婷，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。