话单采集系统在双活场景下的业务分流方法技术方案

本发明专利技术公开了一种话单采集系统在双活场景下的业务分流方法

【技术实现步骤摘要】
话单采集系统在双活场景下的业务分流方法、装置及系统


[0001]本专利技术涉及网络
，尤其涉及一种话单采集系统在双活场景下的业务分流方法
、
装置及系统
。

技术介绍

[0002]话单容灾是指在不同的两地分别建立数据中心，当一数据中心出现问题时，将业务切换到另一数据中心
。
但如果其中一数据中心一直冷备，则可能导致灾难发生时不敢去切到冷备的数据中心
。
最重要的是如果发生灾难进行了切换，那么需要考虑灾难机房的恢复能力，如何切换回去，数据如何恢复，还有同步数据所产生的跨机房流量问题，而现有技术的解决方式就是简单地按照用户粒度进行分流，而话单采集系统业务具有其特殊性，无法简单地按照用户粒度进行分流，因为话单采集系统数据量大
、
处理逻辑复杂
、
话单关联性和业务需求的多样性等因素，具体如下：
[0003]1.
话单采集系统的数据量大：话单采集系统通常处理的是大量的话单数据，这些数据的规模往往很大，涉及到海量的用户和交易信息
。
如果按照简单的用户粒度进行分流，会导致某些用户的数据量过大，造成负载不均衡和性能瓶颈
。
[0004]2.
话单的处理逻辑复杂：话单采集系统需要对话单进行复杂的处理和分析，包括数据清洗
、
格式转换
、
验证
、
计算等操作
。
这些操作涉及到多个步骤和多个模块的协同工作，无法简单地按照用户粒度进行分流
。
[0005]3.
话单之间的关联性：在话单采集系统中，不同用户的话单之间可能存在关联性，需要进行跨用户的数据分析和处理
。
如果按照简单的用户粒度进行分流，可能会导致关联的话单被分到不同的处理节点上，影响数据的一致性和准确性
。
[0006]4.
业务需求的多样性：不同用户的业务需求可能各不相同，需要进行个性化的处理和分析
。
如果按照简单的用户粒度进行分流，无法满足不同用户的个性化需求，导致业务处理的效果不佳
。

技术实现思路

[0007]本专利技术所要解决的技术问题是针对现有技术的上述不足，提出一种话单采集系统在双活场景下的业务分流方法
、
装置及系统
。
该方法通过采集点权重计算以及采集点归属数据中心计算，最大程度的保障了业务分配的准确性，从而能够充分利用两个数据中心的资源
。
[0008]第一方面，本专利技术提供一种话单采集系统在双活场景下的业务分流方法，所述方法包括如下步骤：
[0009]步骤
S1
：获取目标
ES
指标数据；
[0010]步骤
S2
：根据目标
ES
指标数据获得采集权重信息，所述采集权重信息包括各个采集点的权重值；
[0011]步骤
S3
：将采集权重信息分别写入第一配置中心和第二配置中心，所述第一配置
中心为
DC1
中部署的
Nacos
配置中心，所述第二配置中心为
DC2
中部署的
Nacos
配置中心；
[0012]步骤
S4
：监听第一配置中心和第二配置中心，并判断第一配置中心和第二配置中心是否正常：
[0013]若第一配置中心正常
、
且第二配置中心正常，则进入步骤
S5
；若第一配置中心正常
、
且第二配置中心异常，则将所有采集点业务均分配给
DC1
；若第一配置中心异常
、
且第二配置中心正常，则将所有采集点业务均分配给
DC2
；若第一配置中心异常
、
且第二配置中心异常，则执行错误处理并结束流程；
[0014]步骤
S5
：根据分配给
DC1
和
DC2
的业务量比例，计算出采集点归属数据中心；
[0015]步骤
S6
：根据采集点归属数据中心，对
DC1
承载的采集点任务
、
和
DC2
承载的采集点任务分别进行调度，以实现话单采集系统在双活场景下的业务分流；
[0016]其中，
DC1
和
DC2
为两个互为主备的数据中心，
DC1
上部署有第一
mysql
数据库，
DC2
上部署有第二
mysql
数据库，第一
mysql
数据库和第二
mysql
数据库之间通过
binlog
实现数据双向同步
。
[0017]进一步地，所述步骤
S1
中，是通过开源软件
ELK
进行日志收集，获得目标
ES
指标数据的
。
[0018]进一步地，所述步骤
S2
中，根据目标
ES
指标数据得到采集权重信息，具体包括步骤：
[0019]步骤
S21
：通过
Elasticsearch
连接
ES
集群，获取到所需的目标
ES
指标数据，所述目标指标数据包括各个采集点的文件数
、
文件大小及话单条数；
[0020]步骤
S22
：对获取到的目标
ES
指标数据按权重进行归一处理，获得采集权重信息
。
[0021]进一步地，所述步骤
S22
，包括如下步骤：
[0022]步骤
S221
：计算每个指标的归一化权重，所述每个指标的归一化权重是每个指标的权重在所有指标权重的占比，计算公式如下：
[0023]归一化权重＝
(
原始权重
/
总权重
)*100
％
[0024]步骤
S222
：对于每个指标，使用归一化函数对指标值进行归一化计算：
[0025]归一化指标值＝归一化权重
*(
指标值
‑
MIN)/(MAX
‑
MIN)
；
[0026]MAX
为指标最大值，
MIN
为指标最小值
。
[0027]进一步地，所述步骤
S5
，根据分配给
DC1
和
DC2
的业务量比例，计算出采集点归属数据中心，具体包括：
[0028]步骤
S51
：获取分配给两个数据中心
DC1
和
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种话单采集系统在双活场景下的业务分流方法，其特征在于，所述方法包括如下步骤：步骤
S1
：获取目标
ES
指标数据；步骤
S2
：根据目标
ES
指标数据获得采集权重信息，所述采集权重信息包括各个采集点的权重值；步骤
S3
：将采集权重信息分别写入第一配置中心和第二配置中心，所述第一配置中心为
DC1
中部署的
Nacos
配置中心，所述第二配置中心为
DC2
中部署的
Nacos
配置中心；步骤
S4
：监听第一配置中心和第二配置中心，并判断第一配置中心和第二配置中心是否正常：若第一配置中心正常
、
且第二配置中心正常，则进入步骤
S5
；若第一配置中心正常
、
且第二配置中心异常，则将所有采集点业务均分配给
DC1
；若第一配置中心异常
、
且第二配置中心正常，则将所有采集点业务均分配给
DC2
；若第一配置中心异常
、
且第二配置中心异常，则执行错误处理并结束流程；步骤
S5
：根据分配给
DC1
和
DC2
的业务量比例，计算出采集点归属数据中心；步骤
S6
：根据采集点归属数据中心，对
DC1
承载的采集点任务
、
和
DC2
承载的采集点任务分别进行调度，以实现话单采集系统在双活场景下的业务分流；其中，
DC1
和
DC2
为两个互为主备的数据中心，
DC1
上部署有第一
mysql
数据库，
DC2
上部署有第二
mysql
数据库，第一
mysql
数据库和第二
mysql
数据库之间通过
binlog
实现数据双向同步
。2.
根据权利要求1所述的话单采集系统在双活场景下的业务分流方法，其特征在于，所述步骤
S1
中，是通过开源软件
ELK
进行日志收集，获得目标
ES
指标数据的
。3.
根据权利要求1所述的话单采集系统在双活场景下的业务分流方法，其特征在于，所述步骤
S2
中，根据目标
ES
指标数据得到采集权重信息，具体包括步骤：步骤
S21
：通过
Elasticsearch
连接
ES
集群，获取到所需的目标
ES
指标数据，所述目标指标数据包括各个采集点的文件数
、
文件大小及话单条数；步骤
S22
：对获取到的目标
ES
指标数据按权重进行归一处理，获得采集权重信息
。4.
根据权利要求3所述的话单采集系统在双活场景下的业务分流方法，其特征在于，所述步骤
S22
，包括如下步骤：步骤
S221
：计算每个指标的归一化权重，所述每个指标的归一化权重是每个指标的权重在所有指标权重的占比，计算公式如下：归一化权重＝
(
原始权重
/
总权重
)*100
％步骤
S222
：对于每个指标，使用归一化函数对指标值进行归一化计算：归一化指标值＝归一化权重
*(
指标值
‑
MIN)/(MAX
‑
MIN)
；
MAX
为指标最大值，
MIN
为指标最小值
。5.
根据权利要求1所述的话单采集系统在双活场景下的业务分流方法，其特征在于，所述步骤
S5
，根据分配给
DC1
和
DC2
的业务量比例，计算出采集点归属数据中心，具体包括：步骤
S51
：获取分配给两个数据中心
DC1
和
DC2
中的业务量分流比，将两个业务量分流进行比较，得出分流比较大的数据中心为
X
，分流比较小的数据中心为
Y
；
步骤
S52
：将采集点权重所占百分比数据从大到小排序；步骤
S53
：创建一个空的列表
list1
用于存放归属于分流比
X
的采集点，创建一个空的列表
list2
用于存放归属于分流比
Y
的采集点；步骤
S54
：遍历排序后的采集点权重数据列表：对于每个采集点权重值，将其加到记录累加值
Z
上，并将当前采集点写入列表
list1
；判断记录累加值
Z
是否大于或等于分流比
X
，若满足条件，则跳出循环，结束遍历；其中记录累加值
Z
的初始值为0；步骤
S55
：遍历结束后，将剩余未遍历到的采集点写入列表
list2
；步骤
S56
：采集点列表
list1
归属于分流比
X
对应的数据中心，采集点列表
list2
归属于分流比
Y
对应的数据中心，以得到采集点归属数据中心
。6.
根据权利要求1至5任一项所述的话单采集系统在双活场景下的业务分流方法，其特征在于，所述...

【专利技术属性】
技术研发人员：谭文欣，王海龙，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：