一种上下游自动对数方法和装置制造方法及图纸

本申请实施例公开了一种上下游自动对数方法和装置，应用于客户数据平台

【技术实现步骤摘要】
一种上下游自动对数方法和装置


[0001]本申请实施例涉及数据中转技术，尤指一种上下游自动对数方法和装置
。

技术介绍

[0002]CDP(Customer Data Platform
，客户数据平台
)
是企业获取
、
管理
、
应用私域数据的系统平台，目的是为了帮助企业更好地利用数据，实现更高水平的数字化营销和运营
。
相比于
DMP(Data Management Platform
，数据管理平台
)
偏重于在企业的数字化营销中发挥作用，
CDP
则偏向于在企业的客户和潜在客户的转化与维系领域发挥价值
。
[0003]CDP
作为“小数据中台”，承接上游们各种多元异构数据的中转和沉淀，是接入和存储客户第一方的数据仓库，提供数据服务能力，它是“数据的搬运工
/
清洁工
/
仓库管理员，原则上不生产数据”。

技术实现思路

[0004]本申请实施例提供了一种上下游自动对数方法和装置，能够自动化地进行上下游对数，降低人工核对成本，且有效的减少数据传输过程中的丢失
。
[0005]本申请实施例提供了一种上下游自动对数方法，可以应用于客户数据平台
CDP
端，所述
CDP
设置有服务总线
SB
，所述方法可以包括：
[0006]基于预先在所述
SB
上订阅的会员系统
AM
建立的对数请求主题，接收所述
AM
发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识
、
数据发送时间
、
数据源和发送数据总量；
[0007]根据所述数据发送业务标识和所述数据发送时间获取所接收到的所述数据源发送数据的数据信息；所述数据信息包括接收数据总量；
[0008]将所述接收数据总量与所述发送数据总量相比较，并向预先在所述
SB
上建立的对数结果主题中发送本次对数结果
。
[0009]在本申请的示例性实施例中，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述向预先在所述
SB
上建立的对数结果主题中发送本次对数结果，包括：发送以下任意一种或多种反馈信息：
[0010]数据发送业务标识
、
数据发送时间
、
数据源
、
发送数据总量
、
接收数据总量以及丢失数据编号
。
[0011]在本申请的示例性实施例中，所述方法还可以包括：预先在所述
SB
上订阅死信队列主题
DLQ topic
，并通过死信队列查阅和处理所述
AM
向所述
CDP
传递失败的数据
。
[0012]在本申请的示例性实施例中，所述需对数数据是预设时段内所述
AM
向所述
CDP
发送的任意一个主题资源的数据
。
[0013]在本申请的示例性实施例中，所述方法还可以包括：
[0014]通过分布式文件系统
HDFS
接收并清洗所述
SB
传递成功的数据，并将清洗后的数据存入预设的
GP
数据库
。
[0015]本申请实施例还提供了一种上下游自动对数装置，设置于客户数据平台
CDP
端，所述
CDP
设置有服务总线
SB
，所述装置包括：第一处理器和第一计算机可读存储介质，所述第一计算机可读存储介质中存储有第一指令，当所述第一指令被所述第一处理器执行时，实现所述的上下游自动对数方法
。
[0016]本申请实施例还提供了一种上下游自动对数方法，应用于会员系统
AM
端，所述方法可以包括：
[0017]基于预先在服务总线
SB
上建立的对数请求主题，向客户数据平台
CDP
发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识
、
数据发送时间
、
数据源和发送数据总量；
[0018]获取预先在所述
SB
上订阅的所述
CDP
创建的对数结果主题中所述
CDP
发送的本次对数结果
。
[0019]在本申请的示例性实施例中，所述方法还可以包括：
[0020]预先申请所述
SB
上的多个主题资源；
[0021]每日对每个所述主题资源的数据进行编号并通过所述
SB
发送至所述
CDP
，并且隔日重置所述编号
。
[0022]在本申请的示例性实施例中，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述本次对数结果至少包括以下反馈信息：发送数据总量
、
接收数据总量以及丢失数据编号；
[0023]所述方法还可以包括：根据所述丢失数据编号从数据库中调取相应的丢失数据，并在预设时长内向所述
CDP
重发所述丢失数据
。
[0024]在本申请的示例性实施例中，所述方法还包括：
[0025]在发出所述对数请求以后的预设时长内未在所述对数结果主题中获取到所述本次对数结果时，确定本次对数未检测到丢失数据
。
[0026]本申请实施例提供了一种上下游自动对数装置，可以设置于会员系统
AM
端，所述装置可以包括：第二处理器和第二计算机可读存储介质，所述第二计算机可读存储介质中存储有第二指令，当所述第二指令被所述第二处理器执行时，实现所述的上下游自动对数方法
。
[0027]与相关技术相比，本申请实施例可以应用于客户数据平台
CDP
端，所述
CDP
设置有服务总线
SB
，所述方法可以包括：基于预先在所述
SB
上订阅的会员系统
AM
建立的对数请求主题，接收所述
AM
发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识
、
数据发送时间
、
数据源和发送数据总量；根据所述数据发送业务标识和所述数据发送时间获取所接收到的所述数据源发送数据的数据信息；所述数据信息包括接收数据总量；将所述接收数据总量与所述发送数据总量相比较，并向预先在所述
SB
上建立的对数结果主题中发送本次对数结果
。
通过该实施例方案，实现了自动化地进行上下游对数，降低了人工核对成本，且有效的减少了数据传输过程中的丢失
。
[0028]本申请的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种上下游自动对数方法，其特征在于，应用于客户数据平台
CDP
端，所述
CDP
设置有服务总线
SB
，所述方法包括：基于预先在所述
SB
上订阅的会员系统
AM
建立的对数请求主题，接收所述
AM
发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识
、
数据发送时间
、
数据源和发送数据总量；根据所述数据发送业务标识和所述数据发送时间获取所述数据源发送数据的数据信息；所述数据信息包括接收数据总量；将所述接收数据总量与所述发送数据总量相比较，并向预先在所述
SB
上建立的对数结果主题中发送本次对数结果
。2.
根据权利要求1所述的上下游自动对数方法，其特征在于，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述向预先在所述
SB
上建立的对数结果主题中发送本次对数结果，包括：发送以下任意一种或多种反馈信息：数据发送业务标识
、
数据发送时间
、
数据源
、
发送数据总量
、
接收数据总量以及丢失数据编号
。3.
根据权利要求1或2所述的上下游自动对数方法，其特征在于，所述方法还包括：预先在所述
SB
上订阅死信队列主题
DLQ topic
，并通过死信队列查阅和处理所述
AM
向所述
CDP
传递失败的数据
。4.
根据权利要求1或2所述的上下游自动对数方法，其特征在于，所述需对数数据是预设时段内所述
AM
向所述
CDP
发送的任意一个主题资源的数据
。5.
一种上下游自动对数装置，其特征在于，设置于客户数据平台
CDP
端，所述
CDP
设置有服务总线
SB
，所述装置包括：第一处理器和...

【专利技术属性】
技术研发人员：许德翔，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：