一种用户隐私同意数据同步跨系统的方法技术方案

本发明专利技术公开了一种用户隐私同意数据同步跨系统的方法，具体步骤如下：从各个客户端采到用户的隐私同意数据先进入CPM系统的用户同意数据处理中心，将数据进行过滤、合并，并存储至数据库；所述用户的隐私同意数据是用户对于自己的数据可否用于营销业务的同意或不同意的授权信息；对于实时变更的数据同步：进入实时处理程序，通过webhook调用实时传输到下游系统；对于离线批量的数据同步：由定时任务调度，生成离线文件，通过共享的网络存储传递到下游系统。是一套实时和离线结合的方法，能同时满足实时性和大数据量的同意隐私数据同步。时满足实时性和大数据量的同意隐私数据同步。时满足实时性和大数据量的同意隐私数据同步。

【技术实现步骤摘要】
一种用户隐私同意数据同步跨系统的方法


[0001]本专利技术涉及用户隐私数据实时同步方法，具体涉及一种用户隐私同意数据同步跨系统的方法。

技术介绍

[0002]用户隐私一直是互联网领域被关注的重点之一，尤其在大数据营销领域，如何合理利用用户的隐私数据一直没有被很好地解决。在2021年11月，随着《中华人民共和国个人信息保护法》(简称PIPL)的颁布，首次对个人隐私数据的收集、传输、分享、利用做了明确的规范。
[0003]目前大部分的企业的官网、小程序、APP等都有了用户隐私同意授权的弹窗或单独收集页面；但这只是做到了用户隐私数据合规的第一步，即“收集”；如何正确使用收集到的用户隐私同意数据，并影响下游系统的行为才是满足个人信息保护的关键一步。比如用户不希望收到营销消息，则下游的用户触达模块就要过滤给用户发送营销消息；用户不希望自己的购买行为或订单被用来做营销分析(如打标签等)，则营销分析系统或标签系统将排除该用户。以上的这些用户隐私偏好，都需要在营销系统的整个数据生命周期中贯穿运用。
[0004]用户的隐私偏好信息具有以下特点：实时性强、数据量大。
[0005]目前业界没有针对以上数据特点的用户隐私同意数据跨系统同步的方案。

技术实现思路

[0006]针对上述问题，本专利技术的目的在于提供一种用户隐私同意数据同步跨系统的方法，是一套实时和离线结合的方法，能同时满足实时性和大数据量的同意隐私数据同步。
[0007]本专利技术的技术方案是：一种用户隐私同意数据同步跨系统的方法，具体步骤如下：从各个客户端采到用户的隐私同意数据先进入CPM系统的用户同意数据处理中心，将数据进行过滤、合并，并存储至数据库；
[0008]所述用户的隐私同意数据是用户对于自己的数据可否用于营销业务的同意或不同意的授权信息；
[0009]对于实时变更的数据同步：进入实时处理程序，通过webhook调用实时传输到下游系统；
[0010]对于离线批量的数据同步：由定时任务调度，生成离线文件，通过共享的网络存储传递到下游系统。
[0011]进一步的，对于实时变更的数据同步的具体实现方法如下：
[0012]步骤一、下游系统按照模版创建webhook接口；
[0013]步骤二、下游系统在CPM系统中订阅数据的变更；
[0014]步骤三、上游数据发生变更后发kafka消息到消息处理服务；
[0015]步骤四、消息处理服务查询所有有效的下游系统列表，并组装统一的消息体；
[0016]步骤五、将消息体和下游系统信息封装成kafka消息，发到消息发送服务；
[0017]步骤六、消息发送服务将统一的消息体依次发送给各个下游系统的接收接口webhook接口。
[0018]进一步的，如果下游系统的webhook接口暂时不可用，将在达到设定的错误次数后实行熔断，并以固定的时间间隔重试；一旦重试能够访问了，则解除熔断状态。
[0019]进一步的，对于离线批量的数据同步的具体实现方法如下：
[0020]步骤1、下游系统按约定创建一个离线同步通知接口和一个离线文件接收处理服务；
[0021]步骤2、确定批量数据的起始ID和终止ID；
[0022]步骤3、取出起始ID和终止ID之间的所有数据，生产csv文件或parquet文件；
[0023]步骤4、将生成的文件上传到指定的对方系统能访问到的网络空间；
[0024]步骤5、将文件名、路径和批次号信息通过离线同步通知接口通知下游系统；
[0025]步骤6、下游系统通过离线文件接收处理服务下载文件并批量同步到自己的数据库中。
[0026]进一步的，步骤2中确定批量数据的起始ID和终止ID：起始ID为上一次同步的最后一个ID的下一个ID；终止ID为当前最后一个ID或前一天的最后一个ID。
[0027]本专利技术的有益效果是：实时同步和离线同步的结合，可以实现用户同意授权数据往下游系统分发的绝大部分场景。即能保证实时性，也能应对大数据量的需求，并能随时触发数据的修补。这样就能保证用户同意授权数据能被下游系统正确有效地消费，同时保障了用户数据使用的合规，即《中华人民共和国个人信息保护法》(PIPL)要求的数据收集使用的合规。
附图说明
[0028]图1为用户隐私同意数据同步跨系统的方法总体设计流程图；
[0029]图2为实时同步具体实现流程图；
[0030]图3为离线同步具体实现流程图。
具体实施方式
[0031]下面结合附图对本专利技术做进一步的说明。
[0032]本实施例中提供了以下概念：
[0033]CPM(Consent&Preference Management)：用户同意信息管理系统。
[0034]用户隐私同意数据：用户对于自己的数据(如浏览记录、订单信息、个人信息等)可否用于诸如分析、打标签、推送等营销业务的同意或不同意的授权信息。这些信息随着用户量和营销业务目的增加而不断增加；并且用户可以随时改变之前同意或不同意的授权。所以这些数据具有实时性和大数据量的特点。
[0035]实时同步场景：对于用户同意或不同意的授权信息，需要立即同步到下游系统并起作用而设定的场景。一般像用户不同意(或同意)接收营销推送信息，则需要实时同步到营销自动化业务系统，从而在下一次推送计划时间前即能起作用。
[0036]离线同步场景：对于大量的存量用户同意数据，如上千万条数据，在首次全量同步到下游系统的场景。它对于实时性要求不高，但需要高效且稳定地同步所有的数据。另一种
场景是每天同步一次的数据，需要增量同步前一天所收集到的授权数据，虽然数据量没有全量同步那么大，但也采取离线同步的策略。
[0037]名词解释
[0038]·
webhook：通过自定义回调函数以及返回值，给其它应用提供实时信息的一种接口实现方式。
[0039]·
oAuth2：是目前主流的一种授权机制的第二个协议版本，用来授权第三方应用，获取用户数据。
[0040]·
secret id：用于对二次校验接口参数进行签名计算的密钥号。
[0041]·
secret key：用于对二次校验接口参数进行签名计算的密钥值。
[0042]·
kafka:一个开源流处理平台，提供一种高吞吐量的分布式发布订阅消息系统。
[0043]·
csv:一种存储表格数据(数字和文本)的纯文本格式文件，一般以逗号或制表符等指定字符分隔值。
[0044]·
parquet:是一种面向列存存储的文件格式，主要用于大数据处理框架的数据模型，和编程语言无关。
[0045]·
spark job:是一种用于高效处理大数据计算的调度任务。
[0046]·
HDFS:是一个分布式文件系统。它有着高容错性的特点，并且可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户隐私同意数据同步跨系统的方法，其特征在于：具体步骤如下：从各个客户端采到用户的隐私同意数据先进入CPM系统的用户同意数据处理中心，将数据进行过滤、合并，并存储至数据库；所述用户的隐私同意数据是用户对于自己的数据可否用于营销业务的同意或不同意的授权信息；对于实时变更的数据同步：进入实时处理程序，通过webhook调用实时传输到下游系统；对于离线批量的数据同步：由定时任务调度，生成离线文件，通过共享的网络存储传递到下游系统。2.根据权利要求1所述的一种用户隐私同意数据同步跨系统的方法，其特征在于：对于实时变更的数据同步的具体实现方法如下：步骤一、下游系统按照模版创建webhook接口；步骤二、下游系统在CPM系统中订阅数据的变更；步骤三、上游数据发生变更后发kafka消息到消息处理服务；步骤四、消息处理服务查询所有有效的下游系统列表，并组装统一的消息体；步骤五、将消息体和下游系统信息封装成kafka消息，发到消息发送服务；步骤六、消息发送服务将统一的消息体依次发送给各个下游系统的接收接口webhook接口。3.根据权利要...

【专利技术属性】
技术研发人员：周巍，
申请(专利权)人：上海欣兆阳信息科技有限公司，
类型：发明
国别省市：