基于大数据联邦学习架构下的深度伪造溯源系统技术方案

本发明专利技术公开了基于大数据联邦学习架构下的深度伪造溯源系统，包括依次顺序连接的应用层、接口层、逻辑层、网络层和存储层；应用层用于为用户提供深度伪造溯源服务，并获取用户登录和上传数据；接口层用于提供接口服务，实现服务器端和web端之间通信；逻辑层用于划分系统功能，并设计算法构建模型实现系统功能逻辑；网络层用于进行参数交换，并对建模过程中的梯度信息进行加密；存储层用于接收传输的参数信息和加密信息，并存储在本地数据库和区块链网络中。本发明专利技术提出联邦防伪溯源链的整体架构，建立联邦防伪、异常溯源、风险预测三重机制，在能够防范Web安全威胁的同时还能够有效解决针对联邦学习的数据投毒与单点故障问题。解决针对联邦学习的数据投毒与单点故障问题。解决针对联邦学习的数据投毒与单点故障问题。

【技术实现步骤摘要】
基于大数据联邦学习架构下的深度伪造溯源系统


[0001]本专利技术涉及深度伪造检测
，尤其涉及一种基于大数据联邦学习架构下的深度伪造溯源系统。

技术介绍

[0002]智慧城市概念提出至今已经超过十年，截至2020年，住建部公布的智慧城市试点数量已经达到290个。而在新一代信息技术与城市现代化深度融合的进程中，人脸识别系统被广泛应用于多个涉及国计民生的重要领域，成为推进智慧城市建设的有利武器。根据南方都市报统计，2020年中国人脸识别主要应用场景如如图1
‑1‑
1所示。人脸识别技术以其不可复制性、非接触性、可扩展性和快速性等特点成为多种生物识别技术中的明珠。一线城市基于生物特征的身份认证系统部署已经超过十万个，每天都有PB级的视频信息产生。
[0003]人脸信息属于个人独有的生物识别信息，一旦泄露，将严重威胁用户的财产安全、隐私安全等。然而，当下社会不少商家利用摄像头盗取人脸信息，进行精准报价及风险规避。同时，可用于生成逼真、虚假或人为操控的音视频机器学习模型DeepFake逐渐见诸报端，成为媒体争相报道的对象，并成为新兴的网络安全威胁。但随着人工智能技术的飞速发展，网络犯罪分子利用基于深度学习的深度伪造技术进行终端摄像认证设备欺骗攻击的行为越来越多。随着深度伪造技术的不断进步，人脸识别系统现有的生物活性检测仍有可能被深度伪造攻击。
[0004]目前，利用DeepFake的相关软件技术如Face2Face，FaceSwap，DeepFake方法以及3D打印技术，可以很容易地生成并制作高清的3D面具，是人脸识别系统安全性潜在的巨大挑战。目前，已有相关风险事件发生。如2020年1月，浙江省衢州市中级人民法院刑事裁定书，披露了一个犯罪团伙通过软件将公民头像照片制作成3D头像，骗过支付宝的人脸识别后注册新用户，以此“薅羊毛”的案件。又如，美国圣地亚哥的一家人工智能公司Kneron对人脸识别进行了一项测试，其使用一家日本特种口罩制造商制作的高清3D面具，在世界多地成功欺骗了人脸识别系统，其中包括中国的支付宝和微信的人脸识别支付系统，完成了购物支付程序。在荷兰最大的机场史基浦机场，Kneron团队用手机屏幕上的一张照片骗过了自助登机终端的传感器。该团队还宣称，其用同样的方式进入了中国的火车站。相似的事件还有很多，无不说明Deepfake对人脸识别的冲击。
[0005]与之相关的，深度伪造检测依旧面临着很多技术瓶颈。首先，深度伪造检测算法的准确性仍有待提高。在脸书牵头，微软、亚马逊和麻省理工等知名企业与高校联合举办的DeepFake Detection Challenge(DFDC)人脸视频深度伪造检测挑战赛中，冠军队伍的Cross Entropy Loss都仍在0.42以上，检测效果不够理想。同时，在2020年的新深度伪造数据集Celeb
‑
DF中，现存主流DeepFake Detection算法平均ROC
‑
AUC得分只有56.9，大量检测手段在其上失效，急需新的有效的深度伪造检测算法应对日益发展的深度伪造生成模型。目前存在的一大痛点问题为，现存的大量深度伪造检测模型中，大多数都是基于对视频帧的分析，这种分析方式一般较为高效。但由于忽略了时间信息，无法从帧间的变化中进行深
入分析，所以识别率还有较多不足，并且神经网络方法内部检测过程可解释性匮乏，其“黑盒”特性导致取证存在一定困难。即便运用到联邦学习场景下，也会面临现有的联邦学习框架可处理的数据结构较为简单，多数只能用于实验性的机器学习场景，不能适用于更复杂的场景，整体架构亟待改善这一痛点问题。
[0006]其次，目前隐私保护带来的数据孤岛问题不利于深度伪造检测模型训练。国内外数据监管法律体系也在不断变得严格。在这种条件下，集中式数据收集的传统机器学习方法不再符合严格的数据保护法规。而AI人脸识别系统的成功很大程度上是建立在巨大数量的图像数据的可获得性基础上，很多机构有庞大用户带来的大量且高质量的数据，并由于数据隐私、监管风险、缺乏激励等原因并不愿意直接共享数据。与人脸检测相关的数据隐私、数据孤岛等问题成为了大数据环境下的深度伪造检测瓶颈。
[0007]最后，实际应用中服务使用者通常希望能够对伪造进行溯源，并能够对相应风险进行防控。视频伪造会侵犯视频主人公的肖像权等合法权益，但如果仅仅只是对视频伪造的检测会导致视频伪造的人一直不会受到应有的惩罚。因此，溯源功能可以找到视频上传、转发所经过的所有用户，并通过视频信息的对比从而找到伪造视频内容的人。因而还需要采取技术手段提供实用的溯源工具以及实用性强的风险预测算法。综上所述，生物特征认证系统的安全问题已经成为智慧城市建设发展的瓶颈问题，采取有效措施遏制深度伪造的滥用风险已经迫在眉睫。

技术实现思路

[0008]本专利技术的目的在于克服现有技术的不足，提供了基于大数据联邦学习架构下的深度伪造溯源系统，在核心算法上融合了与时俱进的伪造检测方法和技术，通过在联邦学习架构下利用原始数据集的多维度信息，基于时空序列特征和残差网络的卷积神经网络(3DRes)，以数据驱动的方式实现对深度伪造视频的分析和识别，并经过对训练结果的性能评估，解决人脸识别深度伪造问题，能够为智慧城市落地提供更加安全、精确、更具有成长性的服务。
[0009]本专利技术的目的是通过以下技术方案来实现的：
[0010]基于大数据联邦学习架构下的深度伪造溯源系统，包括依次顺序连接的应用层、接口层、逻辑层、网络层和存储层；
[0011]应用层，用于通过Web端浏览器应用为用户提供深度伪造溯源服务，并获取用户登录和上传数据；
[0012]接口层，用于提供接口服务，实现服务器端和web端之间通信；
[0013]逻辑层，用于划分系统功能，并设计算法构建模型实现系统功能逻辑；
[0014]网络层，用于进行逻辑层和存储层之间的参数交换，并对逻辑层建模过程中的梯度信息进行加密；
[0015]存储层，用于接收网络层传输的参数信息和加密信息，并分别存储在本地数据库和区块链网络中。
[0016]具体的，所述逻辑层包括登录注册模块、攻击防范模块、联邦学习模块、区块链溯源模块、深度伪造检测模块和风险预测模块；其中，
[0017]登录注册模块用于对用户输入的信息进行身份认证和字符串形态预校验判断，并
返回判断结果和登录会话记录至服务器；
[0018]攻击方法模块用于对模型训练数据进行样本投毒攻击排查，将每个参与方接入的数据源链接到区块链提供的分布式账本上进行数据审计；
[0019]深度伪造检测模块用于设计3DRes深度伪造检测算法，并对原始数据集进行预处理，通过构建3DRes深度伪造检测模型对用户上传的数据进行深度伪造检测；
[0020]联邦学习模块用于根据预处理后的原始数据集和应用层传递的用户信息进行横向联邦学习训练，并输出训练获得的模型；
[0021]区块链溯源模块用于构建联邦防伪溯源链，并调用智能合约将应用层传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大数据联邦学习架构下的深度伪造溯源系统，其特征在于，包括依次顺序连接的应用层、接口层、逻辑层、网络层和存储层；应用层，用于通过Web端浏览器应用为用户提供深度伪造溯源服务，并获取用户登录和上传数据；接口层，用于提供接口服务，实现服务器端和web端之间通信；逻辑层，用于划分系统功能，并设计算法构建模型实现系统功能逻辑；网络层，用于进行逻辑层和存储层之间的参数交换，并对逻辑层建模过程中的梯度信息进行加密；存储层，用于接收网络层传输的参数信息和加密信息，并分别存储在本地数据库和区块链网络中。2.根据权利要求1所述的基于大数据联邦学习架构下的深度伪造溯源系统，其特征在于，所述逻辑层包括登录注册模块、攻击防范模块、联邦学习模块、区块链溯源模块、深度伪造检测模块和风险预测模块；其中，登录注册模块用于对用户输入的信息进行身份认证和字符串形态预校验判断，并返回判断结果和登录会话记录至服务器；攻击方法模块用于对模型训练数据进行样本投毒攻击排查，将每个参与方接入的数据源链接到区块链提供的分布式账本上进行数据审计；深度伪造检测模块用于设计3DRes深度伪造检测算法，并对原始数据集进行预处理，通过构建3DRes深度伪造检测模型对用户上传的数据进行深度伪造检测；联邦学习模块用于根据预处理后的原始数据集和应用层传递的用户信息进行横向联邦学习训练，并输出训练获得的模型；区块链溯源模块用于构建联邦防伪溯源链，并调用智能合约将应用层传递的用户ID、时间戳以及服务器自动生成的视频ID作为交易信息并打包成一个区块，上传到联邦防伪溯源链中；风险预测模块用于利用脱敏...

【专利技术属性】
技术研发人员：倪志彬，唐龙翔，王昊龙，梁淇奥，何震宇，蒋新科，向芝莹，周啸宇，石爻，李顺，左健甫，杨若辰，吴世涵，张恩华，吉雪莲，常世晴，罗佳源，陈攀宇，王瑞锦，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：