本申请涉及一种面向语音合成系统的模型水印方法、装置、计算机设备和存储介质，其中，该方法包括：基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本；并基于水印触发样本构建对应的水印植入数据集；基于微调的说话人识别模型，将水印植入数据集植入语音合成模型，得到标记化模型；基于标记化模型，筛选出目标水印触发样本。通过本申请，解决了相关技术中存在水印与语音合成主任务关联性不强，导致水印在模型微调过程中易丢失，利用构建域内的水印触发样本，从数据层面强迫水印触发任务与模型主任务之间的强耦合，提高标记化模型中水印的鲁棒性，使得目标水印触发样本保持稳定性和有效性。
1、在人工智能领域，尤其是语音合成子领域，技术进步显著。现有语音合成技术依托于复杂神经网络，需大量训练数据及精细优化策略，已成为重要的知识资产。神经网络的复制性对版权的保护提出挑战，特别是在模型微调后，原始模型的版权归属问题更为复杂，使得模型所有权和知识产权保护成为行业关注的重点。在此背景下，模型水印技术作为一种潜在的解决方案受到关注。
2、目前，模型水印技术通过在模型中嵌入隐蔽标识，使得模型在特定输入下产生带水印的输出，为版权归属提供依据。但现有模型水印技术多针对分类任务，对语音合成模型的应用存在限制，且与语音合成主任务关联性不强，导致水印在模型微调过程中易丢失。
1、在本实施例中提供了一种面向语音合成系统的模型水印方法、装置、计算机设备和存储介质，以解决相关技术中水印与语音合成主任务关联性不强，导致水印在模型微调过程中易丢失的问题。
3、基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本；并基于所述水印触发样本构建对应的水印植入数据集；所述语音合成模型的训练样本为域内语音数据集；
>4、基于微调的所述说话人识别模型，将所述水印植入数据集植入所述语音合成模型，得到标记化模型；所述说话人识别模型基于所述域内语音数据集微调得到；5、基于所述标记化模型，筛选出目标水印触发样本。
6、在其中的一些实施例中，基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本，包括：
7、获取语音合成系统中预训练的所述语音合成模型对应的域内语音数据集；
8、基于所述域内语音数据集，对预训练的说话人识别模型进行微调，得到微调的所述说话人识别模型；
9、基于微调后的所述说话人识别模型，对所述域内语音数据集进行音色特征提取，得到音色特征；对所述音色特征的特征中心进行聚类，从聚类结果中选取出源类别；
10、基于所述源类别构建域内的所述水印触发样本。
11、在其中的一些实施例中，基于微调后的所述说话人识别模型，对所述域内语音数据集进行音色特征提取，得到音色特征；对所述音色特征的特征中心进行聚类，从所述聚类结果中选取出源类别，包括：
12、基于微调后的所述说话人识别模型的中间层表征作为输入语音的音色特征向量，对所述域内语音数据集中的语音样本进行音色特征提取，得到音色特征；
13、按类别对所述音色特征的特征中心进行聚类，得到类别中心；
14、根据预设的距离和所述类别中心，确定源类别。
15、在其中的一些实施例中，基于所述源类别构建域内的所述水印触发样本，包括：
16、从各所述源类别中随机提取出第一语音样本；
17、对各类别的所述第一语音样本进行预处理，得到时域上对齐的第二语音样本；
18、通过时域加权平均对各所述第二语音样本进行合成，得到水印触发样本。
19、在其中的一些实施例中，基于微调的所述说话人识别模型，将所述水印植入数据集所述语音合成模型，得到标记化模型，包括：
20、根据预设的总损失函数和微调的所述说话人识别模型，对所述语音合成模型进行联合优化，得到标记化模型；所述总损失函数由预设的第一损失函数、预设的第二损失函数以及所述语音合成模型的预训练损失函数构成；
21、在联合优化过程中，在所述总损失函数中的所述第一损失函数触发下，根据域内语音数据集的语音样本和微调后的所述说话人识别模型，优化所述语音合成模型；并在所述总损失函数中的所述第二损失函数触发下，根据所述水印植入数据集的水印触发样本和微调后的所述说话人识别模型，优化所述语音合成模型。
22、在其中的一些实施例中，基于所述标记化模型，筛选出目标水印触发样本，包括：
23、微调所述标记化模型，得到多个替代模型；
24、基于多个所述替代模型，对所述水印触发样本的有效性进行测试，得到每个所述水印触发样本与预设的伪说话人的平均说话人相似度得分；
25、筛选出平均说话人相似度得分高于预设阈值的水印触发样本作为目标水印触发样本。
26、在其中的一些实施例中，所述方法还包括：
27、获取到可疑模型后，将所述水印触发样本输入所述可疑模型获取模型输出语音；
28、将所述模型输出语音输入微调后的所述说话人识别模型，获得模型输出说话人特征；
29、并将所述模型输出说话人特征与伪说话人的说话人特征进行相似性比对，得到水印检测结果。
30、第二个方面，在本实施例中提供了一种面向语音合成系统的模型水印装置，包括：构建模块、植入模块以及筛选模块；
31、所述构建模块，用于基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本；并基于所述水印触发样本构建对应的水印植入数据集；所述语音合成模型的训练样本为域内语音数据集；
32、所述植入模块，用于基于微调的所述说话人识别模型，将所述水印植入数据集植入所述语音合成模型，得到标记化模型；所述说话人识别模型基于所述域内语音数据集微调得到；
33、所述筛选模块，用于基于所述标记化模型，筛选出目标水印触发样本。
34、第三个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的面向语音合成系统的模型水印方法。
35、第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的面向语音合成系统的模型水印方法。
36、与相关技术相比，在本实施例中提供的面向语音合成系统的模型水印方法、装置、计算机设备和存储介质，通过基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本；并基于水印触发样本构建对应的水印植入数据集；基于微调的说话人识别模型，将水印植入数据集植入语音合成模型，得到标记化模型；基于标记化模型，筛选出目标水印触发样本，解决了相关技术中存在水印与语音合成主任务关联性不强，导致水印在模型微调过程中易丢失，利用构建域内的水印触发样本，从数据层面强迫水印触发任务与模型主任务之间的强耦合，提高标记化模型中水印的鲁棒性，使得目标水印触发样本保持稳定性和有效性。
37、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
本文档来自技高网...
【技术保护点】
1.一种面向语音合成系统的模型水印方法，其特征在于，包括：
2.根据权利要求1所述的面向语音合成系统的模型水印方法，其特征在于，基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本，包括：
3.根据权利要求2所述的面向语音合成系统的模型水印方法，其特征在于，基于微调后的所述说话人识别模型，对所述域内语音数据集进行音色特征提取，得到音色特征；对所述音色特征的特征中心进行聚类，从所述聚类结果中选取出源类别，包括：
4.根据权利要求2所述的面向语音合成系统的模型水印方法，其特征在于，基于所述源类别构建域内的所述水印触发样本，包括：
5.根据权利要求1所述的面向语音合成系统的模型水印方法，其特征在于，基于微调的所述说话人识别模型，将所述水印植入数据集植入所述语音合成模型，得到标记化模型，包括：
6.根据权利要求1所述的面向语音合成系统的模型水印方法，其特征在于，基于所述标记化模型，筛选出目标水印触发样本，包括：
7.根据权利要求1至权利要求6中任一项所述的面向语音合成系统的模型水印方法，其特征在于，所述方法还包括：
8.一种面向语音合成系统的模型水印装置，其特征在于，包括：构建模块、植入模块以及筛选模块；
9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求7中任一项所述的面向语音合成系统的模型水印方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的面向语音合成系统的模型水印方法的步骤。
...
【技术特征摘要】
1.一种面向语音合成系统的模型水印方法，其特征在于，包括：
2.根据权利要求1所述的面向语音合成系统的模型水印方法，其特征在于，基于预训练的语音合成模型和微调的说话人识别模型，构建域内的水印触发样本，包括：
3.根据权利要求2所述的面向语音合成系统的模型水印方法，其特征在于，基于微调后的所述说话人识别模型，对所述域内语音数据集进行音色特征提取，得到音色特征；对所述音色特征的特征中心进行聚类，从所述聚类结果中选取出源类别，包括：
4.根据权利要求2所述的面向语音合成系统的模型水印方法，其特征在于，基于所述源类别构建域内的所述水印触发样本，包括：
5.根据权利要求1所述的面向语音合成系统的模型水印方法，其特征在于，基于微调的所述说话人识别模型，将所述水印植入数据集植入所述语音合成模型，得到标记化模型，包...
【专利技术属性】
技术研发人员：卢立，陈钱牛，赵小迪，陈锰，任奎，
申请(专利权)人：杭州高新区滨江区块链与数据安全研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。