面向数字音频删除和插入篡改操作自动检测方法及系统技术方案

本发明专利技术属于数字音频信号篡改检测技术领域，公开了一种面向数字音频删除和插入篡改操作自动检测方法及系统，利用训练好的电网频率的通用背景模型，提取每个数字音频信号的电网频率频谱特征超矢量；将所提取的电网频率频谱特征超矢量输入由注意力机制和残差网络构成的深度表示学习网络进行浅层特征的学习；将训练好的浅层特征输入到分类网络中，判断是否经过删除或插入的篡改。本发明专利技术采用提取电网频率频谱特征超矢量，并建立深度神经网络训练所提取的特征；本发明专利技术不仅实现了篡改检测的自动化，还将深度神经网络很好的应用于篡改检测，并且取得很好的效果。本发明专利技术具有更高的准确率和较好的鲁棒性。和较好的鲁棒性。和较好的鲁棒性。

【技术实现步骤摘要】
面向数字音频删除和插入篡改操作自动检测方法及系统


[0001]本专利技术属于数字音频信号篡改检测
，尤其涉及一种面向数字音频删除和插入篡改操作自动检测方法及系统。

技术介绍

[0002]目前，随着互联网信息技术的迅速发展，智能移动设备逐渐普及，数字多媒体数据(如音频、图像、文本等)已成为主要的信息载体。数字音频文件录制和存储的成本也变得越来越低，同时从互联网上获取数字音频文件也越来越便利，人们对于收集和分享数字音频文件的诉求日益高涨。与此同时，各种音频编辑软件也纷纷涌现，使得对音频信号的编辑变得更加容易。因此，对音频记录的有效保护和认证的需求日益增加，特别是在录音可能涉及数字权利管理和执法案件的情况下。可能在互联网上或法庭上产生大量具有真实感的虚假信息，从而影响社会稳定和公共安全。因此，音频取证对于验证音频信息的真实性、可靠性、完整性和来源变得越来越重要。
[0003]利用电网频率用于篡改检测，被法学界大量引用。从法医的角度来看，电网频率信号经常被嵌入窃听设备的音频记录中，与行为良好的特性相关联的高可用性使它成为一个有吸引力的特性。这也是它广泛应用的原因。在较长的一段时间中，一个地区的电网频率波动是稳定且独特的。电网频率中的非周期波动对连接到的所有设备都有相同的影响。电网频率信号通常会出现在由电网供电的设备中，电网信号同样是一种众所周知的标准信号。例如，电网频率的标准值为50Hz或60Hz，取决于所在的地区。欧洲国家、澳大利亚，以及亚洲和非洲的大多数国家使用50Hz。北美和中美洲国家使用60Hz。需要注意的是，在南美洲有些国家使用50Hz，也有些国家使用60Hz。而日本是同时使用50Hz和60Hz作为电网频率的标准值。在理想的条件下，电网信号是在标称频率震荡的正弦信号，但是在现实中由与电网的能源供应与需求的波动，会造成其瞬时频率的变化。随着时间的推移，电网的频率和相位不会突然的发生变化。电网频率信号具有稳定性和唯一性，而对音频文件进行插入或删除音频段可能会造成估计的电网频率信号突变。在音频文件中，通过带通滤波提取出电网频率信号，由于篡改操作导致篡改点电网频率成分瞬时频率和相位的突然变化，来识别出是否发生篡改。
[0004]同时现有技术也提出了一系列的检测音频篡改的方法。基于电网频率在篡改检测技术上的应用可以分为两种，第一是将电网频率信号与大型的电网频率数据库进行对比；第二是提取电网频率信号中的一些特征，进行一致性或者规律性的分析。还有一些研究人员没有使用电网频率进行篡改操作的分析。
[0005]1)基于电网频率数据库对比：Grigoras最早提出基于电网频率的音频篡改检测算法，主要通过待检测音频中电网频率的波动和参考年份的数据比对，从而判断音频是否被篡改过。现有技术1基于对北美电网频率检测网络的分析，使用B样条线基函数及逆行插值得到标准电网频率数据库。使用短时傅里叶变换估计电网频率信号分量的频率，将待测音频的电网频率频率序列与标准数据库进行匹配。为了得到待测信号准确的时间频率对提出
振荡器误差迭代式校正算法，解决电网频率序列无法与标准电网频率数据库匹配的为题。现有技术2利用频率解调从音频信号中提取电网频率信号，对提取电网频率信号阶段的工作做了进一步的研究。
[0006]2)提取电网频率特征：现有技术3提出了一种通过揭示局部噪声水平的异常差异来检测剪接的方法，通过比较各音节背景噪声方差之间的相似性，判断音频中是否存在异质拼接篡改操作。现有技术4利用MDCT系数的统计特征以及对MP3文件结构的研究对多重压缩文件进行检测并识别编码器类型，并在大型语音数据库中对算法性能进行验证。现有技术5提出了基音序列作为音频的特征不同音节提取的音高序列通常是完全不同的。通过计算每个音节之间的差异并比较音节与设置的阈值的差异来判断对应音节是否存在复制
‑
移动伪造。现有技术6提取基音序列和前两个共振峰序列作为每个语音段的特征集。采用动态时间扭曲(DTW)算法计算各特征集的相似度。通过与阈值的相似性比较，检测和定位语音录音中的复制
‑
移动伪造。
[0007]通过上述分析，现有技术存在的问题及缺陷为：
[0008](1)对于待测信号的质量、录制环境等有一定的条件限制，检测结果没有一致性的评判标准；
[0009](2)提取的电网频率特征不能很好的体现篡改信息，采用的分类器不能更好的利用特征、学习特征的重要信息；
[0010](3)有部分的检测方法需要通过专业知识的经验、设置阈值决策条件模糊，不能很好的实现自动化的检测。
[0011](4)现有的特征对于电网频率中篡改信息挖掘的程度不够深；
[0012](5)传统方法的泛化性较弱，检测音频检测鲁棒性和准确度有待提高的问题；
[0013]解决以上问题及缺陷的难度为：对于数字音频删除和插入篡改操作自动检测，需要提取出更适合在深度网络中进行训练的特征，尚未建立更加适合篡改检测的网络。
[0014]解决以上问题及缺陷的意义为：
[0015]对于现在所使用的方法，基于相位信息和频率信息提取的电网频率频谱特征超矢量更好体现和深度挖掘篡改信息；采用深度神经网络对浅层特征的训练，能够更好的学习特征重要信息；采用分类网络实现对篡改检测的分类，检测结果有具体的评判标准，实现了自动化的检测。所设计的数字音频删除和插入系统对于音频检测鲁棒性和准确都有明显的提高，并在多个数据库中得到验证。

技术实现思路

[0016]针对现有技术存在的问题，本专利技术提供了一种面向数字音频删除和插入篡改操作自动检测方法及系统。
[0017]本专利技术是这样实现的，一种面向数字音频删除和插入篡改操作自动检测方法，所述面向数字音频删除和插入篡改操作自动检测方法包括：
[0018]利用训练好的电网频率的通用背景模型，提取每个数字音频信号的电网频率频谱特征超矢量；
[0019]将所提取的电网频率频谱特征超矢量输入由注意力机制和残差网络构成的深度表示学习网络进行浅层特征的学习；
[0020]将训练好的浅层特征输入到分类网络中，判断是否经过删除或插入的篡改。
[0021]进一步，所述面向数字音频删除和插入篡改操作自动检测方法包括以下步骤：
[0022]利用带通滤波器对原始数字音频信号进行预处理，提取待测信号的电网频率成分；提取相位特征和拟合特征参数，并构建电网频率的通用背景模型；
[0023]训练数据集数字音频信号对所得到的通用背景模型通过自适应更新电网频率的通用背景模型参数，根据目标数据库构造数字音频信号的电网频率频谱特征超矢量的特征矩阵；
[0024]将得到的电网频率频谱特征超矢量输入到深度神经网络进行浅层特征的表示学习，得到浅层特征即电网频率频谱特征超矢量；
[0025]将得到的浅层特征输入预先构建的篡改检测分类网络，通过sigmod函数区分原始语音和篡改语音，得到篡改检测结果。
[0026]进一步，所述利用带通滤波器对原始数字音频信号进行预处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数字音频删除和插入篡改操作自动检测方法，其特征在于，包括：利用训练好的电网频率的通用背景模型，提取每个数字音频信号的电网频率频谱特征超矢量；将所提取的电网频率频谱特征超矢量输入由注意力机制和残差网络构成的深度表示学习网络进行浅层特征的学习；将训练好的浅层特征输入到分类网络中，判断是否经过删除或插入的篡改。2.如权利要求1所述面向数字音频删除和插入篡改操作自动检测方法，其特征在于，利用带通滤波器对原始数字音频信号进行预处理，提取待测信号的电网频率成分；提取相位特征和拟合特征参数，并构建电网频率的通用背景模型；训练数据集数字音频信号对所得到的通用背景模型通过自适应更新电网频率的通用背景模型参数，根据目标数据库构造数字音频信号的电网频率频谱特征超矢量的特征矩阵；将得到的电网频率频谱特征超矢量输入到深度神经网络进行浅层特征的表示学习，得到浅层特征即电网频率频谱特征超矢量；将训练好的浅层特征输入预先构建的篡改检测分类网络，通过sigmod函数区分原始语音和篡改语音，得到篡改检测结果。3.如权利要求2所述面向数字音频删除和插入篡改操作自动检测方法，其特征在于，所述利用带通滤波器对原始数字音频信号进行预处理，提取待测信号的电网频率成分，提取相位特征和拟合特征参数包括：利用10000阶的线性相位FIR滤波器对原始数字音频信号f[n]进行带通滤波，得到待测信号中的电网频率成分F
ENFC
[n]；基于DFT0和DFT1变换得到相位波动特征F1和F2，基于Hilbert变换得到瞬时频率特征F3；使用Sum of Sines和Gaussian表达式分别进行拟合相位曲线和频率曲线，将相位特征和拟合特征参数进行组合得到特征向量。4.如权利要求2所述面向数字音频删除和插入篡改操作自动检测方法，其特征在于，所述构建电网频率的通用背景模型包括：(1)确定高斯混合模型：其中，f表示一个由相位特征和拟合特征参数组成的N维特征向量f＝{f1,f2,
…
,f
N
}；φ
j
,j＝1,
…
L表示混合权重；σ
j
表示协方差矩阵；μ
j
表示均值向量；(2)采用EM算法进行混合高斯模型的参数估计：(2.1)确定合适的θ和z极大化对数似然函数：其中，x＝(x1,x2,x3,
…
,x
m
)表示语音特征向量，m表示相互独立的语音特征向量的数量；λ表示数字音频信号模型，θ表示已知模型参数，z
i
,z
i
∈(z1,z2,z3,
…
,z
i
)表示与特征向量x
i
对应的隐藏变量，令p(x
i
,z
i
|θ)最大；(2.2)计算θ和z的值：基于Q(z)为已知样本和模型参数下的隐变量z的分布，确定在固定参数θ后Q
i
(z
i
)的选择问题，建立了L(θ,Z)的下界即通过调整θ最大化所述下界，对似然函数最大化获得新的模型参数，返回代入(2.1)中，通过不断迭代获得更加准确的GMM参数，得到一个好的电网频率的通用背景模型。5.如权利要求2所述面向数字音频删除和插入篡改操作自动检测方法，其特征在于，所述训练数据集数字音频信号对所得到的通用背景模型通过自适应更新其均值参数包括：计算第j个特征向量f
j
属于UBM中第i个联合高斯分量p
i
(f)的概率：利用计算得到的P(i|f
j
)，分别计算未篡改的目...

【专利技术属性】
技术研发人员：曾春艳，孔帅，王志锋，万相奎，李坤，赵宇豪，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：