本发明专利技术公开了一种合成语音与原始视频匹配方法、系统、装置及存储介质，其中所述方法包括：获取原始视频的第一长度；获取合成语音的第二长度；根据所述第一长度与所述第二长度的长度差异，对所述原始视频和/或所述合成语音进行变速处理。本申请使得变速处理后的视频与语音的长度一致，提高用户的观感体验。本申请可广泛应用于视频处理领域。可广泛应用于视频处理领域。可广泛应用于视频处理领域。
【技术实现步骤摘要】
合成语音与原始视频匹配方法、系统、装置及存储介质
[0001]本申请涉及视频处理领域，尤其涉及一种合成语音与原始视频匹配方法、系统、装置及存储介质。
技术介绍
[0002]随着互联网的不断发展，人们对信息获取的速度、广度及深度要求越来越高也越来越直观，通信行业经历了语音时代、数据时代，现正以极快的步伐迈入视频时代，视频已成为信息传递的主要新载体，也逐渐成为大众群体获取及分享信息的主流方式。相较于文字、语音等形式，以视频为主的信息传递介质和功能载体可以为人们带来更多的便利，因此“视联网”已成为当今互联网的发展趋势。
[0003]但由于目前不同民族、国家、地域的语言文化存在较大差异，也无法做到全球语言统一，因此从不同国家产出的音视频文件必然是跨语种的，这使得信息在交流中遇到较大障碍，信息传递的流畅性与实时性也大打折扣。为此，相关技术提出一种视频翻译方法，将说话人的语言翻译为指定语言并配合生成同步的唇形，让视频中的说话人看起来像是在使用指定语言在说话，提高用户的观感体验。而实现该视频翻译方法的过程中，需要对说话人的原始视频进行文本翻译，再合成音频，由于不同语种的文本存在不一致的现象，因此合成音频与原始视频会出现长度不匹配的情况，影响视频的观感。
技术实现思路
[0004]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种合成语音与原始视频匹配方法、系统、装置及存储介质，能够匹配视频翻译过程中合成音频与原始视频的长度。
[0005]第一方面，本申请一些实施例提供了一种合成语音与原始视频匹配方法，包括：获取原始视频的第一长度；获取合成语音的第二长度；根据所述第一长度与所述第二长度的长度差异，对所述原始视频和/或所述合成语音进行变速处理。得到长度匹配的原始视频和合成语音。
[0006]在一些实施例中，所述第一长度为第一时间长度，所述第二长度为第二时间长度，所述长度差异为所述第一时间长度与所述第一时间长度的比值，所述根据所述长度差异，对所述原始视频和/或所述合成语音进行变速处理，包括：当所述长度差异在预设的第一阈值区间内，根据第一视频变速参数对所述原始视频作第一减速处理，并根据第一语音变速参数对所述合成语音作第一加速处理；当所述长度差异在预设的第二阈值区间内，根据第二语音变速参数对所述合成语音作第一变速处理；当所述长度差异在预设的第三阈值区间内，根据第二视频变速参数对所述原始视频作第二加速处理，并根据第三语音变速参数对所述合成语音作第二减速处理。
[0007]在一些实施例中，所述方法还包括所述原始视频作局部变速处理的步骤，该步骤具体包括：确定所述原始视频中任意一帧中的若干人体关键点；根据当前帧的所述人体关
键点与第一视频帧的所述人体关键点之间的欧式距离以及所述原始视频的时间序列，确定所述原始视频中人体动作幅度与所述时间序列的关系；其中，第一视频帧是所述原始视频中与当前帧间隔预设帧数的视频帧；根据所述原始视频中人体动作幅度与所述时间序列的关系，确定若干局部变速区间；根据所述长度差异，在所述局部变速区间，对所述原始视频作局部变速处理。
[0008]在一些实施例中，所述根据所述长度差异，在所述局部变速区间，对所述原始视频作局部变速处理，包括：确定视频变速上限参数和视频变速下限参数；在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理。
[0009]在一些实施例中，所述在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理，包括：当所述长度差异在预设的第一阈值区间内，且所述第一视频变速参数大于所述视频变速上限参数，根据所述视频变速上限参数，对所述原始视频作第一减速处理。
[0010]在一些实施例中，所述在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理，还包括：当所述长度差异在预设的第三阈值区间内，且所述第二视频变速参数小于所述视频变速下限参数，根据所述视频变速下限参数，对所述原始视频作第二加速处理。
[0011]在一些实施例中，所述第一视频变速参数、所述第二语音变速参数以及所述第二视频变速参数的确定过程具体为：根据预设的所述第一语音变速参数，以及所述长度差异，确定所述第一视频变速参数；根据所述长度差异，确定所述第二语音变速参数；根据预设的所述第三语音变速参数，以及所述长度差异，确定所述第二视频变速参数。
[0012]第三方面，本申请一些实施例还提供了一种合成语音与原始视频匹配系统，包括：获取模块，用于获取视频长度和语音长度；比较模块，用于确定视频时长和语音时长的长度差异；变速模块，用于根据所述视频时长和语音时长的长度差异，对所述视频以及所述语音作变速处理。
[0013]第二方面，本申请一些实施例还提供了一种装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的合成语音与原始视频匹配方法。
[0014]第三方面，本申请一些实施例还提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如第一方面所述的合成语音与原始视频匹配方法。
[0015]本申请实施例的有益效果如下：获取原始视频的时长与合成音频的时长，并获取原始视频的时长与合成音频的时长的长度差异，根据长度差异的结果，分别对原始视频以及合成语音作变速处理，使得变速处理后的视频与语音的长度一致，提高用户的观感体验。
附图说明
[0016]附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0017]图1是本申请一些实施例提供的合成语音与原始视频匹配的方法流程图；
Transform Magnitude)，对声音频谱进行差值或抽取，实现各频率分量的拓展或压缩。该算法是基于短时傅里叶变换来实现的，利用最小均方误差原则，寻找一个时域信号的短时傅里叶变换幅度谱逼近理想变速信号的频谱。该迭代算法通过在每次迭代中减小了估计信号的短时傅里叶变换幅度与修正短时傅里叶变换幅度之间的均方误差，且修正短时傅里叶变换幅度的时间尺度变化不影响光谱特性，因此可以实现语音的变速不变调。适用于本申请实施例的语言变速要求。
[0040]在本申请一些实施例中，优先对合成语音作变速处理，合成语音的第二长度变化区间一般控制在
±
5％，以保证说话人在一定的语速范围内说话。
[0041]长度差异可以为第一长度与第二长度的差值，也可以为第一长度与第二长度的比值。当长度差异为第一长度与第二长度的差值，原始视频的第一长度变化区间一般控制在
±
25％；当长度差异为第一长度与第二长度的比值，原始视频的第一长度变化区间一般控制在...
【技术保护点】
【技术特征摘要】
1.一种合成语音与原始视频匹配方法，其特征在于，包括：获取原始视频的第一长度；获取合成语音的第二长度；根据所述第一长度与所述第二长度的长度差异，对所述原始视频和/或所述合成语音进行变速处理，得到长度匹配的原始视频和合成语音。2.根据权利要求1所述的合成语音与原始视频匹配方法，其特征在于，所述第一长度为第一时间长度，所述第二长度为第二时间长度，所述长度差异为所述第一时间长度与所述第一时间长度的比值，所述根据所述长度差异，对所述原始视频和/或所述合成语音进行变速处理，包括：当所述长度差异在预设的第一阈值区间内，根据第一视频变速参数对所述原始视频作第一减速处理，并根据第一语音变速参数对所述合成语音作第一加速处理；当所述长度差异在预设的第二阈值区间内，根据第二语音变速参数对所述合成语音作第一变速处理；当所述长度差异在预设的第三阈值区间内，根据第二视频变速参数对所述原始视频作第二加速处理，并根据第三语音变速参数对所述合成语音作第二减速处理。3.根据权利要求2所述的合成语音与原始视频匹配方法，其特征在于，所述方法还包括所述原始视频作局部变速处理的步骤，该步骤具体包括：确定所述原始视频中任意一帧中的若干人体关键点；根据当前帧的所述人体关键点与第一视频帧的所述人体关键点之间的欧式距离以及所述原始视频的时间序列，确定所述原始视频中人体动作幅度与所述时间序列的关系；其中，第一视频帧是所述原始视频中与当前帧间隔预设帧数的视频帧；根据所述原始视频中人体动作幅度与所述时间序列的关系，确定若干局部变速区间；根据所述长度差异，在所述局部变速区间对所述原始视频作局部变速处理。4.根据权利要求3所述的合成语音与原始视频匹配方法，其特征在于，所述根据所述长度差异，在所述局部变速区间，对所述原始视频作局部变速处理，包括：确定视频变速上限参数和视频变速下限参数；在若干所述局部变速区间，根据所述长度差异、所述视频变速上限参数以及所述视频变速下限参数对所述原始视频作局部变速处理。5.根据权利要求4...
【专利技术属性】
技术研发人员：李嘉雄，王伦基，叶俊杰，李权，成秋喜，胡玉针，朱杰，黄桂芳，韩蓝青，
申请(专利权)人：赛业广州生物科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。