视频的字幕去除方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供了视频的字幕去除方法、装置、计算机设备及存储介质，方法包括：对待处理视频进行字幕识别及遮挡处理，得到多张已遮挡字幕的待处理视频帧；对于各所述待处理视频帧，基于所述待处理视频帧的多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的第一修复结果；将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到无字幕的目标视频帧；对各所述待处理视频帧分别对应的所述目标视频帧进行合成处理，得到目标视频。本申请提高了字幕去除后的视频质量，便于用户在获得许可的条件下对原始带字幕视频的二次创作。始带字幕视频的二次创作。始带字幕视频的二次创作。

【技术实现步骤摘要】
视频的字幕去除方法、装置、计算机设备及存储介质


[0001]本专利技术涉及视频处理
，尤其涉及一种视频的字幕去除方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着个性化视频创作分享平台的兴起，各类型的短中长视频在不同视频平台获得极大播放量和传播度。在这之中，在获得影视作品/原始视频的著作权人同意下的关于影视作品/原始视频的二次创作的视频是主要的视频类别之一。在对影视作品/原始视频进行二次创作的过程中，对原始字幕实现无痕去除十分重要。
[0003]现有的字幕去除方法在定位出字幕的区域位置后，通常是对字幕区域进行模糊平滑处理，这在一定程度上掩盖了一部分原始画面，大大降低了视频质量。因此现有的字幕去除方法的字幕去除效果较差，不利于用户对原始视频的二次创作。

技术实现思路

[0004]本专利技术实施例提供了视频的字幕去除方法、装置、计算机设备及存储介质，旨在解决现有的字幕去除方法字幕去除后视频质量较低，字幕去除效果较差的技术问题。
[0005]第一方面，本专利技术实施例提供了一种视频的字幕去除方法，其包括：
[0006]对待处理视频进行字幕识别及遮挡处理，得到多张已遮挡字幕的待处理视频帧；
[0007]对于各所述待处理视频帧，基于所述待处理视频帧的多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的第一修复结果；
[0008]将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到无字幕的目标视频帧；
[0009]对各所述待处理视频帧分别对应的所述目标视频帧进行合成处理，得到目标视频。
[0010]第二方面，本专利技术实施例提供了一种视频的字幕去除装置，其包括：
[0011]识别遮挡单元，用于对待处理视频进行字幕识别及遮挡处理，得到多张已遮挡字幕的待处理视频帧；
[0012]第一修复单元，用于对于各所述待处理视频帧，基于所述待处理视频帧的多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的第一修复结果；
[0013]第二修复单元，用于将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到无字幕的目标视频帧；
[0014]视频合成单元，用于对各所述待处理视频帧分别对应的所述目标视频帧进行合成处理，得到目标视频。
[0015]第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序
时实现上述第一方面所述的视频的字幕去除方法。
[0016]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的视频的字幕去除方法。
[0017]本专利技术实施例中，首先对待处理视频进行字幕识别及遮挡处理，得到多张已遮挡字幕的待处理视频帧，在此之后，需要对待处理视频的字幕遮挡区域进行修复，考虑到待处理视频帧中被字幕遮挡的原画内容可能在邻近视频帧中出现过，因此先基于邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到第一修复结果，进一步的，再利用预设内容修复模型对第一修复结果继续进行内容修复，进而得到修复后的无字幕的目标视频帧，最后对各所述待处理视频帧分别对应的所述目标视频帧进行合成处理，得到目标视频。本申请在对每张待处理视频帧进行字幕区域信息修复过程中，首先基于待处理视频帧的邻近视频帧对字幕遮挡区域进行修复，能够使得相邻的待处理视频帧的修复结果更加一致，有利于避免相邻的待处理视频帧的修复结果差异较大而导致视频播放过程中容易出现的抖动问题，提高目标视频的修复质量，在此之后，利用内容修复模型对基于邻近视频帧进行字幕区域修复后得到的第一修复结果继续进行修复，确保了对所有的字幕遮挡区域进行修复处理，进一步提高了字幕去除后的视频质量，有利于实现无痕字幕去除效果，便于用户对原始带字幕视频的二次创作。
附图说明
[0018]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的视频的字幕去除方法的第一流程示意图；
[0020]图2为本专利技术实施例提供的视频的字幕去除方法的第二流程示意图；
[0021]图3为本专利技术实施例提供的一张待处理视频帧字幕区域信息修复过程的框架示意图；
[0022]图4为本专利技术实施例提供的视频的字幕去除装置的示意性框图；
[0023]图5为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0026]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上
下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0027]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0028]随着个性化视频创作分享平台的兴起，各类型的短中长视频在不同视频平台获得极大播放量和传播度，在这之中，在获得影视作品/原始视频的著作权人同意下的关于影视作品/原始视频的二次创作的视频是主要的视频类别之一。在对影视作品/原始视频进行二次创作的过程中，对原始字幕实现无痕去除十分重要。
[0029]现有的字幕去除方法在定位出字幕的区域位置后，通常是对字幕区域进行模糊平滑处理，这在一定程度上掩盖了一部分原始画面，大大降低了视频质量。可见现有的字幕去除方法字幕的去除效果较差，不利于用户对原始视频的二次创作。
[0030]基于此，本专利技术提供了一种视频的字幕去除方法、装置、计算机设备和存储介质，能够提高字幕去除后的视频质量和字幕去除效果。
[0031]请参阅图1，图1为本专利技术实施例提供的视频的字幕去除方法的流程示意图，该方法具体包括下述步骤S101至步骤S104。
[0032]步骤S101、对待处理视频进行字幕识别及遮挡处理，得到多张已遮挡字幕的待处理视频帧。...

【技术保护点】

【技术特征摘要】
1.一种视频的字幕去除方法，其特征在于，包括：对待处理视频进行字幕识别及遮挡处理，得到多张已遮挡字幕的待处理视频帧；对于各所述待处理视频帧，基于所述待处理视频帧的多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的第一修复结果；将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到无字幕的目标视频帧；对各所述待处理视频帧分别对应的所述目标视频帧进行合成处理，得到目标视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理视频帧的多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的第一修复结果，包括：对由所述待处理视频帧和所述多张邻近视频帧组成的邻近视频帧组进行光流估计，得到所述邻近视频帧组中相邻视频帧之间的光流信息；基于所述相邻视频帧之间的光流信息和所述多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的所述第一修复结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述相邻视频帧之间的光流信息和所述多张邻近视频帧对所述待处理视频帧进行字幕区域信息修复，得到所述待处理视频帧的所述第一修复结果，包括：将所述邻近视频帧组输入预设编码网络，得到邻近视频帧组特征；将所述相邻视频帧之间的光流信息和所述邻近视频帧组特征输入预设特征传播模型，得到所述待处理视频帧的所述第一修复结果，其中，所述预设特征传播模型包括多个卷积层。4.根据权利要求3所述的方法，其特征在于，所述将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到无字幕的目标视频帧，包括，将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到所述待处理视频帧的目标特征信息；将所述目标特征信息输入预设解码网络，得到所述无字幕的目标视频帧。5.根据权利要求4所述的方法，其特征在于，所述将至少包括所述第一修复结果的输入特征输入预设内容修复模型，得到所述...

【专利技术属性】
技术研发人员：高立刚，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：