【技术实现步骤摘要】
本专利技术涉及视频处理，具体地，涉及一种基于时序特征与对象特征融合的抠图系统。
技术介绍
1、视频抠图技术是一种使用计算机视觉和机器学习方法，从视频中分离前景和背景的高级图像处理技术。其技术原理包括：
2、深度学习算法：视频抠图技术的核心在于利用深度学习模型，如卷积神经网络(cnn)和循环神经网络(rnn)，来识别并分离视频中的前景和背景。这些模型通常需要经过大量的数据训练，以学习前景与背景间的特征差异。
3、视频预处理：在抠图前，通常需要对视频进行预处理，包括降噪、色彩调整等，以提高后续处理的准确性和效率。
4、特征提取：模型会从视频中提取多种特征，如色彩、纹理和形状等，以辨识前景与背景。
5、抠图计算：根据特征识别的结果，算法会生成一个掩码，用以区分前景和背景。这个过程要求高精度的计算，以确保抠图结果的自然和真实。
6、后处理：抠图后可能需要进一步的后处理，包括边缘平滑和色彩校正，以提升最终视觉效果。
7、视频抠图技术广泛应用于电影特效制作、短视频制作、直播互动等各类场景中。
8、视频抠图的效果受背景环境影响较大。在背景复杂或光线较暗的场景中，抠图效果可能会大打折扣。同时，如发丝或者透明衣物等细微部分的精确抠图，依然是技术中的一大挑战。这是因为现有技术均利用trimap给定的信息抠图，或者利用语义信息进行纯人像抠图。
9、以上
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，在
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于时序特征与对象特征融合的抠图系统，以有效地提高抠图模型的适用场景与视频抠图的时空稳定性。
2、根据本专利技术提供的一种基于时序特征与对象特征融合的抠图系统，包括：
3、特征编码器，用于提取rgb图像的图像特征；
4、语义编码器，用于获取所述rgb图像的第一目标掩码；
5、提示编码器，用于基于trimap提示的范围进行感兴趣区域的特征提取；
6、更新模块，用于根据所述图像特征从记忆池中读取相关图像的特征，并与所述提示编码器、所述语义编码器获得的特征进行融合，得到特征图；
7、解码器，用于将所述特征编码器和所述更新模块的输出转换为第二目标掩码；
8、值编码器，用于根据将所述第二目标掩码写入所述记忆池中。
9、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述更新模块进行融合时，将不同特征按次序拼接成一个特征图。
10、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，在处理初始帧时，包括：
11、步骤s1：在视频中确定初始帧；所述初始帧为rgbd图像；所述rgbd图像包含rgb图和深度图；
12、步骤s2：利用所述语义编码器在所述rgb图上识别出第一目标范围，得到第一目标特征图；
13、步骤s3：利用所述提示编码器在所述深度图上根据深度值得到第二目标范围，得到第二目标特征图；
14、步骤s4：利用所述特征编码器获得特征图像；
15、步骤s5：将所述第一目标特征图、所述特征图像和所述第二目标特征图合并得到第一特征图，并利用解码器对所述第一特征图进行处理，得到所述初始帧的目标掩码。
16、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，还包括：
17、步骤s10：利用所述值编码器对所述初始帧的目标掩码进行提取，并写入记忆池中。
18、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，在处理初始帧之后的当前帧时，包括：
19、步骤s6：利用所述语义编码器识别出第三目标范围，利用所述提示编码器根据深度值得到第四目标范围，利用特征编码器获得特征图像，根据所述特征图像、所述第三目标范围和所述第四目标范围得到第二特征图；
20、步骤s7：对所述第二特征图与之前帧的特征图进行比对，得到相似度高于第一阈值的相关帧；
21、步骤s8：将所述相关帧中的特征图与所述第二特征图利用注意力机制进行融合，得到第三特征图；
22、步骤s9：利用所述解码器对所述第三特征图进行处理，得到所述当前帧的目标掩码；
23、步骤s10：利用所述值编码器对所述当前帧的目标掩码进行提取，并写入记忆池中。
24、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，步骤s6包括：
25、步骤s61：获取当前帧，利用所述语义编码器识别出第三目标范围，得到第三目标特征图；所述当前帧晚于所述初始帧；
26、步骤s62：利用所述提示编码器根据深度值得到第四目标范围，得到第四目标特征图；
27、步骤s63：利用所述特征编码器获得特征图像；
28、步骤s64：将所述第三目标特征图和所述第四目标特征图合并得到第二特征图，并利用解码器对所述第二特征图进行处理。
29、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，步骤s7包括：
30、步骤s71：获取之前帧的特征图，并根据相互之间的第一相似度分为种子特征图和相关特征图；所述之前帧是指所述初始帧之后，并位于所述当前帧之前的多帧；
31、步骤s72：计算所述种子特征图与所述第二特征图的第二相似度；
32、步骤s73：如果所述第二相似度大于第二阈值，则将所述种子特征图及对应的所述相关特征图对应的之前帧标记为相关帧；如果所述第二相似度不大于第二阈值，但大于第三阈值，则将所述种子特征图对应的之前帧标记为相关帧，并对对应的所述相关帧进行相似度计算，得到第三相似度，将所述第三相似度大于第一阈值的之前帧标记为相关帧；所述第三阈值小于所述第一阈值，所述第一阈值小于所述第二阈值。
33、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，步骤s8包括：
34、步骤s81：对所述相关帧中的特征图根据特征部分的出现次数赋予不同的权重值；其中，所述特征部分出现次数越多，所述权重值越大；
35、步骤s82：对所述第二特征图中不同于所述相关帧中的特征图的部分特征赋予较高的权重值；
36、步骤s83：利用注意力机制将所述相关帧中的特征图与所述第二特征图进行融合，得到第三特征图。
37、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述语义编码器为端到端可训练的卷积神经网络。
38、可选地，所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述trimap是由于深度图获得的，所述深本文档来自技高网...
【技术保护点】
1.一种基于时序特征与对象特征融合的抠图系统，其特征在于，包括：
2.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述更新模块进行融合时，将不同特征按次序拼接成一个特征图。
3.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，在处理初始帧时，包括：
4.根据权利要求3所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，还包括：
5.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，在处理初始帧之后的当前帧时，包括：
6.根据权利要求5所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，步骤S6包括：
7.根据权利要求5所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，步骤S7包括：
8.根据权利要求5所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，步骤S8包括：
9.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述语义编码器为端到端可训练的
10.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述trimap是由于深度图获得的，所述深度图是由深度相机获得，或由深度估计算法计算得到。
...【技术特征摘要】
1.一种基于时序特征与对象特征融合的抠图系统，其特征在于，包括：
2.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，所述更新模块进行融合时，将不同特征按次序拼接成一个特征图。
3.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，在处理初始帧时，包括：
4.根据权利要求3所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，还包括：
5.根据权利要求1所述的一种基于时序特征与对象特征融合的抠图系统，其特征在于，在处理初始帧之后的当前帧时，包括：
6.根据权利要求5所述的一种...
【专利技术属性】
技术研发人员：王立锋，邵小飞，朱程，汪博，朱力，吕方璐，
申请(专利权)人：深圳市光鉴科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。