本申请提供一种视频抠图方法、装置、系统和存储介质，其方法包括：对初始视频进行编码得到视频码流并将视频码流分为三路；将第一路视频码流处理为低分辨率码流，提取低分辨率码流中的全局特征数据；提取第二路视频码流局部特征数据；根据全局特征数据、局部特征数据和解码处理得到低分辨率视频；将第三路视频码流处理为高分辨率码流，提取高分辨率码流中的边缘特征数据；对边缘特征数据进行解码后得到高分辨率视频；将低分辨率视频中的人形区域识别结果和高分辨率视频中的人形边缘识别结果融合后得到初始视频中的人形抠图结果。本申请的以上方案对初始视频的抠图结果具有高效率、高准确性、适用场景广泛和低成本的有益效果。适用场景广泛和低成本的有益效果。适用场景广泛和低成本的有益效果。
【技术实现步骤摘要】
一种视频抠图方法、装置、系统及存储介质
[0001]本申请涉及视频流数据处理
，具体地，涉及一种视频抠图方法、装置、系统和存储介质。
技术介绍
[0002]在视频通话、监控或抓拍场景中，通常需要采用抠图算法从视频流数据的每一视频帧图像中抠出人脸图片。
[0003]目前，抠图的算法包括实时人像背景替换算法模型MODNet，其提出了一种简单、快速、稳定的实时人像抠图处理算法。该模型的优点是，只需要将摄像头拍摄的视频流信号输入模型即可输出人脸识别结果，不需要额外的真实背景作为输入。该模型的缺点是，仅适合与已有训练样本具有一致性的视频流数据，如果输入视频流信号中的背景与已有训练样本中的背景不具有相似性(即输入模型的视频流信号中的背景是模型并未“见过”的背景)，则模型输出的抠图结果会有一定程度的噪声。而MODNet模型的训练样本的规模并不大，导致其抠图算法的适用场景有限，如果重新对模型进行训练，成本又太高。在实际应用过程中，摄像头拍摄背景难以统一，无法保证输入模型的所以视频流信号的背景都是模型训练过程中处理过的情况，所以利用上述算法进行抠图处理，准确性会大打折扣。
[0004]在另一些方案中提出采用足够复杂的模型对视频流进行抠图，相同测试条件下利用复杂模型得到的抠图效果会优于MODNet模型。但是，这类复杂模型一般要求输入两路摄像头的视频信号，其中一路摄像头视频信号需记录真实背景，而且对于摄像头拍摄环境的光线稳定性和摄像头的参数稳定性要求很高，由于限制条件较为苛刻难以投入到实际应用中。
[0005]因此，需要对现有视频抠图算法进行改进。
技术实现思路
[0006]本申请提供一种视频抠图方法、装置、系统和存储介质，以解决现有技术中视频流抠图算法存在的准确性难以保证或者对于适用性差的技术问题。
[0007]本申请一部分实施例中提供一种视频抠图方法，包括如下步骤：
[0008]对初始视频进行编码得到视频码流并将所述视频码流分为三路；
[0009]对第一路视频码流进行降低分辨率处理后得到低分辨率码流，提取所述低分辨率码流中的全局特征数据；对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据；
[0010]将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据；对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果；
[0011]对第三路视频码流进行升高分辨率处理后得到高分辨率码流；提取所述高分辨率码流中的边缘特征数据；对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨
率视频包括人形边缘识别结果；
[0012]将所述低分辨率视频中的所述人形区域识别结果和所述高分辨率视频中的人形边缘识别结果融合后得到所述初始视频中的人形抠图结果。
[0013]本申请一部分实施例中提供的视频抠图方法，在将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据的步骤中还包括：
[0014]升高所述低分辨率特征数据的分辨率，使所述低分辨率特征数据的最终分辨率与所述初始视频的分辨率相一致。
[0015]本申请一部分实施例中提供的视频抠图方法，对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据的步骤中：
[0016]对所述第二路视频码流进行至少五个池化尺度解析处理，每一池化尺度处理包括：
[0017]对第二路视频码流降维处理得到池化尺度所需的降维后特征数据，对降维后特征图像执行卷积处理后得到卷积后特征数据；
[0018]对所述卷积后特征数据进行升维处理得到与所述第二路视频码流维度相同的池化特征数据。
[0019]本申请一部分实施例中提供的视频抠图方法，对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果的步骤中：
[0020]通过树形图解码器对所述低分辨率特征数据和所述局部特征数据进行低分辨率解码处理；
[0021]根据所述树形图解码器输出的树形图预测结果得到所述人形区域识别结果。
[0022]本申请一部分实施例中提供的视频抠图方法，对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果的步骤中：
[0023]通过边沿检测解码器对所述边缘特征数据进行高分辨率微调处理；
[0024]根据所述边沿检测解码器输出的边沿预测结果得到所述人形边缘识别结果。
[0025]基于同一专利技术构思，本申请一部分实施例中提供一种视频抠图装置，包括：
[0026]编码器，用于对初始视频进行编码得到视频码流并将所述视频码流分为三路；
[0027]分辨率降低模型，用于对第一路视频码流进行降低分辨率处理后得到低分辨率码流；
[0028]全局特征提取模型，用于提取所述低分辨率码流中的全局特征数据；
[0029]局部特征提取模型，用于对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据；
[0030]连接器，用于将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据；
[0031]第一解码器，用于对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果；
[0032]分辨率升高模型，用于对第三路视频码流进行升高分辨率处理后得到高分辨率码流；
[0033]边缘特征提取模型，用于提取所述高分辨率码流中的边缘特征数据；
[0034]第二解码器，用于对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果；
[0035]将融合模型，用于将所述低分辨率视频中的所述人形区域识别结果和所述高分辨率视频中的人形边缘识别结果融合后得到所述初始视频中的人形抠图结果。
[0036]本申请一部分实施例中提供的视频抠图装置，还包括：
[0037]分辨率恢复模型，用于升高所述低分辨率特征数据的分辨率，使所述低分辨率特征数据的最终分辨率与所述初始视频的分辨率相一致。
[0038]本申请一部分实施例中提供的视频抠图装置：
[0039]所述第一解码器为树形图解码器，所述树形图解码器对所述低分辨率特征数据和所述局部特征数据进行低分辨率解码处理；根据所述树形图解码器输出的树形图预测结果得到所述人形区域识别结果；
[0040]所述第二解码器为边沿检测解码器，所述边沿检测解码器对所述边缘特征数据进行高分辨率微调处理；根据所述边沿检测解码器输出的边沿预测结果得到所述人形边缘识别结果。
[0041]基于同一专利技术构思，本申请一部分实施例还提供一种视频抠图系统，所述系统包括至少一个处理器和至少一个存储器，至少一个所述存储器中存储有程序指令，至少一个所述处理器读取所述程序指令后执行以上任一项方案所述的视频抠图方法。
[0042]基于同一专利技术构思，本申本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频抠图方法，其特征在于，包括如下步骤：对初始视频进行编码得到视频码流并将所述视频码流分为三路；对第一路视频码流进行降低分辨率处理后得到低分辨率码流，提取所述低分辨率码流中的全局特征数据；对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据；将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据；对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果；对第三路视频码流进行升高分辨率处理后得到高分辨率码流；提取所述高分辨率码流中的边缘特征数据；对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果；将所述低分辨率视频中的所述人形区域识别结果和所述高分辨率视频中的人形边缘识别结果融合后得到所述初始视频中的人形抠图结果。2.根据权利要求1所述的视频抠图方法，其特征在于，在将所述全局特征数据和所述局部特征数据融合后得到低分辨率特征数据的步骤中还包括：升高所述低分辨率特征数据的分辨率，使所述低分辨率特征数据的最终分辨率与所述初始视频的分辨率相一致。3.根据权利要求2所述的视频抠图方法，其特征在于，对第二路视频码流进行多尺度池化解析后提取所述第二路视频码流中的局部特征数据的步骤中：对所述第二路视频码流进行至少五个池化尺度解析处理，每一池化尺度处理包括：对第二路视频码流降维处理得到池化尺度所需的降维后特征数据，对降维后特征图像执行卷积处理后得到卷积后特征数据；对所述卷积后特征数据进行升维处理得到与所述第二路视频码流维度相同的池化特征数据。4.根据权利要求1
‑
3任一项所述的视频抠图方法，其特征在于，对所述低分辨率特征数据和所述局部特征数据进行解码后得到低分辨率视频，所述低分辨率视频包括人形区域识别结果的步骤中：通过树形图解码器对所述低分辨率特征数据和所述局部特征数据进行低分辨率解码处理；根据所述树形图解码器输出的树形图预测结果得到所述人形区域识别结果。5.根据权利要求1
‑
3任一项所述的视频抠图方法，其特征在于，对所述边缘特征数据进行解码后得到高分辨率视频，所述高分辨率视频包括人形边缘识别结果的步骤中：通过边沿检测解码器对所述边缘特征数据进行高分辨率微调处理；...
【专利技术属性】
技术研发人员：张红，田文宝，范文新，李一凡，
申请(专利权)人：天津易赋诊互联网医院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。