一种视频处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种视频处理方法、装置、电子设备及存储介质，其中，该视频处理方法包括：获取视频片段；所述视频片段中包括当前帧的第一图像和上一帧的第二图像；确定所述第一图像的目标位置区域的第一语义分割结果以及所述第一图像的目标位置区域的第一特征信息；获取所述第二图像的第二语义分割结果以及所述第二图像的第二特征信息；基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果。

【技术实现步骤摘要】
一种视频处理方法、装置、电子设备及存储介质
本公开涉及视频处理
，具体而言，涉及一种视频处理方法、装置、电子设备及存储介质。
技术介绍
在使用预先训练的图片语义分割模型对离线视频片段进行语义分割处理，可以将离线视频片段中的图像作为图像输入预先训练的语义分割模型中进行语义分割，得到每帧图像的语义分割结果，这种方式可以识别出单帧图像中包含的目标对象。但是由于图片语义分割模型会存在一定的误差，在针对不同帧图像中的细节进行语义分割处理时得到的分割结果的精度可能不同，这样视频片段中的相邻两帧图像的语义分割结果会出现不同，比如相邻两帧图像中同一目标对象的轮廓在一帧图像中的轮廓为直线，在后一帧图像中的轮廓为曲线，从而带来视觉上的抖动，因此目前亟需提供一种针对离线视频片段的语义分割方式。
技术实现思路
本公开实施例至少提供一种视频处理方案。第一方面，本公开实施例提供了一种视频处理方法，包括：获取视频片段；所述视频片段中包括当前帧的第一图像和上一帧的第二图像；确定所述第一图像的目标位置区域的第一语义分割结果以及所述第一图像的目标位置区域的第一特征信息；获取所述第二图像的第二语义分割结果以及所述第二图像的第二特征信息；基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果。本公开实施例中，在语义分割中，特征信息相似的像素点属于同一语义分割结果的可能性较大，以及视频片段中相邻两帧图像的语义分割结果的关联性较大，因此在确定第一图像的第二语义分割结果时，可以同时结合第一图像和与该第一图像相邻的第二图像的语义分割结果和特征信息，从而得到第一图像对应的准确度较高的第二语义分割结果，以便降低语义分割的预测误差带来的帧间抖动的问题，达到优化视觉效果的作用。在一种可能的实施方式中，根据以下方式确定所述第一图像的目标位置区域的第一特征信息：提取所述第一图像的目标位置区域中每个第一像素点的颜色特征值和位置特征值；基于所述第一像素点的所述颜色特征值、所述位置特征值和时域特征值，生成所述第一像素点的第一特征信息；所述时域特征值用于表示所述第一图像与所述第二图像之间的采集时间顺序信息。本公开实施例中，提出可以通过颜色特征值、位置特征值和时域特征值构成准确表征第一图像的目标位置区域中的每个第一像素点特征的第一特征信息，通过每个第一像素点的第一特征信息，可以为调整得到第一像素点准确度较高的语义分割结果做准备。在一种可能的实施方式中，所述目标位置区域为所述第一图像中的部分区域；所述基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果，包括：基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的目标位置区域的第二语义分割结果；基于所述第一图像的目标位置区域的第二语义分割结果以及所述第一图像的目标位置区域以外的其它位置区域的设定语义分割结果，得到所述第一图像的第二语义分割结果。本公开实施例中，在得到第一图像中目标位置区域中的语义分割结果后，可以结合第一图像的目标位置区域外的其它位置区域的设定语义分割结果，比如默认的语义分割结果为指示目标类别是背景的概率值，从而可以准确快速的得到第一图像的第二语义分割结果，为后续进行视频处理提供支持。在一种可能的实施方式中，所述基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的目标位置区域的第二语义分割结果，包括：针对所述第一图像的目标位置区域内的第一像素点，根据所述第一像素点的第一语义分割结果以及所述第一特征信息，以及所述第二图像中与所述第一像素点匹配的第二像素点的第二语义分割结果以及所述第二特征信息，确定所述第一像素点和所述第二像素点属于目标类别的置信度；基于所述置信度，对所述第一像素点的第一语义分割结果进行调整，得到所述第一像素点的第二语义分割结果，所述第二语义分割结果包括所述第一像素点属于所述目标类别的第二概率值。本公开实施例中，提出通过第一像素点的第一语义分割结果和第一特征信息、以及与第一像素点匹配的第二像素点的第二语义分割结果和第二特征信息来确定第一像素点和与第一像素点匹配的第二像素点属于目标类别的置信度，这样，可以通过该置信度对第一像素点的第一语义分割结果进行调整，从而得到第一像素点对应的准确度较高的第二语义分割结果。在一种可能的实施方式中，所述基于所述置信度，对所述第一像素点的第一语义分割结果进行调整，得到所述第一像素点的第二语义分割结果，包括：基于所述置信度，对所述第一像素点的第一语义分割结果和所述第二像素点的第二语义分割结果分别进行调整，得到第一更新语义分割结果以及第二更新语义分割结果；基于所述第一更新语义分割结果和所述第一特征信息、以及所述第二更新语义分割结果和所述第二特征信息，确定所述第一像素点和所述第二像素点属于所述目标类别的当前置信度；基于所述当前置信度，对所述第一更新语义分割结果和所述第二更新语义分割结果进行调整后，返回确定所述当前置信度的步骤，直至达到预设调整次数后，得到所述第一像素点的第二语义分割结果。本公开实施例中，可以通过第一像素点和所述第二像素点属于目标类别的当前置信度，对第一像素点的第一语义分割结果进行多次调整，从而得到第一像素点对应的准确度较高的第二语义分割结果。在一种可能的实施方式中，本公开实施例提供的视频方法还包括：在达到预设调整次数后，得到所述第二像素点属于所述目标类别的最新概率值；根据所述最新概率值，调整所述第二图像中指定目标类别的像素点所在的目标类别区域。本公开实施例中，在确定第一图像中第一像素点的第二语义分割结果的过程中，还会对第二图像中与第一像素点匹配的第二像素点的类别信息进行优化，从而得到第二图像准确度较高的类别信息。在一种可能的实施方式中，所述确定所述第一图像的目标位置区域的第一语义分割结果，包括：获取所述第二图像的目标位置区域的位置范围，并从所述第一图像中截取与所述第二图像的目标位置区域的位置范围匹配的初始位置区域；确定所述第一图像中所述初始位置区域的初始语义分割结果；基于所述第二图像的目标位置区域的位置范围、所述第一图像中所述初始位置区域的位置范围以及所述初始语义分割结果，确定所述第一图像的目标位置区域的第一语义分割结果。本公开实施例中，考虑到相邻帧之间的时间采集时间间隔较短，因此可以通过上一帧的第二图像的目标位置区域在当前帧的第一图像中选择分割目标的占比尺寸符合要求的目标位置区域，这样在选择出分割目标的占比尺寸符合要求的初始位置区域后，一方面在使用语义分割模型确定初始语义分割结果时，可以提高确定的初始语义分割结果的准确度，另一方面，因为初始位置区域是基于上一帧的第二图像的目标位置区域确定的，因此本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n获取视频片段；所述视频片段中包括当前帧的第一图像和上一帧的第二图像；/n确定所述第一图像的目标位置区域的第一语义分割结果以及所述第一图像的目标位置区域的第一特征信息；/n获取所述第二图像的第二语义分割结果以及所述第二图像的第二特征信息；/n基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
获取视频片段；所述视频片段中包括当前帧的第一图像和上一帧的第二图像；
确定所述第一图像的目标位置区域的第一语义分割结果以及所述第一图像的目标位置区域的第一特征信息；
获取所述第二图像的第二语义分割结果以及所述第二图像的第二特征信息；
基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果。


2.根据权利要求1所述的方法，其特征在于，根据以下方式确定所述第一图像的目标位置区域的第一特征信息：
提取所述第一图像的目标位置区域中每个第一像素点的颜色特征值和位置特征值；
基于所述第一像素点的所述颜色特征值、所述位置特征值和时域特征值，生成所述第一像素点的第一特征信息；所述时域特征值用于表示所述第一图像与所述第二图像之间的采集时间顺序信息。


3.根据权利要求1或2所述的方法，其特征在于，所述目标位置区域为所述第一图像中的部分区域；所述基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果，包括：
基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的目标位置区域的第二语义分割结果；
基于所述第一图像的目标位置区域的第二语义分割结果以及所述第一图像的目标位置区域以外的其它位置区域的设定语义分割结果，得到所述第一图像的第二语义分割结果。


4.根据权利要求3所述的方法，其特征在于，所述基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的目标位置区域的第二语义分割结果，包括：
针对所述第一图像的目标位置区域内的第一像素点，根据所述第一像素点的第一语义分割结果以及所述第一特征信息，以及所述第二图像中与所述第一像素点匹配的第二像素点的第二语义分割结果以及所述第二特征信息，确定所述第一像素点和所述第二像素点属于目标类别的置信度；
基于所述置信度，对所述第一像素点的第一语义分割结果进行调整，得到所述第一像素点的第二语义分割结果，所述第二语义分割结果包括所述第一像素点属于所述目标类别的第二概率值。


5.根据权利要求4所述的方法，其特征在于，所述基于所述置信度，对所述第一像素点的第一语义分割结果进行调整，得到所述第一像素点的第二语义分割结果，包括：
基于所述置信度，对所述第一像素点的第一语义分割结果和所述第二像素点的第二语义分割结果分别进行调整，得到第一更新语义分割结果以及第二更新语义分割结果；
基于所述第一更新语义分割结果和所述第一特征信息、以及所述第二更新语义分割结果和所述第二特征信息，确定所述第一像素点和所述第二像素点属于所述目标类别的当前置信度；
基于所述当前置信度，对所述第一更新语义分割结果和所述第二更新语义分割结果进行调整后，返回确定所述当前置信度的步骤，直至达到预设调整次数后，得到所述第一像素点的第二语义分割结果。


6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：
在达到预设调整次数后，得到所述第二像素点属于所述目标类别的最新概率值；
根据所述最新概率值，调整所述第二图像中指定目标类别的像素点所在的目标类别区域。


7.根据权利要求1至6任一所述的方法，其特征在于，所述确定所述第一图像的目标位置区域的第一语义分割结果，包括：
获取所述第二图像的目标位置区域的位置范围，并从所述第一图像中截取与所述第二图像的目标位置区域的位置范围匹配的初始位置区域；
确定所述第一图像中所述初始位置区域的初始语义分割结果；
基于所述第二图像的目标位置区域的位置范围、所述第一图像中所述初始位置区域的位置范围以及所述初始语义分割结果，确定所述第一图像的目标位置区域的第一语义分割结果。


8.根据权利要求7所述的方法，其特征在于，所述基于所述第二图像的目标位置区域的位置范围、所述第一图像中所述初始位置区域的位置范围以及所述初始语义分...

【专利技术属性】
技术研发人员：程俊奇，四建楼，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31