本公开涉及一种视频处理方法及装置、电子设备和存储介质。所述方法包括：获取视频帧序列；对所述视频帧序列中的图像帧进行基于目标对象的第一分割，得到所述视频帧序列的第一分割结果；根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合；以及根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果。通过上述过程，可以提高阴道镜视频中是否包含阴道病变以及病变位置的预测精度。精度。精度。
【技术实现步骤摘要】
视频处理方法及装置、电子设备和存储介质
[0001]本公开涉及视频处理
，尤其涉及一种视频处理方法及装置、电子设备和存储介质。
技术介绍
[0002]在阴道镜检查时，医生通过光学镜头捕捉到的画面对病人做出诊断，以画面中拍摄到的阴道内部病变区域为依据。由于阴道镜深入患者体内会引发病人不适，该检查通常不能持续太久，短时间内让医生敏感地发现病灶有时会很困难。
[0003]因此，如何利用阴道镜采集的视频来辅助医生及时准确地检测到病灶，成为目前亟待解决的问题。
技术实现思路
[0004]本公开提出了一种视频处理技术方案。
[0005]根据本公开的一方面，提供了一种视频处理方法，包括：
[0006]获取视频帧序列；对所述视频帧序列中的图像帧进行基于目标对象的第一分割，得到所述视频帧序列的第一分割结果；根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合；以及根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果。
[0007]在一种可能的实现方式中，所述对所述视频帧序列中的图像帧进行基于目标对象的第一分割，得到所述视频帧序列的第一分割结果，包括：从所述视频帧序列中选定至少一帧图像帧，作为待分割帧；对所述待分割帧通过至少一种方式进行第一分割，得到所述待分割帧的至少一个第一分割子结果；对所述待分割帧的至少一个第一分割子结果进行处理，得到所述待分割帧的第一分割结果；以及统计至少一帧待分割帧的第一分割结果，作为所述视频帧序列的所述第一分割结果。
[0008]在一种可能的实现方式中，所述根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合，包括：根据所述第一分割结果，确定所述视频帧序列中包含所述目标对象的面积最大的N帧图像帧，作为选定帧，其中，N为正整数；以及将所述选定帧构成的集合作为所述选定帧集合。
[0009]在一种可能的实现方式中，所述根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合，包括：根据所述第一分割结果，确定所述视频帧序列中包含所述目标对象的面积最大的M帧图像帧，作为选定帧，其中，M为正整数；以及从M帧选定帧中，随机选定N帧构成选定帧集合，N为正整数。
[0010]在一种可能的实现方式中，所述根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果，包括：对所述选定帧集合中的所述目标对象进行分类，得到分类结果；对所述选定帧集合中的所述目标对象进行第二分割，得到第二分割结果；以及根据所述分类结果和/或所述第二分割结果，生成所述视频帧序列中的所述目标对
象的所述预测结果。
[0011]在一种可能的实现方式中，所述根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果，包括：对所述选定帧集合通过至少一种方式进行所述目标对象的预测，得到至少一个预测子结果；以及对所述至少一个预测子结果进行处理，生成所述视频帧序列中的所述目标对象的所述预测结果。
[0012]在一种可能的实现方式中，所述对所述视频帧序列中的图像帧进行基于目标对象的第一分割，包括：将所述视频帧序列中的至少一帧图像帧输入至少一个第一神经网络，其中，所述第一神经网络通过第一训练图像进行训练。
[0013]在一种可能的实现方式中，所述第一训练图像包含目标对象第一分割标注，以及所述通过第一训练图像训练所述第一神经网络，包括：将所述第一训练图像输入初始第一神经网络，对所述初始第一神经网络进行训练，得到中间第一神经网络；将所述第一训练图像输入所述中间第一神经网络，根据所述中间第一神经网络的输出，对所述目标对象第一分割标注进行更新，得到第二训练图像；将所述第二训练图像输入中间第一神经网络，对所述中间第一神经网络进行训练，得到训练后的第一神经网络。
[0014]在一种可能的实现方式中，所述将所述第一训练图像输入所述中间第一神经网络，根据所述中间第一神经网络的输出，对所述目标对象第一分割标注进行更新，得到第二训练图像，包括：将所述第一训练图像输入所述中间第一神经网络，得到所述中间第一神经网络的输出图像；遍历所述第一训练图像中的像素点，分别确定被遍历的像素点在所述第一训练图像中属于所述目标对象的第一概率，以及在所述输出图像中属于所述目标对象的第二概率；将所述第一概率与第二概率中概率值高的概率作为所述被遍历的像素点的概率，并基于所述被遍历的像素点的概率对所述目标对象第一分割标注进行更新，以得到所述第二训练图像。
[0015]在一种可能的实现方式中，所述根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，包括：将所述选定帧集合输入至少一个第二神经网络，其中，所述第二神经网络通过第三训练图像集合进行训练，所述第三训练图像集合包含目标对象类别标注和/或目标对象第二分割标注。
[0016]在一种可能的实现方式中，所述视频帧序列包括阴道镜视频帧序列，所述目标对象包括病灶对象。
[0017]根据本公开的一方面，提供了一种视频处理装置，包括：
[0018]视频帧序列获取模块，用于获取视频帧序列；第一分割模块，用于对所述视频帧序列中的图像帧进行基于目标对象的第一分割，得到所述视频帧序列的第一分割结果；选定模块，用于根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合；以及预测模块，用于根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果。
[0019]在一种可能的实现方式中，所述第一分割模块用于：从所述视频帧序列中选定至少一帧图像帧，作为待分割帧；对所述待分割帧通过至少一种方式进行第一分割，得到所述待分割帧的至少一个第一分割子结果；对所述待分割帧的至少一个第一分割子结果进行处理，得到所述待分割帧的第一分割结果；以及统计至少一帧待分割帧的第一分割结果，作为所述视频帧序列的所述第一分割结果。
[0020]在一种可能的实现方式中，所述选定模块用于：根据所述第一分割结果，确定所述视频帧序列中包含所述目标对象的面积最大的N帧图像帧，作为选定帧，其中，N为正整数；以及将所述选定帧构成的集合作为所述选定帧集合。
[0021]在一种可能的实现方式中，所述选定模块用于：根据所述第一分割结果，确定所述视频帧序列中包含所述目标对象的面积最大的M帧图像帧，作为选定帧，其中，M为正整数；以及从M帧选定帧中，随机选定N帧构成选定帧集合，N为正整数。
[0022]在一种可能的实现方式中，所述预测模块用于：对所述选定帧集合中的所述目标对象进行分类，得到分类结果；对所述选定帧集合中的所述目标对象进行第二分割，得到第二分割结果；以及根据所述分类结果和/或所述第二分割结果，生成所述视频帧序列中的所述目标对象的所述预测结果。
[0023]在一种可能的实现方式中，所述预测模块用于：对所述选定帧集合通过至少一种方式进行所述目标对象的预测，得到至少一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取视频帧序列；对所述视频帧序列中的图像帧进行基于目标对象的第一分割，得到所述视频帧序列的第一分割结果；根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合；以及根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果。2.根据权利要求1所述的方法，其特征在于，所述对所述视频帧序列中的图像帧进行基于目标对象的第一分割，得到所述视频帧序列的第一分割结果，包括：从所述视频帧序列中选定至少一帧图像帧，作为待分割帧；对所述待分割帧通过至少一种方式进行第一分割，得到所述待分割帧的至少一个第一分割子结果；对所述待分割帧的至少一个第一分割子结果进行处理，得到所述待分割帧的第一分割结果；以及统计至少一帧待分割帧的第一分割结果，作为所述视频帧序列的所述第一分割结果。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合，包括：根据所述第一分割结果，确定所述视频帧序列中包含所述目标对象的面积最大的N帧图像帧，作为选定帧，其中，N为正整数；以及将所述选定帧构成的集合作为所述选定帧集合。4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一分割结果，从所述视频帧序列中，选定包含所述目标对象的至少部分图像帧作为选定帧集合，包括：根据所述第一分割结果，确定所述视频帧序列中包含所述目标对象的面积最大的M帧图像帧，作为选定帧，其中，M为正整数；以及从M帧选定帧中，随机选定N帧构成选定帧集合，N为正整数。5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果，包括：对所述选定帧集合中的所述目标对象进行分类，得到分类结果；对所述选定帧集合中的所述目标对象进行第二分割，得到第二分割结果；以及根据所述分类结果和/或所述第二分割结果，生成所述视频帧序列中的所述目标对象的所述预测结果。6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述根据所述选定帧集合，对所述视频帧序列中的所述目标对象进行预测，生成预测结果，包括：对所述选定帧集合通过至少一种方式进行所述目标对象的预测，得到至少一个预测子结果；以及对所述至少一个预测子结果进行处理，生成所述视频帧序列中的所述目标对象的所述预测结果。7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述对所述视频帧序列中的图像帧进行基于目标对象的第一分割，包括：
将所述视频帧序列中的至少一帧图像帧输入至少一个第一...
【专利技术属性】
技术研发人员：李嘉辉，黄晓迪，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。