基于视频摘要技术的胶囊内镜关键病灶图像检测方法技术

本发明专利技术公开了一种基于视频摘要技术的胶囊内镜关键病灶图像检测方法，包括：对胶囊拍摄到的视频图像进行分帧处理保存每一帧图像，并按拍摄时间顺序组成图像序列；将视频分帧后的图像序列输入至预训练的特征提取模型中从而获得每一张图像具有语义信息的特征向量；通过计算帧间特征向量的相似性识别突变帧，根据突变帧将视频划分为若干个缓变区间，根据画面变化帧与参考强干扰图像相似度，滤除视频中强干扰区间，从而得到过滤后的缓变区间，在各缓变区间中选择关键帧，最终组成关键帧序列；采用深度学习目标检测技术对关键帧序列进行病灶检测与识别，并保存关键帧序列中所有检出有病灶的图像极其对应的病变检测信息；根据病变检测信息获取病变关键帧图像的检测信息，对病变关键帧图像进行排序并显示关键病变图像。变关键帧图像进行排序并显示关键病变图像。变关键帧图像进行排序并显示关键病变图像。

【技术实现步骤摘要】
基于视频摘要技术的胶囊内镜关键病灶图像检测方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于视频摘要技术的胶囊内镜关键病灶图像检测方法。

技术介绍

[0002]无线胶囊内镜是近年来引进的胃肠道检查新技术，该技术检查过程无痛，且不存在检测盲区。胶囊通过口腔进入肠胃，随着肠胃自然蠕动，胶囊摄像头捕捉胃肠道内的彩色图像，通过无线传输给数据记录装置。然而，阅片医生需要从患者庞大的内镜图像中寻找出血点、息肉、溃疡、糜烂等病理特征，对一位患者视频的检查常常需要花费2
‑
3小时时间，诊断效率较低。对于多个病例的连续检查过程冗长枯燥，极大地降低了临床医生的使用意愿，而且视觉疲劳易引起漏检。人工判读的低效率，影响了胶囊内镜的大规模使用，在一定程度上制约了临床上的普及和发展。因此寻找一种快速筛选机制，使得医生在不必浏览全部视频的前提下，自动提取携带医生感兴趣信息的视频图像供医生进一步诊断，对于减轻医生的诊断负担，提高医生的诊断效率是十分重要的。
[0003]深度学习在图像识别等领域取得了成功，深度学习技术逐渐应用于医学图像领域。基于深度学习的目标检测算法目前发展较为成熟，如yolo、faster
‑
rcnn等模型，现有技术将深度学习的目标检测算法应用于多样性强的病灶检测问题中。但是，一方面，胶囊内镜视频时长大约在8小时左右，胶囊在肠道内的运动缓慢且非匀速，有可能长时间停留在一个位置，连续拍摄的图像重复性高，且没有增加新的信息量。现有病灶检测技术对视频的每一帧都进行了检测，检测的方法效率低，会包含连续帧呈现的同一个病灶图像，检测结果冗余。另一方面，小肠部位的影像相比于胃部，具有更复杂的环境，如食物残渣、浑浊肠液、残渣、气泡等，特别是与残渣特征相似的粘膜溃疡，易造成病灶的误检；
[0004]对于视频摘要生成的现有技术来说，有一类方法是利用聚类算法进行视频关键帧选取，将聚类中心的图像作为视频关键帧。由于肠道内采集图像相似度高，此类方法的缺陷在于会将时间相隔较远，不同部位的图像聚集在一起，使得摘要中丢失了处于肠道不同部位的关键信息帧，不能全面地展现患者的肠道病情。有改进方法是先将视频划分成若干个等间隔的区间，再对区间内的图像帧进行聚类。但是，由于胶囊在肠道内是非匀速运动，实际情况下的视频关键帧间隔不是均匀分布的，因此区间间隔参数难以人工设定，不适用于实际应用。另一类方法是根据胶囊内镜图像特征进行帧间差测定，根据相邻帧之间特征的相似度判定图像为关键帧或非关键帧。在特征提取技术上，现有方法主要通过设计胶囊内镜图像的一种普适特征。对于胃肠道内镜影像，常用特征主要包括颜色直方图、梯度、形状特征、纹理特征等。此类方法的缺陷在于，由于拍摄视角和距离的不同，以及患者之间肠道环境的多样性，因此，仅通过低级图像特征进行图像全局表示的鲁棒性较差。

技术实现思路

[0005]根据现有技术存在的问题，本专利技术公开了一种基于视频摘要技术的胶囊内镜关键
病灶图像检测方法，具体包括如下步骤：
[0006]对胶囊拍摄到的视频图像进行分帧处理保存每一帧图像，并按拍摄时间顺序组成图像序列；
[0007]将视频分帧后的图像序列输入至卷积神经网络模型中从而获得每一张图像具有语义信息的特征向量；
[0008]采用视频摘要技术自动获取视频中具有代表性的内镜图像，将该内镜图像定义为关键帧，计算帧间特征向量的相似性来识别突变帧，根据突变帧将视频划分为若干个缓变区间，根据突变帧与参考强干扰图像相似度，滤除视频中强干扰区间，从而得到过滤后的缓变区间；在各缓变区间中选择有效的关键帧，最终组成关键帧序列；
[0009]采用深度学习目标检测方法对关键帧序列进行病灶检测与识别，并保存关键帧序列中所有检出有病灶的图像极其对应的病变检测信息；
[0010]根据病变检测信息获取病变关键帧图像的检测信息，对病变关键帧图像进行排序并显示关键病变图像。
[0011]进一步的，识别突变帧从而划分视频的缓变区间包括：
[0012]突变帧初始化：将输入图像序列中的第一帧图像记为第一段缓变区间的突变帧，记为
[0013]获取相邻帧间变化：计算第t帧与t
‑
1帧特征向量之间的余弦距离，记为D(f
t
‑1,f
t
)；
[0014]获取区间积累变化：计算第t帧与前一个突变帧特征向量之间的余弦距离，记为
[0015]结合上述两种变化对应的特征相似度结果计算距离的加权和，得到该帧与第Ci段缓变区间图像的相似度：
[0016]S(f
t
)＝1
‑
[α
×
D(f
t
‑1,f
t
)+(1
‑
α)
×
D(f
Ci
,f
t
)][0017]判断当前帧是否与前一帧或前一段图像帧具有明显的画面变化，将发生明显变化的图像帧记为突变帧，根据设定的相似度阈值判断该帧是否为突变帧：当相似度大于第一阈值则该帧为突变帧，即新一段缓变区间的开始，记为第i+1段缓变区间的第一帧：当相似度小于第一阈值，则该帧不是突变帧，即在当前缓变区间中增加一帧，记为当前缓变区间i的第j+1张图：表达式如下：
[0018][0019]其中α为当前帧于前一帧的相似度在相似度度量所占比重，th为突变帧相似度判断阈值，若当前帧为突变帧，将其特征向量记为f
C(i+1)
。
[0020]进一步的，滤除视频中强干扰区间时首先判断突变帧图像是否为强干扰图像，由此推断该帧所在的缓变区间是否为强干扰区间，具体采用如下方式：
[0021]从分帧后的图像中选取干扰程度强的图像，查询图像对应的特征向量作为强干扰参考特征向量，记为f
occluded
；
[0022]计算关键帧图像提取的特征向量与强干扰参考特征向量之间的余弦相似度：
[0023]D(f
C(i+1)
,f
occluded
)
[0024]如果余弦相似度大于第二阈值则为强干扰图像，则将该张突变帧图像所在的缓变区间定义为强干扰区间。
[0025]进一步的，所述第二阈值小于第一阈值。
[0026]进一步的，获取关键帧序列时：在一个缓变区间中，每隔10帧选择一帧组成关键帧序列，设第i段缓变区间内共n帧，则缓变区间中的图像序列表示为则第i段缓变区间中抽取的关键帧序列为：
[0027][0028]式中[
·
]表示取整运算，返回不超过括号内计算结果的最大整数。
[0029]进一步的，对病变关键帧图像进行排序时：
[0030]假设第i张病变关键帧图像为I
i
，图像内病灶总数为K，将第k个病灶记为病灶类型记为模型置信度
[0031]读取病变图像的病灶类型，将病变图像分成不同类型病灶构成的子集；
[0032]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频摘要技术的胶囊内镜关键病灶图像检测方法，其特征在于包括：对胶囊拍摄到的视频图像进行分帧处理保存每一帧图像，并按拍摄时间顺序组成图像序列；将视频分帧后的图像序列输入至卷积神经网络模型中从而获得每一张图像具有语义信息的特征向量；采用视频摘要技术自动获取视频中具有代表性的内镜图像，将该内镜图像定义为关键帧，计算帧间特征向量的相似性来识别突变帧，根据突变帧将视频划分为若干个缓变区间，根据突变帧与参考强干扰图像相似度，滤除视频中强干扰区间，从而得到过滤后的缓变区间；在各缓变区间中选择有效的关键帧，最终组成关键帧序列；采用深度学习目标检测方法对关键帧序列进行病灶检测与识别，并保存关键帧序列中所有检出有病灶的图像极其对应的病变检测信息；根据病变检测信息获取病变关键帧图像的检测信息，对病变关键帧图像进行排序并显示关键病变图像。2.根据权利要求1所述的方法，其特征在于：识别突变帧从而划分视频的缓变区间包括：突变帧初始化：将输入图像序列中的第一帧图像记为第一段缓变区间的突变帧，记为获取相邻帧间变化：计算第t帧与t
‑
1帧特征向量之间的余弦距离，记为D(f
t
‑1,f
t
)；获取区间积累变化：计算第t帧与前一个突变帧特征向量之间的余弦距离，记为结合上述两种变化对应的特征相似度结果计算距离的加权和，得到该帧与第Ci段缓变区间图像的相似度：S(f
t
)＝1
‑
[α
×
D(f
t
‑1,f
t
)+(1
‑
α)
×
D(f
Ci
,f
t
)]判断当前帧是否与前一帧或前一段图像帧具有明显的画面变化，将发生明显变化的图像帧记为突变帧，根据设定的相似度阈值判断该帧是否为突变帧：当相似度大于第一阈值则该帧为突变帧，即新一段缓变区间的开始，记为第i+1段缓变区间的第一帧：当相似度小于第一阈值，则该帧不...

【专利技术属性】
技术研发人员：王新琪，温涛，孙箫宇，于丹，来关军，
申请(专利权)人：大连东软教育科技集团有限公司，
类型：发明
国别省市：