一种下消化道病灶跟踪与关键病灶选取方法和系统技术方案

本发明专利技术属于医疗设备和计算机领域，具体的，涉及一种下消化道病灶跟踪与关键病灶选取方法和系统，将多目标跟踪引入下消化道辅助诊断中，使用改进的deepsort将低置信度框引入来提高跟踪轨迹的连续性，加入手术状态模型来判断当前手术环境，减少因为病灶外观剧烈变化导致的匹配错误或跟踪丢失，同时通过手术状态模型自动判断手术的结束，并选取多个病灶跟踪轨迹中关键的清晰病灶图。本方案技术效果包括可以进行多目标跟踪，准确对下消化道病灶进行跟踪统计，结合低置信度检测框提高对严重形变病灶的跟踪连续性，使用手术状态模型判断当前手术状态的变化，利用跟踪轨迹中成功匹配帧数来自动统计关键病灶，并自动选取清晰合适的病灶图。图。图。

【技术实现步骤摘要】
一种下消化道病灶跟踪与关键病灶选取方法和系统


[0001]本专利技术属于医疗设备和计算机领域，具体的，涉及一种下消化道病灶跟踪与关键病灶选取方法和系统。

技术介绍

[0002]目前深度学习技术被广泛应用于下消化道的息肉检测中，有效降低内镜医生的漏检率。然而在一场内镜检查中，目标检测会得到许多张病灶的图片，不利于内镜医生统计病灶的个数以及筛选合适的图片用于诊断报告的显示。
[0003]同时由于下消道内镜检查中，镜头频繁旋转、切换不同光源以及对病灶进行染色等原因造成病灶严重形变、外观剧烈变化，使得传统的多目标跟踪方法经常匹配错误或跟踪丢失，导致统计计数不准确。

技术实现思路

[0004]根据本专利技术第一实施例，本专利技术请求保护一种下消化道病灶跟踪与关键病灶选取方法，包括：获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图。
[0005]具体的，所述获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪，具体包括：获取所述肠镜视频流图像，根据手术状态模型判断所述肠镜视频流中当前帧图像是否为体内类别帧，若为体内类别帧，则开启下消化道病灶检测模型执行病灶轨迹跟踪；所述手术状态模型为分类模型，使用mobilenetv2轻量级分类模型，模型数据集类别包含体外、白光、NBI、靛胭脂染色。
[0006]具体的，所述依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征，具体包括：所述下消化道病灶检测模型采用单阶段检测模型yolov3
‑
yolov8，或两阶段检测模型Faster RCNN、DetectoRS中的一个或多个，其中检测模型数据集为下消化道的主要病变，其数据集格式为COCO数据集的格式；所述病灶运动特征采用卡尔曼滤波算法对所述病灶检测框的下一帧位置进行预
测与更新；所述卡尔曼滤波预测根据上一帧的位置和速度信息，预测当前帧的位置和速度；所述病灶外观特征采用训练好的卷积神经网络提取特征，通过制作病灶重识别数据集，将同一个病灶在不同时刻下的图像裁剪下来，得到多例不同的病灶图像；采用MobileNetV2，使用已收集的所述病灶重识别数据集训练MobileNetV2分类网络，提取MobileNetV2的输出特征作为外观特征。
[0007]具体的，所述基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果，具体包括：根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。
[0008]具体的，该方法还包括：根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；通过卡尔曼滤波预测所述病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；其中IOU匹配是使用匈牙利算法求解所述当前帧的检测框与所述病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；其中级联匹配使用所述运动特征与所述外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除。
[0009]对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新。
[0010]具体的，所述根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图，具体包括：当所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时表明内
镜检查结束；统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，为检测框的长，为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作。
[0011]根据本专利技术第二方面，本专利技术请求保护一种下消化道病灶跟踪与关键病灶选取系统，包括：手术状态识别模块，获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；特征提取模块，依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；跟踪匹配模块，基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；病灶选取模块，根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图。
[0012]进一步的，所述跟踪匹配模块，具体包括：根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。
[0013]进一步的，所述跟踪匹配模块还包括：根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；其中病灶跟踪轨迹有未确认状态、确认状态、删除三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，包括：获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图。2.如权利要求1所述一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，所述获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪，具体包括：获取所述肠镜视频流图像，根据手术状态模型判断所述肠镜视频流中当前帧图像是否为体内类别帧，若为体内类别帧，则开启下消化道病灶检测模型执行病灶轨迹跟踪；所述手术状态模型为分类模型，使用mobilenetv2轻量级分类模型，模型数据集类别包含体外、白光、NBI、靛胭脂染色。3.如权利要求1所述一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，所述依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征，具体包括：所述下消化道病灶检测模型采用单阶段检测模型yolov3
‑
yolov8，或两阶段检测模型Faster RCNN、DetectoRS中的一个或多个，其中检测模型数据集为下消化道的主要病变，其数据集格式为COCO数据集的格式；所述病灶运动特征采用卡尔曼滤波算法对所述病灶检测框的下一帧位置进行预测与更新；所述卡尔曼滤波预测根据上一帧的位置和速度信息，预测当前帧的位置和速度；所述病灶外观特征采用训练好的卷积神经网络提取特征，通过制作病灶重识别数据集，将同一个病灶在不同时刻下的图像裁剪下来，得到多例不同的病灶图像；采用MobileNetV2，使用已收集的所述病灶重识别数据集训练MobileNetV2分类网络，提取MobileNetV2的输出特征作为外观特征。4.如权利要求1所述一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，所述基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果，具体包括：根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。5.如权利要求4所述一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，还包括：
根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；通过卡尔曼滤波预测所述病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；其中IOU匹配是使用匈牙利算法求解所述当前帧的检测框与所述病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；其中级联匹配使用所述运动特征与所述外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除；对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新。6.如权利要求5所述...

【专利技术属性】
技术研发人员：许妙星，林煜，胡延兴，黄飞鸿，钟晓泉，
申请(专利权)人：苏州凌影云诺医疗科技有限公司，
类型：发明
国别省市：