腔内组织跟踪方法、电子设备及计算机可读介质技术

本申请涉及一种腔内组织跟踪方法、电子设备及计算机可读介质，通过从腹腔内手术视频中随机选取一帧图像，并从被选取图像中随机截取一个目标区域作为前景图像，然后将前景图像融合到随机选取的另一张图像中，由此获得包含前景图像及前景图像位置信息的训练图像。以此方式，无需在从腹腔内手术视频获取的每一张图像标注出目标区域，能够避免组织之间无明显边界的困扰，从而较易的获得训练腔内组织跟踪模型的图像数据集。的图像数据集。的图像数据集。

【技术实现步骤摘要】
腔内组织跟踪方法、电子设备及计算机可读介质


[0001]本申请涉及图像数据标注
，特别是涉及一种腔内组织跟踪方法、电子设备及计算机可读介质。

技术介绍

[0002]单目标跟踪任务的一般流程是，在视频流的第一帧图像中人为框选出待跟踪目标，在后续帧中，跟踪算法能够自动找到目标并框选标出。
[0003]目前，基于深度学习的单目标跟踪算法中，其训练用的图像数据集的标注，主要通过人工标注。对于腔内组织的数据标注，所选取的跟踪目标可以是任意组织和大小的，因此经常出现所选取的目标组织区域与其他组织无明显边界，人工标注困难，很难在下一帧图像中准确标注出前一帧所选取的目标所在区域，从而很难获得用于单目标跟踪算法训练的图像数据集。

技术实现思路

[0004]基于此，有必要针对经常出现所选取的目标组织区域与其他组织无明显边界，人工标注困难，很难在下一帧图像中准确标注出前一帧所选取的目标所在区域，从而很难获得用于单目标跟踪算法训练的图像数据集的问题，提供一种腔内组织跟踪方法、电子设备及计算机可读介质。
[0005]本申请提供一种腔内组织跟踪方法，包括：
[0006]获取腹腔内手术视频；
[0007]从腹腔内手术视频中随机选取一帧图像，从被选取图像中随机截取一个目标区域作为前景图像；
[0008]对前景图像进行图像增强处理；
[0009]从腹腔内手术视频中随机选取一帧图像作为背景图像；
[0010]将所述前景图像融合到选取的背景图像中，记录前景图像在背景图像中的位置，形成训练图像；
[0011]返回所述从腹腔内手术视频中随机选取一帧图像作为背景图像，直至获取预设数量的训练图像；
[0012]返回所述从腹腔内手术视频中随机选取一帧图像，从被选取图像中随机截取一个目标区域作为前景图像，直至选取的次数达到预设选取次数；
[0013]创建一个图像数据集，将所有训练图像纳入所述图像数据集；
[0014]创建腔内组织跟踪模型，将所述图像数据集作为训练数据输入至所述腔内组织跟踪模型中并对所述腔内组织跟踪模型进行训练；
[0015]选定一个待检测区域，获取所述待检测区域的图像作为待检测区域图像；
[0016]获取当前视频帧，将待检测区域图像和当前视频帧输入至所述腔内组织跟踪模型中，运行所述腔内组织跟踪模型，获取所述腔内组织跟踪模型输出的腔内组织跟踪结果。
[0017]本申请还提供一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现如上述内容所述的腔内组织跟踪方法。
[0018]本申请还提供一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述内容所述的腔内组织跟踪方法。
[0019]本申请涉及一种腔内组织跟踪方法、电子设备及计算机可读介质，通过从腹腔内手术视频中随机选取一帧图像，并从被选取图像中随机截取一个目标区域作为前景图像，然后将前景图像融合到随机选取的另一张图像中，由此获得包含前景图像及前景图像位置信息的训练图像。以此方式，无需在从腹腔内手术视频获取的每一张图像标注出目标区域，能够避免组织之间无明显边界的困扰，从而较易的获得训练腔内组织跟踪模型的图像数据集。
附图说明
[0020]图1为本申请一实施例提供的腔内组织跟踪方法的流程示意图。
[0021]图2为本申请一实施例提供的腔内组织跟踪方法中目标区域截取的示意图。
[0022]图3为本申请一实施例提供的腔内组织跟踪方法中前景图像覆盖背景图像的示意图。
[0023]图4为本申请一实施例提供的电子设备的结构图。
[0024]附图标记：
[0025]100
‑
电子设别；110
‑
存储器；120
‑
处理器。
具体实施方式
[0026]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0027]本申请提供一种腔内组织跟踪方法。
[0028]如图1所示，在本申请的一实施例中，所述腔内组织跟踪方法包括如下S100至S930：
[0029]S100，获取腹腔内手术视频；
[0030]S210，从腹腔内手术视频中随机选取一帧图像，从被选取图像中随机截取一个目标区域作为前景图像；
[0031]具体的，截取的目标区域可以是图像中的任意位置，任意面积，也可以是任意形状的区域。
[0032]S300，对前景图像进行图像增强处理；
[0033]具体的，图像增强处理包括对前景图像旋转、对前景图像缩放、对前景图像进行亮度调整和对前景图像进行对比度调整中的一种或多种，进而将前景图像调整至合适的尺寸和角度。
[0034]S400，从腹腔内手术视频中随机选取一帧图像作为背景图像；
[0035]S500，将所述前景图像融合到选取的背景图像中，记录前景图像在背景图像中的位置，形成训练图像；
[0036]具体的，若前景图像和背景图像的尺寸比例不符，可对背景图像进行适当的缩放。
[0037]S600，返回所述S400，直至获取预设数量的训练图像；
[0038]S700，返回所述S210，直至选取的次数达到预设选取次数；
[0039]S800，创建一个图像数据集，将所有训练图像纳入所述图像数据集；
[0040]具体的，定义预设数量为S，预设选取次数为N，则图像数据集中训练图像的总数为S乘N。
[0041]S910，创建腔内组织跟踪模型，将所述图像数据集作为训练数据输入至所述腔内组织跟踪模型中并对所述腔内组织跟踪模型进行训练；
[0042]S920，选定一个待检测区域，获取所述待检测区域的图像作为待检测区域图像；
[0043]S930，获取当前视频帧，将待检测区域图像和当前视频帧输入至所述腔内组织跟踪模型中，运行所述腔内组织跟踪模型，获取所述腔内组织跟踪模型输出的腔内组织跟踪结果。
[0044]具体的，所述腔内组织跟踪结果可以是输出附带有待检测区域图像的当前视频帧，或者是输出未找到的消息，或者其他报警信息。
[0045]本申请所训练完成的腔内组织跟踪模型，可应用至手术过程中内窥镜实时获取的当前视频帧，以自动找到目标区域并标出。也可以应用至术后视频的当前视频帧，以自动找到目标区域并标出。
[0046]在本实施例中，通过从腹腔内手术视频中随机选取一帧图像，并从被选取图像中随机截取一个目标区域作为前景图像，然后将前景图像融合到随机选取的另一张图像中，由此获得包含前景图像及前景图像位置信息的训练图像。以此方式，无需在从腹腔内手术视频获取的每一张图像标注出目标区域，能够避免组织之间无明显边界的困扰，从而较易的获得训练腔内组织跟踪模型的图像数据集。
[0047]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种腔内组织跟踪方法，其特征在于，所述腔内组织跟踪方法包括：获取腹腔内手术视频；从腹腔内手术视频中随机选取一帧图像，从被选取图像中随机截取一个目标区域作为前景图像；对前景图像进行图像增强处理；从腹腔内手术视频中随机选取一帧图像作为背景图像；将所述前景图像融合到选取的背景图像中，记录前景图像在背景图像中的位置，形成训练图像；返回所述从腹腔内手术视频中随机选取一帧图像作为背景图像，直至获取预设数量的训练图像；返回所述从腹腔内手术视频中随机选取一帧图像，从被选取图像中随机截取一个目标区域作为前景图像，直至选取的次数达到预设选取次数；创建一个图像数据集，将所有训练图像纳入所述图像数据集；创建腔内组织跟踪模型，将所述图像数据集作为训练数据输入至所述腔内组织跟踪模型中并对所述腔内组织跟踪模型进行训练；选定一个待检测区域，获取所述待检测区域的图像作为待检测区域图像；获取当前视频帧，将待检测区域图像和当前视频帧输入至所述腔内组织跟踪模型中，运行所述腔内组织跟踪模型，获取所述腔内组织跟踪模型输出的腔内组织跟踪结果。2.根据权利要求1所述的腔内组织跟踪方法，其特征在于，在所述对前景图像进行图像增强处理之前，所述方法还包括：计算目标区域的轮廓边界与所述被选取图像的图像边界之间的边界最短距离；判断所述边界最短距离是否小于预设距离阈值；若所述边界最短距离小于预设距离阈值，则返回所述从腹腔内手术视频中随机选取一帧图像，从该被选取图像中随机截取一个目标区域作为前景图像；若所述边界最短距离大于或等于预设距离阈值，则执行所述对前景图像进行图像增强处理。3.根据权利要求1所述的腔内组织跟踪方法，其特征在于，所述图像增强处理包括对前景图像旋转、对前景图像缩放、对前景图像进行亮度调整和对前景图像进行对比度调整中的一种或多种。4.根据权利要求1所述的腔内组织跟踪方法，其特征在于，所述将所述前景图像融合到选取的背景图像中，记录前景图像在背景图像中的位置，形成训练图像，包括：基于二维像素坐标系，采用若干沿所述二维像素坐标系的第一方向轴间隔布置的经线，及若干沿所述二维像素坐标系的第二方向轴间隔布置的纬线，对背景图像进行划分，得到多个交汇点；所述交汇点为经线与纬线的交点；获取每个交汇点在所述像素坐标系中的坐标；将前景图像覆盖至背景图像之上，以使所述前景图像的中心点随机与一个交汇点重合，形成训练图像；将与前景图像的...

【专利技术属性】
技术研发人员：邓永贡，李昀，江业廷，
申请(专利权)人：杭州华匠医学机器人有限公司，
类型：发明
国别省市：