支气管镜的定位方法、装置、计算设备及存储介质制造方法及图纸

本申请提供了一种支气管镜的定位方法、装置、计算设备及存储介质，其中，该方法包括：识别由支气管镜拍摄到的支气管图像是否属于关键帧图像；将识别出的关键帧图像输入第一图像分类神经网络，获得由第一图像分类神经网络输出的各个关键帧图像的图像分类结果，并根据图像分类结果确定包含气道分叉口的目标关键帧图像；将目标关键帧图像输入肺段识别神经网络，获得由肺段识别神经网络输出的属于目标关键帧图像所含气道分叉口的各个肺段的标识信息，标识信息被用于确定支气管镜的位置，从而实现支气管镜的定位，提高了支气管镜的定位精确度。确度。确度。

【技术实现步骤摘要】
支气管镜的定位方法、装置、计算设备及存储介质


[0001]本申请实施例涉及数据处理
，尤其涉及一种支气管镜的定位方法、装置、计算设备及存储介质。

技术介绍

[0002]肺癌(也就是支气管肺癌)是世界范围内发病率及死亡率较高的恶性肿瘤之一，近年发病率及死亡率均呈逐年上升趋势。手术是目前肺癌最有效的治疗方法，但是由于早期肺癌临床表现无特异性，大多数患者确诊肺癌时已错过最好的手术时机，因此，早期检测和后期手术是提高肺癌患者生存率的重要步骤。
[0003]支气管镜检查是支气管检测的重要手段之一，现有技术在对支气管镜进行定位时，都是将支气管镜获取的实际图像与预先存储在支气管图像库中的所有图像进行配准，以得到支气管镜当前在气管中的位置，这一配准过程较为复杂，需要消耗大量的消费资源，并且该方式在支气管镜图像掉帧时，需要重新将支气管镜获取的实际图像与支气管图像库中的所有图像进行配准，难以实现精确的支气管定位，进而实现支气管的导航。

技术实现思路

[0004]本申请实施例提供的支气管镜的定位方法、装置、计算设备及存储介质，可实现精确的支气管定位，从而可实现支气管的精确导航。
[0005]本申请实施例一方面提供了一种支气管镜的定位方法，其特征在于，所述方法包括：
[0006]识别由支气管镜拍摄到的支气管图像是否属于关键帧图像；
[0007]将识别出的关键帧图像输入第一图像分类神经网络，获得由所述第一图像分类神经网络输出的各个关键帧图像的图像分类结果，并根据所述图像分类结果确定包含气道分叉口的目标关键帧图像；
[0008]将所述目标关键帧图像输入肺段识别神经网络，获得由所述肺段识别神经网络输出的属于所述目标关键帧图像所含气道分叉口的各个肺段的标识信息，所述标识信息被用于确定所述支气管镜的位置
[0009]本申请实施例一方面还提供了一种支气管镜的定位装置，所述装置包括：
[0010]一种支气管镜的定位装置，其特征在于，所述装置包括：
[0011]关键帧识别单元，用于识别由支气管镜拍摄到的支气管图像是否属于关键帧图像；
[0012]目标关键帧确定单元，用于将识别出的关键帧图像输入第一图像分类神经网络，获得由所述第一图像分类神经网络输出的各个关键帧图像的图像分类结果，并根据所述图像分类结果确定包含气道分叉口的目标关键帧图像；以及
[0013]位置确定单元，用于将所述目标关键帧图像输入肺段识别神经网络，获得由所述肺段识别神经网络输出的属于所述目标关键帧图像所含气道分叉口的各个肺段的标识信
息，所述标识信息被用于确定所述支气管镜的位置。
[0014]本申请实施例一方面还提供了一种计算设备，包括：
[0015]存储器和处理器；
[0016]所述存储器存储有可执行程序代码；
[0017]与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如上述实施例提供的支气管镜的定位方法。
[0018]本申请实施例一方面还提供一种非暂时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，实现如上述实施例提供的支气管镜的定位方法。
[0019]本申请提供的各实施例识别由支气管镜拍摄到的支气管图像是否属于关键帧图像，将识别出的关键帧图像输入第一图像分类神经网络，获得由第一图像分类神经网络输出的各个关键帧图像的图像分类结果，并根据图像分类结果确定包含气道分叉口的目标关键帧图像，将目标关键帧图像输入肺段识别神经网络，获得由肺段识别神经网络输出的属于目标关键帧图像所含气道分叉口的各个肺段的标识信息，从而实现支气管镜的定位，提高了支气管镜的定位精确度。
附图说明
[0020]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本申请一实施例提供的支气管镜的定位方法的实现流程图；
[0022]图2为本申请一实施例提供的支气管镜的定位方法中关键帧图像的示意图；
[0023]图3为本申请一实施例提供的支气管镜的定位方法中第一图像分类神经网络的训练实现流程图；
[0024]图4为本申请一实施例提供的支气管镜的定位方法中肺段识别神经网络的训练实现流程图；
[0025]图5为本申请一实施例提供的支气管镜的定位方法中非关键帧图像的示意图；
[0026]图6为本申请一实施例提供的支气管镜的定位方法的实现流程图；
[0027]图7为本申请一实施例提供的支气管镜的定位装置的结构示意图；
[0028]图8为本申请一实施例提供的计算设备的硬件结构示意图。
具体实施方式
[0029]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]图1为本申请一实施例提供的支气管镜的定位方法的实现流程图，示出了支气管镜的定位方法的实现流程。该方法可通过与支气管镜连接的计算设备实现，例如，计算机终
端，作为一可选方式，计算设备与支气管镜可以组合为一个设备。为便于说明，以下实施例中均以计算设备为执行主体。该方法具体包括：
[0031]步骤S101、识别由支气管镜拍摄到的支气管图像是否属于关键帧图像。
[0032]在本申请实施例中，支气管镜插入到支气管中后，实时获取支气管内的图像，并将获取的图像传送到与该支气管镜连接的计算设备，计算设备接收到一支气管图像后，对接收到的当前支气管图像进行关键帧相关特征提取，提取与关键帧相关的特征，进而根据提取到的关键帧相关特征确定当前支气管图像是否为关键帧图像。其中，关键帧图像用于快速确定支气管镜拍摄的、或当前所处的支气管部位的图像，关键帧可以为内容较为关键(比如特征信息较多的帧)的图像，或者也可以为图像的清晰度和内容更优的图像，或者为图像的清晰度更优的图像，例如，没有较严重炫光、水泡、运动模糊等现象的图像都可作为关键帧图像，作为示例地，图2示出了一关键帧图像。关键帧相关特征用于快速确定当前支气管图像是否为关键帧图像，以快速确定支气管镜的当前位置。
[0033]在本申请一实施例中，在识别由支气管镜拍摄到的支气管图像是否属于关键帧图像时，采用关键帧识别神经网络对支气管镜拍摄的当前支气管图像进行关键帧相关特征提取，并根据提取到的关键帧相关特征确定当前支气管图像是否为关键帧图像，从而实现当前支气管图像是否为关键帧的端到端识别，同时提高关键帧识别的精确度。该关键帧识别神经网络可以为LeNet、AlexNet、VGG本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支气管镜的定位方法，其特征在于，所述方法包括：识别由支气管镜拍摄到的支气管图像是否属于关键帧图像；将识别出的关键帧图像输入第一图像分类神经网络，获得由所述第一图像分类神经网络输出的各个关键帧图像的图像分类结果，并根据所述图像分类结果确定包含气道分叉口的目标关键帧图像；将所述目标关键帧图像输入肺段识别神经网络，获得由所述肺段识别神经网络输出的属于所述目标关键帧图像所含气道分叉口的各个肺段的标识信息，所述标识信息被用于确定所述支气管镜的位置。2.如权利要求1所述的方法，其特征在于，所述第一图像分类神经网络的训练过程如下：分别提取第一训练样本集合中的各个第一训练样本的样本特征，所述第一训练样本上被标注有用于表征是否包含气道分叉口的实际图像分类结果；通过将提取到的来自所述第一训练样本的样本特征输入所述第一图像分类神经网络中，获得所述第一图像分类神经网络输出的所述训练样本的预测图像分类结果；根据实际图像分类结果与所述预测图像分类结果之间的差异信息调整所述第一图像分类神经网络，获得训练后的所述第一图像分类神经网络。3.如权利要求2所述的方法，其特征在于，所述第一图像分类神经网络使用损失函数训练得到，其中，y
i
表示所述实际图像分类结果，p
i
表示所述预测图像分类结果，N表示所述第一训练样本集合所含第一训练样本的样本数。4.如权利要求1所述的方法，其特征在于，将所述目标关键帧图像输入肺段识别神经网络，获得由所述肺段识别神经网络输出的属于所述目标关键帧图像所含气道分叉口的各个肺段的标识信息，包括：提取所述目标关键帧图像所含的肺段口相关特征，并将提取到的肺段口相关特征输入所述肺段识别神经网络，获得所述肺段识别神经网络输出的属于所述目标关键帧图像所含气道分叉口的各个肺段的标识信息。5.如权利要求1所述的方法，其特征在于，所述肺段识别神经网络的训练过程如下：分别提取第二训练样本集合中的各个第二训练样本的样本特征，所述第二训练样本上被标注有所含气道分叉口对应的肺段的实际标识信息；通过将提取到的来自所述第二训练样本的样本特征输入所述肺段识别神经网络中，获得所述肺段识别神经网络输出的所述第二训练样本所含气道分叉口对应的肺段的预测标识信息；根据实际标识信息与所述预测标识信息之间的差异信息调整所述肺段识别神经网络，获得训练后的所述肺段识别神经网络。6.如权利要求5所述的方法，其特征在于，所述肺段识别神经网络使用损失函数L
seg
＝arg min(logsumexp([y
n
...

【专利技术属性】
技术研发人员：陈日清，李楠宇，徐宏，余坤璋，刘润南，
申请(专利权)人：杭州堃博生物科技有限公司，
类型：发明
国别省市：