基于深度学习的消化道辅助检测方法、装置和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种基于深度学习的消化道辅助检测方法、装置和计算设备。该方法包括：将内窥镜采集到的影像数据输入至多任务模型，得到所述影像数据对应的所述内窥镜所处的当前位置；当所述当前位置处于体内环境时，确定所述当前位置所处消化道的部位；通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的检测结果。本发明专利技术能够在确定内窥镜处于患者消化道内部时，可以对影像数据中患者消化道内部情况进行初步检测，得到初步的检测结果，该检测结果可以辅助医生对患者消化道内部的情况进行判断，减少医生在诊断过程中出现的错检漏检等情况，降低了医生的诊断压力。降低了医生的诊断压力。降低了医生的诊断压力。

【技术实现步骤摘要】
基于深度学习的消化道辅助检测方法、装置和计算设备


[0001]本专利技术的实施方式涉及深度学习
，更具体地，本专利技术的实施方式涉及一种基于深度学习的消化道辅助检测方法、装置和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前，为了准确的诊断消化道的疾病，通常会使用内窥镜采集到的消化道内的图像辅助医生识别出消化道内的病灶，并且基于识别出的病灶对消化道的疾病进行诊断。然而，在实践过程中发现，在内窥镜的使用过程中，医生需要长时间的对内窥镜进行操作，同时还需对内窥镜采集到的图像进行细致的观察，可见，上述检查方式需要耗费医生大量的精力，此时可能会出现错检或漏检的情况，影响到最终的诊断结果，因此，急需一种辅助检查方法，及时对错检漏检进行提示，分担医生的检测压力。

技术实现思路

[0004]在本上下文中，本专利技术的实施方式期望提供一种基于深度学习的消化道辅助检测方法、装置和计算设备。
[0005]在本专利技术实施方式的第一方面中，提供了一种基于深度学习的消化道辅助检测方法，包括：将内窥镜采集到的影像数据输入至多任务模型，得到所述影像数据对应的所述内窥镜所处的当前位置；当所述当前位置处于体内环境时，确定所述当前位置所处消化道的部位；通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果。
[0006]在本实施方式的一个实施例中，当所述当前位置处于体内环境时，确定所述当前位置所处消化道的部位，包括：当所述当前位置处于体内环境时，检测是否存在所述内窥镜的使用者的检测记录；如果存在，确定所述当前位置所处消化道的部位；如果不存在，创建所述使用者对应的检测记录，并将所述创建时间添加至所述检测记录中，以及确定所述当前位置所处所述消化道的部位。
[0007]在本实施方式的一个实施例中，通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果之后，所述方法还包括：将所述检测结果添加至所述使用者对应的检测记录中。
[0008]在本实施方式的一个实施例中，通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果，包括：
识别所述当前位置所处部位的部位类型，所述部位类型至少包含上消化道类型和下消化道类型；当所述当前位置所处部位的部位类型为上消化道类型时，获取与所述上消化道类型对应的上消化道检测模型，并通过所述上消化道检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果；当所述当前位置所处部位的部位类型为下消化道类型时，获取与所述下消化道类型对应的下消化道检测模型，并通过所述下消化道检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果。
[0009]在本实施方式的一个实施例中，所述方法还包括：当所述当前位置处于体外环境时，检测所述内窥镜处于所述体外环境的时长；当所述时长达到预设时长时，确定所述内窥镜的使用者检测结束，将所述内窥镜的退镜时间添加至所述使用者对应的检测记录中。
[0010]在本实施方式的一个实施例中，所述方法还包括：从存储的历史影像数据中获取训练数据；基于所述训练数据，以使从所述训练数据中提取出的跨通道相关性与空间相关性映射分离为目标训练所述多任务模型。
[0011]在本实施方式的一个实施例中，从存储的历史影像数据中获取训练数据，包括：从存储的历史影像数据中获取候选数据；识别各个所述候选数据对应的部位类型；将所述部位类型相同的候选数据添加至同一训练数组；将各个所述训练数组确定为训练数据。
[0012]在本实施方式的一个实施例中，从存储的历史影像数据中获取训练数据，包括：基于存储的历史影像数据生成训练集和测试集；通过多任务模型识别所述训练集和所述测试集中背景图像对应的背景类型，所述背景图像对应的背景类型的概率最大；通过回归方法以及所述背景图像预先标注的类型，计算所述背景图像对应的背景类型的可信度概率，基于所述可信度概率得到所述背景图像的判断结果；基于所述判断结果，将所述背景图像根据预设概率生成验证集，并对所述训练集和所述测试集进行更新；将所述训练集、所述测试集以及所述验证集确定为训练数据。
[0013]在本实施方式的一个实施例中，基于所述训练数据，以使从所述训练数据中提取出的跨通道相关性与空间相关性映射分离为目标训练所述多任务模型，包括：将所述训练数据输入所述多任务模型中的特征提取网络；基于所述训练数据，以使所述特征提取网络从所述训练数据中提取出的跨通道相关性与空间相关性映射分离为目标训练所述多任务模型。
[0014]在本实施方式的一个实施例中，所述多任务模型包括输入层、部位特征提取层、环境特征提取层、特征分类输出层、环境分类特征提取输出层，其中：所述输入层，用于从内窥镜采集到的视频流中获取待识别的影像数据；所述部位特征提取层，用于通过特征提取网络模块从所述影像数据中提取得到高清静
态图像特征分类和模糊动态图像特征分类；所述环境特征提取层，用于通过所述特征提取网络模块从所述影像数据中提取得到环境图像特征分类，并对所述高清静态图像特征分类、所述模糊动态图像特征分类以及所述环境图像特征分类进行数据处理，得到所述影像数据中每帧图像对应的特征数据；所述特征分类输出层，用于对所述特征数据进行分类计算，得到包含各个特征数据的每种环境类型对应的索引概率的输出结果；所述环境分类特征提取输出层，用于通过回归神经网络模型遍历所述输出结果，并对所述输出结果的离散非线性特征进行识别，得到最终的识别结果。
[0015]在本实施方式的一个实施例中，所述特征提取网络模块包括特征提取子模块和输出子模块，其中：所述特征提取子模块，用于通过逐点卷积分离所述影像数据的跨通道相关性与空间相关性，得到分离结果，并对所述分离结果进行归一化，以及通过线性整流函数层对归一化后的所述分离结果进行计算，得到输出参数；以及通过拼接层接收的多路张量维度相同的输出参数中的第一路张量对应的输出参数进行扩展，得到扩展后的多路输出参数；以及将所述多路输出参数拆分为多路张量；所述输出子模块，用于通过归一化指数函数对所述多路张量进行计算，得到所述影像数据对应的图像特征分类。
[0016]在本专利技术实施方式的第二方面中，提供了一种基于深度学习的消化道辅助检测装置，包括：输入单元，用于将内窥镜采集到的影像数据输入至多任务模型，得到所述影像数据对应的所述内窥镜所处的当前位置；确定单元，用于当所述当前位置处于体内环境时，确定所述当前位置所处消化道的部位；第一检测单元，用于通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果。
[0017]在本实施方式的一个实施例中，所述确定单元包括：检测子单元，用于当所述当前位置处于体内环境时，检测是否存在所述内窥镜的使用者的检测记录；第一确定子单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的消化道辅助检测方法，包括：将内窥镜采集到的影像数据输入至多任务模型，得到所述影像数据对应的所述内窥镜所处的当前位置；当所述当前位置处于体内环境时，确定所述当前位置所处消化道的部位；通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果。2.根据权利要求1所述的基于深度学习的消化道辅助检测方法，当所述当前位置处于体内环境时，确定所述当前位置所处消化道的部位，包括：当所述当前位置处于体内环境时，检测是否存在所述内窥镜的使用者的检测记录；如果存在，确定所述当前位置所处消化道的部位；如果不存在，创建所述使用者对应的检测记录，并将所述创建时间添加至所述检测记录中，以及确定所述当前位置所处所述消化道的部位。3.根据权利要求2所述的基于深度学习的消化道辅助检测方法，通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果之后，所述方法还包括：将所述检测结果添加至所述使用者对应的检测记录中。4.根据权利要求3所述的基于深度学习的消化道辅助检测方法，通过所述当前位置所处部位对应的检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果，包括：识别所述当前位置所处部位的部位类型，所述部位类型至少包含上消化道类型和下消化道类型；当所述当前位置所处部位的部位类型为上消化道类型时，获取与所述上消化道类型对应的上消化道检测模型，并通过所述上消化道检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果；当所述当前位置所处部位的部位类型为下消化道类型时，获取与所述下消化道类型对应的下消化道检测模型，并通过所述下消化道检测模型对所述影像数据进行检测，得到所述影像数据对应的用于提示的检测结果。5.根据权利要求2~4任一项所述的基于深度学习的消化道辅助检测方法，所述方法还包括：当所述当前位置处于体外环境时，检测所述内窥镜处于所述体外环境的时长；当所述时长达到预设时长时，确定所述内窥镜的使用者检测结束，将所述内窥镜的退镜时间添加至所述使用者对应的检测记录中。6.根据权利要求1所述的基于深度学习的消化道辅助检测方法，所述方法还包括：从存储的历史影像数据中获取训练数据；基于所述训练数据，以使从所述训练数据中提取出的跨通道相关性与空间相关性映射分离为目标训练所述多任务模型。7.根据权利要求6所述的基于深度学习的消化道辅助检测方法，从存储的历史影像数据中获取训练数据，包括：从存储的历史影像数据中获取候选数据；
识别各个所述候选数据对应的部位类型；将所述部位类型相同的候选数据添加至同一训练数组；将各个所述训练数组确定为训练数据。8.根据权利要求6所述的基于深度学习的消化道辅助检测方法，从存储的历史影像数据中获取训练数据，包括：基于存储的历史影像数据生成训练集和测试集；通过多任务模型识别所述训练集和所述测试集中背景图像对应的背景类型，所述背景图像对应的背景类型的概率最大；通过回归方法以及所述背景图像预先标注的类型，计算所述背景图像对应的背景类型的可信度概率，基于所述可信度概率得到所述背景图像的判断结果；基于所述判断结果，将所述背景图像根据预设概率生成验证集，并对所述训练集和所述测试集进行更新；将所述训练集、所述测试集以及所述验证集确定为训练数据。9.根据权利要求7或8所述的基于深度学习的消化道辅助检测方法，基于所述训练数据，以使从所述训练数据中提取出的跨通道相关性与空间相关性映射分离为目标训练所述多任务模型，包括：将所述训练数据输入所述多任务模型中的特征提取网络；基于所述训练数据，以使所述特征提取网络从所述训练数据中提取出的跨通道相关性与空间相关性映射分离为目标训练所述多任务模型。10.根据权利要求9所述的基于深度学习的消化道辅助检测方法，所述多任务模型包括输入层、部位特征提取层、环境特征提取层、特征分类输出层、环境分类特征提取输出层，其中：所述输入层，用于从内窥镜采集到的视频流中获取待识别的影像数据；所述部位特征提取层，用于通过特征提取网络模块从所述影像数据中提取得到高清静态图像特征分类和模糊动态图像特征分类；所述环境特征提取层，用于通过所述特征提取网络模块从所述影像数据中提取得到环境图像特征分类，并对所述高清静态图像特征分类、所述模糊动态图像特征分类以及所述环境图像特征分类进行数据处理，得到所述影像数据中每帧图像对应的特征数据；所述特征分类输出层，用于对所述特征数据进行分类计算，得到包含各个特征数据的每种环境类型对应的索引概率的输出结果；所述环境分类特征提取输出层，用于通过回归神经网络模型遍历所述输出结果，并对所述输出结果的离散非线性特征进行识别，得到最终的识别结果。11.根据权利要求10所述的基于深度学习的消化道辅助检测方法，所述特征提取网络模块包括特征提取子模块和输出子模块，其中：所述特征提取子模块，用于通过逐点卷积分离所述影像数据的跨通道相关性与空间相关性，得到分离结果，并对所述分离结果进行归一化，以及通过线性整流函数层对归一化后的所述分离结果进行计算，得到输出参数；以及通过拼接层接收的多路张量维度相同的输出参数中的第一路张量对应的输出参数进行扩展，得到扩展后的多路输出参数；以及将所述多路输出参数拆分为多路张量；
所述输出子模块，用于通过归一化指数函数对所述多路张量进行计算，得到所述影像数据对应的图像特征分类。12.一种基于深度学习的消化道辅助检测装置，包括：输入单元，用于将内窥镜采集到的影像数据输入至多任务模型，得到所述影像数据对应的所述内窥镜所处的当前位置；确定单元，用于当所述当前位置处于体内环境时，确定所述当前位置所处消化...

【专利技术属性】
技术研发人员：乔元风，李静，曾凡，邰海军，柯钦瑜，黄勇，
申请(专利权)人：萱闱北京生物科技有限公司，
类型：发明
国别省市：