一种基于人工智能的解剖变异识别提示方法及系统技术方案

本发明专利技术涉及一种基于人工智能的解剖变异识别提示方法及系统，包括实时采集腔镜图像，并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据；通过分析手术前影像学图像获取变异结构和周围器官的位置关系，提取影像学图像变异结构周围器官组织分割数据进行对比，判断变异结构的位置；实时检测器械关键点和变异结构的位置信息，当器械在变异解剖结构区域进行操作时，对变异解剖结构区域进行提示，根据提示进行操作。本发明专利技术通过建立影像学检查和腔镜手术视野之间的对应关系，手术中关键操作的脉络管道结构得到了准确有效的定位，为外科手术更为精确的进行提供了重要的条件。的进行提供了重要的条件。的进行提供了重要的条件。

【技术实现步骤摘要】
一种基于人工智能的解剖变异识别提示方法及系统


[0001]本专利技术涉及医学图像处理
，尤其涉及一种基于人工智能的解剖变异识别提示方法及系统。

技术介绍

[0002]在各专科的外科手术中，解剖变异的存在是各类手术过程中普遍面临的一大难题，而一旦出现，便极有可能引起该变异结构的损伤，导致手术过程中出血、管道损伤、神经损伤，以及术后出血、感染、丧失相关功能乃至不必要的术后残疾及死亡等不良事件的发生，从而使得手术实施存在较高的危险性和潜在的医患纠纷。
[0003]一方面，由于解剖变异的多元性、罕见性、以及难以预见性，目前医学上往往通过CT、核磁共振、神经电生理和术中各类别造影方式等鉴别解剖变异的存在及其种类；然而即便是如此，手术医师仍在一些情况下因不能预见其确切位置或者操作失误等原因，导致上述不良后果的发生；另一方面，随着人工智能计算机深度学习技术的进一步成熟，及其在医学影像、图片集手术视频处理上的逐步应用，计算机模型已经可以有效的处理CT、MRI等影像图片以及手术过程的视频进行实时处理，此类技术的应用可以自动检测异常的解剖结构，并在手术开展过程中实时根据手术的视野进行对应范围的呈现；因此，如何通过人工智能的方式实时提示异常解剖结构的位置，以解决不能预见或判断解剖变异存在与否及其位置而导致的变异结构损伤的问题，是现阶段需要考虑的问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点，提供了一种基于人工智能的解剖变异识别提示方法及系统，解决了目前医师因种种原因不能预见或判断解剖变异存在与否及其位置而导致的变异结构损伤的问题。
[0005]本专利技术的目的通过以下技术方案来实现：一种基于人工智能的解剖变异识别提示方法，所述识别提示方法包括手术实时识别提示步骤，所述手术实时识别提示步骤包括：实时采集腔镜图像，并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据；通过分析手术前影像学图像获取变异结构和周围器官的位置关系，提取影像学图像变异结构周围器官组织分割数据，并与腔镜分割数据进行对比，实时判断变异结构的位置；实时检测器械关键点和变异结构的位置信息，当器械在变异解剖结构区域进行操作时，对变异解剖结构区域进行提示，手术操作者根据提示进行操作；重复上述步骤，直到手术结束。
[0006]所述识别提示方法还包括影像学图像及手术图像的标注数据库构建步骤以及模型构建步骤；所述影像学图像及手术图像的标注数据库构建步骤包括：构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分
割标注数据库；对手术图片进行抽取，标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据；所述模型构建步骤包括：构建影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型、腔镜图像器械关键点检测模型。
[0007]所述构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库包括：收集影像学图像，根据需要标注的解剖结构及其周围的标志性解剖区域所在的区域、体位以及影像学图像采集的角度，初步筛选需要标注的图片或图片组；根据需要标注的变异解剖结构及其周围所在区域对应的不同外科专科，安排多名相应科室且满足主治医师级别的医师通过多边形标注的方式，标注变异解剖结构组织及周围标志性解剖器官，并由至少1名满足主任医师级别的医师对标注结果进行核查；完成用于训练影像学图像器官分割模型和影像学图像变异解剖结构分割模型的数据库的构建。
[0008]所述对手术图片进行抽取，标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据包括：根据需要训练的不同变异结构部位所在的解剖区域及其对应负责的科室，收集对应科室的各种类型手术视频数据，并将其通过格式转码软件转换为相应格式，按照1秒/帧的时间间隔抽取手术图片；对抽取的图片通过多边形标记器官分割标注图片中的器官分割数据，和通过点标注法标注操作器械的关键点数据，安排多名相应科室且满足主治医师级别的医师进行标注，并由至少1名相应科室且满足主任医师级别的医师对标注结果进行核查；完成用于训练腔镜图像器官分割模型、腔镜图像器械关键点检测模型的数据库的构建。
[0009]所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型分别通过影像学图片下的变异解剖结构、影像学图片下与变异结构邻近的器官组织、腔镜手术图片下的器官结构标注数据，使用UNet++网络算法进行训练得到；腔镜图像器械关键点检测模型通过腔镜手术图片下的器械关键点标注数据，使用级联金字塔神经网络训练得到。
[0010]所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型的UNet++由下采样、上采样和跳跃连接三个部分组成，每个节点均由基于2D卷积的数据处理层构成，其中下采样提取图像语义特征，在上采样的时候根据语义信息对原图每个像素进行分类，以达到分割的目的；在跳跃连接中通过增加基于2D卷积的数据处理层，根据不同数据处理层所在的下采样层数分别在数据处理层之间建立两两之间的跳跃连接和相邻采样层之间的上采样连接，以及在不同下采样层数构成的子网络中增加基于L函数的深度监督的剪枝结构，使每个图片的标注数据在不同的卷积深度下的分割结果得以整合，在保证数据处理效率的基础上整合不同下采样深度的训练结果，以提高模型训练的准确度。
[0011]用于训练腔镜图像器械关键点检测模型的级联金字塔神经网络由GlobalNet和
RefineNet两部分构成；GlobalNet实现对器械关键点中简单的点进行有效的关键点检测，RefineNet实现对不同层信息的融合，更好的综合特征定位器械关键点；GlobalNet基础网络采用ResNet网络，用ResNet的不同尺度的特征图的最后一个残差块作为输出组合为特征金字塔，然后各层进行2D卷积将通道数变为相同，将分辨率小的层上采样一次，再对应神经元相加，再对每层都进行2D卷积，生成不同尺寸且具有高级语义的特征图，实现对器械关键点中简单的点进行有效的关键点检测；RefineNet对GlobalNet的4层输出分别接上不同个数的bottleneck模块，再分别经过不同倍率的上采样到同一分辨率，按通道拼接在一起，实现对不同尺度特征的结合，最后经过一个bottleneck模块，再经过变换，得到网络的最终的输出；其中，bottleneck模块由2D卷积、批数据归一化、非线性激活函数组成，对于来自上一层的多通道特征图，首先使用卷积核大小为1的2D卷积将特征图在通道维度上进行降维，再使用卷积核大小为3的2D卷积进行特征计算，最后使用卷积核大小为1的2D卷积在通道维度上升维，从而达到减少参数的数量的目的，进而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取。
[0012]所述影像学图像变异解剖结构分割模型和影像学图像器官分割模型首先使用UNet++分割出影像学图片中出现的变异解剖结构及其周围的器官组织，并对变异的解剖结构与其周围的器官组织进行预设条件和互斥；预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的解剖变异识别提示方法，其特征在于：所述识别提示方法包括手术实时识别提示步骤，所述手术实时识别提示步骤包括：实时采集腔镜图像，并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据；通过分析手术前影像学图像获取变异结构和周围器官的位置关系，提取影像学图像变异结构周围器官组织分割数据，并与腔镜分割数据进行对比，实时判断变异结构的位置；实时检测器械关键点和变异结构的位置信息，当器械在变异解剖结构区域进行操作时，对变异解剖结构区域进行提示，手术操作者根据提示进行操作；重复上述步骤，直到手术结束。2.根据权利要求1所述的一种基于人工智能的解剖变异识别提示方法，其特征在于：所述识别提示方法还包括影像学图像及手术图像的标注数据库构建步骤以及模型构建步骤；所述影像学图像及手术图像的标注数据库构建步骤包括：构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库；对手术图片进行抽取，标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据；所述模型构建步骤包括：构建影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型、腔镜图像器械关键点检测模型。3.根据权利要求2所述的一种基于人工智能的解剖变异识别提示方法，其特征在于：所述构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库包括：收集影像学图像，根据需要标注的解剖结构及其周围的标志性解剖区域所在的区域、体位以及影像学图像采集的角度，初步筛选需要标注的图片或图片组；根据需要标注的变异解剖结构及其周围所在区域对应的不同外科专科，安排多名相应科室且满足主治医师级别的医师通过多边形标注的方式，标注变异解剖结构组织及周围标志性解剖器官，并由至少1名满足主任医师级别的医师对标注结果进行核查；完成用于训练影像学图像器官分割模型和影像学图像变异解剖结构分割模型的数据库的构建。4.根据权利要求2所述的一种基于人工智能的解剖变异识别提示方法，其特征在于：所述对手术图片进行抽取，标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据包括：根据需要训练的不同变异结构部位所在的解剖区域及其对应负责的科室，收集对应科室的各种类型手术视频数据，并将其通过格式转码软件转换为相应格式，按照1秒/帧的时间间隔抽取手术图片；对抽取的图片通过多边形标记器官分割标注图片中的器官分割数据，和通过点标注法标注操作器械的关键点数据，安排多名相应科室且满足主治医师级别的医师进行标注，并由至少1名相应科室且满足主任医师级别的医师对标注结果进行核查；完成用于训练腔镜图像器官分割模型、腔镜图像器械关键点检测模型的数据库的构建。
5.根据权利要求2所述的一种基于人工智能的解剖变异识别提示方法，其特征在于：所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型分别通过影像学图片下的变异解剖结构、影像学图片下与变异结构邻近的器官组织、腔镜手术图片下的器官结构标注数据，使用UNet++网络算法进行训练得到；腔镜图像器械关键点检测模型通过腔镜手术图片下的器械关键点标注数据，使用级联金字塔神经网络训练得到。6.根据权利要求5所述的一种基于人工智能的解剖变异识别提示方法，其特征在于：所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型的UNet++由下采样、上采样和跳跃连接三个部分组成，每个节点均由基于2D卷积的数据处理层构成，其中下采样提取图像语义特征，在上采样的时候根据语义信息对原图每个像素进行分类；在跳跃连接中通过增加基于2D卷积的数...

【专利技术属性】
技术研发人员：李昂，王昕，赵颖，刘杰，
申请(专利权)人：成都与睿创新科技有限公司，
类型：发明
国别省市：