一种手术步骤的预测方法技术

本申请公开一种手术步骤的预测方法

【技术实现步骤摘要】
一种手术步骤的预测方法、装置及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种手术步骤的预测方法
、
装置及存储介质
。

技术介绍

[0002]在临床医学中，面对繁多
、
复杂的手术种类和形式，医生往往需要根据个人经验判断对应的手术步骤
。
若医生经验不足
、
操作疏忽或判断失误等，都会影响手术流程的正常进行，降低手术过程的安全性
。
随着科学技术的发展，利用术前和术中的多种影像全面辅助医生进行手术已是大势所趋
。
[0003]相关技术中，存在通过识别当前手术阶段或手术进程，辅助医生完成手术中的当前手术步骤的方法，但这种方法只能笼统识别当前手术阶段，当医生遇到复杂状况时无法为医生提供帮助，无法为手术的安全性和可靠性提供支撑
。

技术实现思路

[0004]本申请提供一种手术步骤的预测方法
、
装置及存储介质，可以用于预测手术过程中的下一手术步骤相关的内容，以辅助医生完成手术，提高手术的安全性和可靠性
。
[0005]第一方面，本申请提供一种手术步骤的预测方法，该方法包括：获取手术过程中拍摄的视频；从视频中识别手术过程中当前手术步骤的特征信息；特征信息包括：手术动作和
/
或手术部位信息；根据当前手术步骤的特征信息，预测当前手术步骤之后的下一个手术步骤；提示下一个手术步骤的手术信息
。
[0006]本申请提供的技术方案至少带来以下有益效果：由于不同手术步骤中往往采用不同的手术动作，且涉及不同类别或者形态的手术部位信息，因此可以将手术动作和
/
或手术部位信息作为当前手术步骤的特征信息
。
而手术过程中相邻的两个手术步骤之间存在关联性，因此根据手术过程中的当前手术步骤的特征信息，可以预测得到下一个手术步骤，进而可以提示下一个手术步骤的手术信息以辅助医生完成手术，为手术的安全性和可靠性提供支撑
。
[0007]在一些实施例中，上述根据当前手术步骤的特征信息，预测当前手术步骤之后的下一个手术步骤，包括：根据当前手术步骤的特征信息以及手术过程中历史手术步骤的特征信息，预测当前手术步骤之后的下一个手术步骤
。
[0008]应理解，由于手术过程内包括了多个手术步骤，且这些手术步骤是存在关联性的，因此可以结合该手术过程中的历史手术步骤的特征信息和当前手术步骤的特征信息对下一个手术步骤进行预测，以提高手术步骤预测的准确性
。
[0009]在一些实施例中，手术动作包括切口动作
、
分离动作
、
游离动作
、
提拉动作
、
切除动作
、
缝合动作
、
探查动作
、
吻合动作或者结扎动作中的任一项
。
[0010]在一些实施例中，在特征信息包括手术动作的情况下，上述从视频中识别手术过程中当前手术步骤的手术动作，包括：从视频中提取出当前图像帧；从当前图像帧中识别出
手术过程中当前手术步骤的手术动作
。
[0011]应理解，若根据当前图像帧识别当前手术步骤的手术动作，由于需要进行识别的图像帧数少，因此运算量小，提高了手术动作识别的效率
。
[0012]在一些实施例中，在特征信息包括手术动作的情况下，上述从视频中识别手术过程中当前手术步骤的手术动作，包括：从视频中提取出当前图像帧和历史图像帧；根据当前图像帧和历史图像帧，从当前图像帧中识别出手术过程中当前手术步骤的手术动作
。
[0013]应理解，若根据当前图像帧和历史图像帧识别当前手术步骤的手术动作，由于在识别过程中进一步考虑到了手术动作在时间上的持续性，因此提高了手术动作识别的准确性
。
[0014]在一些实施例中，在特征信息包括手术部位信息的情况下，上述从视频中识别手术过程中当前手术步骤的手术部位信息，包括：从视频中提取出当前图像帧；从当前图像帧中识别出当前手术步骤的手术部位信息；或者，从视频中识别手术过程中当前手术步骤的手术动作；根据手术动作，在视频的当前图像帧中提取出感兴趣区域，感兴趣区域为当前图像帧中当前手术步骤的手术动作相关的区域；从感兴趣区域中识别出当前手术步骤的手术部位信息；其中，手术部位信息包括：手术部位的类别信息和
/
手术部位的形态信息
。
[0015]应理解，手术部位的类别信息，能够反映出当前手术步骤中手术动作所作用的手术部位的具体类别，例如肝脏
、
血管等；手术部位的形态信息可以反映出当前手术步骤中手术动作所作用的手术部位的具体形态，因此可以将手术部位的类别信息和
/
手术部位的形态信息作为前手术步骤的特征信息
。
此外，若从当前图像帧中直接识别手术部位信息，则需要进行识别运算的次数少，较少了运算量，提高了手术部位信息识别的效率
。
若在识别出手术动作后，从手术动作相关的区域
(
也即感兴趣区域
)
中识别出手术部位信息，由于手术部位是手术动作的具体作用部位，因此提高了手术部位信息识别的准确性
。
[0016]在一些实施例中，上述从视频中提取出当前图像帧，包括：监测拍摄时间是否达到图像帧提取周期的时间起点，图像帧提取周期的时长等于拍摄视频中连续预设帧数的图像帧的时长；若拍摄时间达到图像帧提取周期的时间起点，则将拍摄时间达到图像帧提取周期的时间起点时视频中的图像帧确定为当前图像帧
。
[0017]应理解，上述图像帧的提取方式，可以使得每经过一个图像帧提取周期提取一次图像帧作为当前图像帧，这样，在后续确定手术过程中当前手术步骤的特征信息时，可以避免对每一帧图像帧都进行识别判断，进而减小了运算量，提高了当前手术步骤的特征信息的识别效率
。
[0018]在一些实施例中，上述提示下一个手术步骤的手术信息，包括：以语音
、
文字和
/
或图像的方式提示下一个手术步骤的手术信息；其中，下一个手术步骤的手术信息包括下一个手术步骤的手术内容，和
/
或下一个手术步骤的注意事项
。
[0019]基于此，可以在下一个手术步骤进行之前，对该下一个手术步骤的手术内容和注意事项给出提示，避免医生在执行下一个手术步骤的过程中，由于经验不足或过度疲惫等因素出现遗漏步骤
、
混淆注意事项或判断失误等情况，进而提高手术过程中的安全性和可靠性
。
[0020]第二方面，本申请提供一种手术步骤的预测装置，包括：获取模块，用于获取手术过程中拍摄的视频；处理模块，用于从视频中识别手术过程中当前手术步骤的特征信息；特
征信息包括：手术动作和
/
或手术部位信息；根据当前手术步骤的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手术步骤的预测方法，其特征在于，所述方法包括：获取手术过程中拍摄的视频；从所述视频中识别所述手术过程中当前手术步骤的特征信息；所述特征信息包括：手术动作和
/
或手术部位信息；根据所述当前手术步骤的特征信息，预测所述当前手术步骤之后的下一个手术步骤；提示所述下一个手术步骤的手术信息
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述当前手术步骤的特征信息，预测所述当前手术步骤之后的下一个手术步骤，包括：根据所述当前手术步骤的特征信息以及所述手术过程中历史手术步骤的特征信息，预测所述当前手术步骤之后的下一个手术步骤
。3.
根据权利要求1所述的方法，其特征在于，在所述特征信息包括手术动作的情况下，从所述视频中识别所述手术过程中当前手术步骤的手术动作，包括：从所述视频中提取出当前图像帧；从所述当前图像帧中识别出所述手术过程中当前手术步骤的手术动作；或者，从所述视频中提取出当前图像帧和历史图像帧；根据所述当前图像帧和所述历史图像帧，从所述当前图像帧中识别出所述手术过程中当前手术步骤的手术动作；其中，所述手术动作包括切口动作
、
分离动作
、
游离动作
、
提拉动作
、
切除动作
、
缝合动作
、
探查动作
、
吻合动作或者结扎动作中的任一项
。4.
根据权利要求1所述的方法，其特征在于，在所述特征信息包括手术部位信息的情况下，从所述视频中识别所述手术过程中当前手术步骤的手术部位信息，包括：从所述视频中提取出当前图像帧；从所述当前图像帧中识别出所述当前手术步骤的手术部位信息；或者，从所述视频中识别所述手术过程中当前手术步骤的手术动作；根据所述手术动作，在所述视频的当前图像帧中提取出感兴趣区域，所述感兴趣区域为所述当前图像帧中所述当前手术步骤的手术动作相关的区域；从所述感兴趣区域中识别出所述当前手术步骤的手术部位信息；其中，所述手术部位信息包括：手术部位的类别信息和
/
手术部位的形态信息
。5.
根据权利要求3或4所述的方法，其特征在于，所述从所述视频中提取出当前图像帧，包括：监测拍摄时间是否达到图像帧提取周期的时间起点，所述图像帧提取周期的时长等于拍摄所述视频中连续预设帧数的图像帧的时长；若所述拍摄时间达到所述图像帧提取周期的时间起点，则将所述拍摄时间达到所述图像帧提取周期的时间起点时所述视频中的图像帧确定为当前图像帧
。6.
根据权利要求1至4任一项所述的方法，其特征在于，所述提示所述下一个手术步骤的手术信息，包括：以语音
、
文字和
/
或图像的方式提示所述下一个手术步骤的手术信息；其中，所述下一个手术步骤的手术信息包括所述下一个手术步骤的手术内容，和
/
或所述下一个手术步骤的注意事项
。7.
一种手术步骤预测装置，其特征在于，包括：
获取模块，用于获取手术过程中拍摄的视频；处理模...

【专利技术属性】
技术研发人员：刘恩毅，
申请(专利权)人：杭州海康慧影科技有限公司，
类型：发明
国别省市：