【技术实现步骤摘要】
本申请涉及医疗手术教学、手术操作监控与智能分析、远程手术指导等，具体是涉及一种智能手术教学与监控预警的方法及系统。
技术介绍
1、目前，手术教学通常采用现场观摩或录制视频后观看的方式，但现场观摩受限于手术室空间，学员无法细致的观摩手术操作；而录制视频的教学效果一般，如现有的存在手术视频直播系统，通常仅提供视频流，缺乏文字转换与对重要手术步骤与操作等手术关键信息自动提取的功能，学员无法直接通过视频直播内容实现优质教学；
2、此外，手术过程中的操作监控多依赖人工，缺乏智能化分析。一旦手术过程中出现错误的操作步骤或其他违反手术操作规则的事件发生，缺乏实时智能监控与预警的系统以提升手术质量与安全性。
技术实现思路
1、为了使学员能够远程观察手术过程并获取关键操作信息，提高手术教学质量，同时对手术操作进行智能监控与预警，提升手术质量与安全性，本申请提供一种智能手术教学与监控预警的方法及系统。
2、第一方面，本申请一种智能手术教学与监控预警的方法，包括：
3、利用摄像装置采集手术视频；
4、采用图像识别技术对采集到的手术视频进行实时分析，识别手术过程中关键步骤和操作，并将关键步骤和操作转换为文字；
5、采用语音识别技术对采集到的手术视频进行实时分析，识别语音并转换为文字；利用关键词提取技术，提取转换后的文字中的关键信息；所述关键信息包括手术步骤和操作、使用器械与药物；
6、将实时获得的文字进行融合处理并生成文字字幕，且对关
7、实时将融合后的文字与手术规则与技术标准进行比对，判断是否存在不符合手术规则与技术标准的文字，若存在，则生成违规操作的提示，并匹配对应时刻合成视频，与合成视频一并实时显示于学员终端，同时将违规操作的提示转化为语音提示发送至手术室。
8、通过采用上述方案，分别对手术视频中图像与声音进行识别，多个角度获得手术过程中关键步骤与操作信息，实现手术过程中关键信息自动全面的提取；将获取关键信息对应文字自动生成文字字幕并区别设置，使学员能够远程观察手术过程并获取关键操作信息，提高手术教学质量；比较获取关键信息对应文字与手术规则与标准，发现不准确或违规操作时进行提示与预警，提升手术质量与安全性。
9、优选的，所述利用摄像装置采集手术视频包括：
10、实时接收学员终端上传的关于画面调整的语音指令，根据语音指令调整摄像装置摄制画面；或者根据yolov5算法对实时采集到手术视频进行人物识别，获取人物处于画面中的位置与人物占画面大小的占比；根据获取的人物处于画面中的位置与人物占画面大小的占比自动调整摄像装置摄制画面以使得人物处于画面位置中央且人物占画面大小的占比处于预设占比范围内。
11、通过采用上述方案，接收学员语音指令并根据语音指令调整摄像头，以获得符合学员要求的拍摄视角，或基于人物识别算法自动调整摄像头，以使得人物始终处于画面且较于清楚，便于学员观察手术操作，提升手术教学效果。
12、优选的，所述将实时获得的文字进行融合具体包括：
13、比较当前时刻采用图像识别技术识别与转换获得的文字与采用语音识别技术识别与转换获得的文字，判断是否存在不一致的步骤和操作对应的文字；
14、若存在，则自当前时刻视频数据分别提取出图像数据与语音信号，对提取到的图像数据进行图像质量评估，获得图像质量评价指标值；对提取到的语音信号进行语音信号质量评估，获得语音信号质量评价指标值；
15、分别比较获得的图像质量评价指标值与预设图像质量评价指标值、获得的语音信号质量评价指标值与预设语音信号质量评价指标值，若存在图像质量评价指标值低于预设图像质量评价指标值且语音信号质量评价指标值不低于预设语音信号质量评价指标值，则剔除当前时刻采用图像识别技术识别与转换获得的文字；若存在图像质量评价指标值不低于预设图像质量评价指标值且语音信号质量评价指标值低于预设语音信号质量评价指标值，则剔除当前时刻采用语音识别技术识别与转换获得的文字；否则，同时删除当前时刻采用图像识别技术识别与转换获得的文字与采用语音识别技术识别与转换获得的文字。
16、通过采用上述方案，根据图像识别与语音识别手术过程中关键步骤与操作过程中可能会出现相矛盾的判断，分析图像质量与语音质量，以质量良好的图像或语音对应识别的关键步骤与操作为准，避免显示错误判断内容误导学员。
17、优选的，还包括：
18、采集不同手术对应的手术步骤的注意事项与常见失误操作事项信息，关联每种手术名称及其对应的手术步骤的注意事项与常见失误操作事项并存储于手术补充说明数据库中；
19、利用摄像装置采集手术视频的同时，确定当前手术名称；
20、根据当前手术名称与获得的步骤和操作对应的文字，实时从手术补充说明数据库中查询与之匹配的手术步骤的注意事项与常见失误操作事项；于将实时获得文字并生成文字字幕的同时，将实时查询到的手术步骤的注意事项与常见失误操作事项一并生成文字字幕并显示于学员终端。
21、通过采用上述方案，考虑到不同手术对应的步骤与操作中存在各自需要注意的事项说明，对应储存注意事项说明于构建的数据库中，于识别到特定步骤或操作时，查询相应的注意事项说明，同步显示于学员终端，便于获得更好的教学效果。
22、优选的，所述对关键步骤和操作对应的文字字幕以及关键信息对应的文字字幕进行区别设置包括：
23、根据用户选择对关键步骤和操作对应的文字字幕以及关键信息对应的文字字幕进行字体模糊设置或字体加粗设置；
24、若用户选择进行字体模糊设置，则对关键步骤和操作对应的文字以及关键信息对应的文字生成文字字幕时，预先保存原始文字字幕，再针对生成的原始文字字幕进行模糊处理，关联模糊处理的文字字幕与原始文字字幕；于接收学员终端生成的点击文字字幕操作指令时，直接替换显示于学员终端的模糊处理的文字字幕为原始文字字幕；
25、若用户选择进行字体加粗设置，则直接对关键步骤和操作对应的文字字幕以及关键信息对应的文字字幕进行字体加粗设置。
26、通过采用上述方案，设置模糊处理文字字幕与替换的原始文字字幕，便于学员在查看手术视频中更好的进行自主判断与相应答案查询，便于提升教学效果。
27、优选的，还包括：
28、统计手术视频摄制全过程生成的违规操作提示的次数；判断统计的违规操作提示次数是否大于预设操作次数，若大于，则将手术视频与该手术视频对应生成的文字字幕一同合并的视频、违规操作提示信息，作为一组数据存储于示范教学手术视频数据库；否则，则将手术视频与该手术视频对应生成的文字字幕一同合并的视频、违规操作提示信息，作为一组数据存储于其他教学手术视频数据库。
29、通过采用上述方案，考虑搭配后续教学与本文档来自技高网...
【技术保护点】
1.一种智能手术教学与监控预警的方法，其特征在于，包括：
2.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，所述利用摄像装置采集手术视频包括：
3.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，所述将实时获得的文字进行融合具体包括：
4.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，还包括：
5.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，所述对关键步骤和操作对应的文字字幕以及关键信息对应的文字字幕进行区别设置包括：
6.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，还包括：
7.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，
8.一种智能手术教学与监控预警的系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的方法。
10.
...【技术特征摘要】
1.一种智能手术教学与监控预警的方法，其特征在于，包括：
2.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，所述利用摄像装置采集手术视频包括：
3.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，所述将实时获得的文字进行融合具体包括：
4.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，还包括：
5.根据权利要求1所述的智能手术教学与监控预警的方法，其特征在于，所述对关键步骤和操作对应的文字字幕以及关键信息对应的文字字幕进行区别设置包括：
6.根据权利要求1所述的智能手...
【专利技术属性】
技术研发人员：魏炜，包振华，黄欣辰，
申请(专利权)人：南京莱医特电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。