【技术实现步骤摘要】
本专利技术涉及视频图像处理，尤其涉及一种基于深度学习的手术视频剪辑方法及系统。
技术介绍
1、在医院手术过程中，会源源不断地产生大量手术视频，针对不同的器官和部位，这些宝贵的视频资源一方面可以作为事后手术技术探讨的资料，另外一方面较为成功的手术可以作为临床手术的实习生们的学习模板和素材。
2、随着内窥镜手术的普及，利用内窥镜拍摄的手术视频普遍存在含有较多冗余片段，例如不包含手术刀的镜头和手术刀静止不动的镜头等等，严重拖累了教学进程，对教学质量和手术之后的研讨造成了影响，故这些片段都需要后期被人工剔除。目前，广大医院仍然采用人工手动裁剪这些医学视频的方法。这种方式不仅费时费力，效率也极低，给医护人员和科研人员造成了很大的困扰。
3、为了改善上述情况，需要引入更高效的技术手段来处理这些视频。目前存在一些通过传统数字图像处理的方法来自动裁剪视频的手段，不过这些模型均没有较高的准确率，且超参数的设置耗费人力并且效果往往不佳，最后生成的剪辑视频信息不连贯。另外，传统方法具有较差的泛化能力，只能用来处理一种特定的医学视频。此外，还有一种基于机器学习的视频剪辑方法，不过这类方法首先需要人工的方法来提取关键帧。提取关键帧的过程不仅损失了原视频的信息，也大大降低了视频剪辑的效率。虽然这个方法考虑了视频的时序信息，但是还是会有断断续续的现象。
技术实现思路
1、本专利技术提供一种基于深度学习的手术视频剪辑方法及系统，用以解决现有技术中剪辑手术视频耗费人力物力、剪辑后的视频不连贯
2、第一方面，本专利技术提供一种基于深度学习的手术视频剪辑方法，包括：
3、获取原始手术视频和人工剪辑后视频构建初始训练集，对所述初始训练集进行二分类预处理，得到预处理训练集；
4、采用预设深度学习网络作为初始分类网络模型，将所述预处理训练集、预处理训练集中相邻图像帧的稠密光流图以及视频序号分类标签输入所述初始分类网络模型进行训练，得到手术视频分类剪辑模型；
5、将待剪辑手术视频输入至所述手术视频分类剪辑模型，输出初始剪辑视频结果；
6、基于原始手术视频帧率对所述初始剪辑视频结果进行后处理，得到手术视频剪辑结果。
7、根据本专利技术提供的一种基于深度学习的手术视频剪辑方法，获取原始手术视频和人工剪辑后视频构建初始训练集，对所述初始训练集进行二分类预处理，得到预处理训练集，包括：
8、将所述人工剪辑后视频的视频帧作为正样本；
9、筛选所述原始手术视频中包含且所述人工剪辑后视频中不包含的视频帧作为负样本；
10、以所述正样本和所述负样本构建所述预处理训练集。
11、根据本专利技术提供的一种基于深度学习的手术视频剪辑方法，筛选所述原始手术视频中包含且所述人工剪辑后视频中不包含的视频帧作为负样本，包括：
12、将所述原始手术视频和所述人工剪辑后视频中的每一个视频帧输入预先训练好的分类网络，得到每一帧的输出向量；
13、通过预设阈值对比每一帧的输出向量之间的距离，获得所述原始手术视频中包含且所述人工剪辑后视频中不包含的视频帧，作为所述负样本。
14、根据本专利技术提供的一种基于深度学习的手术视频剪辑方法，采用预设深度学习网络作为初始分类网络模型，将所述预处理训练集、预处理训练集中相邻图像帧的稠密光流图以及视频序号分类标签输入所述初始分类网络模型进行训练，得到手术视频分类剪辑模型，包括：
15、获取所述预处理训练集中相邻图像帧的稠密光流图；
16、采用具有预设层数的残差网络作为所述初始分类网络模型，将所述预处理训练集按照预设分割比例划分为训练集和测试集；
17、将所述相邻图像帧的稠密光流图作为二元对，获取所述预处理训练集中视频帧的视频序号对应于所述二元对的视频序号分类标签；
18、将所述训练集、所述测试集、所述二元对和所述视频序号分类标签输入所述初始分类网络模型进行训练，输出所述手术视频分类剪辑模型。
19、根据本专利技术提供的一种基于深度学习的手术视频剪辑方法，所述稠密光流图包括横轴方向光流信息和纵轴方向光流信息。
20、根据本专利技术提供的一种基于深度学习的手术视频剪辑方法，将待剪辑手术视频输入至所述手术视频分类剪辑模型，输出初始剪辑视频结果，包括：
21、将所述待剪辑手术视频分成包含时间顺序的视频帧，获取包含时间顺序的视频帧对应的稠密光流图；
22、将包含时间顺序的视频帧和稠密光流图对应的二元对输入所述手术视频分类剪辑模型，得到保留视频帧和裁剪视频帧；
23、按照时间序号整理所述保留视频帧，得到所述初始剪辑视频结果。
24、根据本专利技术提供的一种基于深度学习的手术视频剪辑方法，基于原始手术视频帧率对所述初始剪辑视频结果进行后处理，得到手术视频剪辑结果，包括：
25、采集所述原始手术视频帧率；
26、将所述初始剪辑视频结果划分为多个具有所述原始手术视频帧率的视频组；
27、确定预设视频帧占比，以超过所述预设视频帧占比的视频组为保留视频帧结果；
28、将所有保留视频帧结果进行合并，输出手术视频剪辑结果。
29、第二方面，本专利技术还提供一种基于深度学习的手术视频剪辑系统，包括：
30、预处理模块，用于获取原始手术视频和人工剪辑后视频构建初始训练集，对所述初始训练集进行二分类预处理，得到预处理训练集；
31、训练模块，用于采用预设深度学习网络作为初始分类网络模型，将所述预处理训练集、预处理训练集中相邻图像帧的稠密光流图以及视频序号分类标签输入所述初始分类网络模型进行训练，得到手术视频分类剪辑模型；
32、剪辑模块，用于将待剪辑手术视频输入至所述手术视频分类剪辑模型，输出初始剪辑视频结果；
33、后处理模块，用于基于原始手术视频帧率对所述初始剪辑视频结果进行后处理，得到手术视频剪辑结果。
34、第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的手术视频剪辑方法。
35、第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的手术视频剪辑方法。
36、本专利技术提供的基于深度学习的手术视频剪辑方法及系统，通过采用端到端的深度学习通用模型，在视频剪辑训练中利用稠密光流图引入时域信息，增强了判断的稳定性和准确性，使得视频剪辑更精确。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的手术视频剪辑方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的手术视频剪辑方法，其特征在于，获取原始手术视频和人工剪辑后视频构建初始训练集，对所述初始训练集进行二分类预处理，得到预处理训练集，包括：
3.根据权利要求2所述的基于深度学习的手术视频剪辑方法，其特征在于，筛选所述原始手术视频中包含且所述人工剪辑后视频中不包含的视频帧作为负样本，包括：
4.根据权利要求1所述的基于深度学习的手术视频剪辑方法，其特征在于，采用预设深度学习网络作为初始分类网络模型，将所述预处理训练集、预处理训练集中相邻图像帧的稠密光流图以及视频序号分类标签输入所述初始分类网络模型进行训练，得到手术视频分类剪辑模型，包括：
5.根据权利要求4所述的基于深度学习的手术视频剪辑方法，其特征在于，所述稠密光流图包括横轴方向光流信息和纵轴方向光流信息。
6.根据权利要求1所述的基于深度学习的手术视频剪辑方法，其特征在于，将待剪辑手术视频输入至所述手术视频分类剪辑模型，输出初始剪辑视频结果，包括：
7.根据权利
8.一种基于深度学习的手术视频剪辑系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于深度学习的手术视频剪辑方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于深度学习的手术视频剪辑方法。
...【技术特征摘要】
1.一种基于深度学习的手术视频剪辑方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的手术视频剪辑方法，其特征在于，获取原始手术视频和人工剪辑后视频构建初始训练集，对所述初始训练集进行二分类预处理，得到预处理训练集，包括：
3.根据权利要求2所述的基于深度学习的手术视频剪辑方法，其特征在于，筛选所述原始手术视频中包含且所述人工剪辑后视频中不包含的视频帧作为负样本，包括：
4.根据权利要求1所述的基于深度学习的手术视频剪辑方法，其特征在于，采用预设深度学习网络作为初始分类网络模型，将所述预处理训练集、预处理训练集中相邻图像帧的稠密光流图以及视频序号分类标签输入所述初始分类网络模型进行训练，得到手术视频分类剪辑模型，包括：
5.根据权利要求4所述的基于深度学习的手术视频剪辑方法，其特征在于，所述稠密光流图包括横轴方向光流信息和...
【专利技术属性】
技术研发人员：陶然，王东明，张汉江，武宇，
申请(专利权)人：湖北珞珈实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。