【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、所记录的外科规程可以包含用于医疗教育和/或医疗培训目的的有价值的信息。可以分析所记录的外科规程以确定与该外科规程相关联的效率、质量和结果度量。然而，外科视频是长视频。例如，外科视频可以包括由多个外科阶段组成的整个外科规程。外科视频的长度和外科阶段的数量可能给外科工作流识别带来困难。
技术实现思路
1、公开了用于使用自然语言处理(nlp)技术的基于计算机视觉的外科工作流识别的系统、方法和手段。外科规程的外科视频能够被处理和分析例如以实现工作流识别。外科阶段能够基于该外科视频被确定并被分割以生成带注释的视频表示。该外科视频的该带注释的视频表示能够提供与该外科规程相关联的信息。例如，该带注释的视频表示能够提供关于外科阶段、外科事件、外科工具使用等的信息。
2、计算系统可以使用nlp技术来生成与外科视频相关联的预测结果。预测结果可以与外科工作流对应。例如，计算系统可以获得外科视频数据。外科视频数据可以例如从外科装置(诸如外科计算系统、外科集线器、外科部位相机、外科监视系统等)获得。外科视频数据可以包括图像。计算系统可以对外科视频执行nlp技术例如以将图像与外科活动相关联。外科活动可以指示外科阶段、外科任务、外科步骤、空闲时段、外科工具的使用等。计算系统可以例如基于所执行的nlp技术来生成预测结果。预测结果可以被配置成指示与外科视频数据中的外科活动相关联的信息。例如，预测结果可以被配置成指示外科视频数据中的外科活动的开始时间和结束时间。预测结果可以被生成为带注释的
3、例如，所执行的nlp技术可以包括提取外科视频数据的表示概要。计算系统可以使用nlp技术例如使用变换器网络来提取外科视频数据的表示概要。计算系统可以使用nlp技术例如使用三维卷积神经网络(3dcnn)和变换器网络(例如，该变换器网络可以被称为混合网络)来提取外科视频数据的表示概要。
4、例如，所执行的nlp技术可以包括使用nlp技术来提取外科视频的表示概要，基于所提取的表示概要来生成向量表示，以及使用自然语言处理(例如，基于所生成的向量表示)来确定预测的视频片段分组。所执行的nlp技术可以包括例如使用变换器网络对预测的视频片段分组进行滤波。
5、例如，计算系统可以使用nlp技术来识别与外科活动相关联的阶段边界。阶段边界可以指示外科阶段之间的边界。计算系统可以基于所识别的阶段边界来生成输出。例如，输出可以指示每个外科阶段的开始时间和结束时间。
6、例如，计算系统可以使用nlp技术来识别与外科视频相关联的外科事件(例如，空闲时段)。空闲时段可以与外科规程期间的不活动相关联。计算系统可以基于空闲时段来生成输出。例如，输出可以指示空闲开始时间和空闲结束时间。计算系统可以例如基于所识别的空闲时段来细化预测结果。计算系统可以例如基于所识别的空闲时段来生成外科规程改进推荐。
7、例如，计算系统可以使用nlp技术来检测视频数据中的外科工具。计算系统可以基于检测到的外科工具来生成预测结果。预测结果可以被配置成指示与外科规程期间的外科工具使用相关联的开始时间和结束时间。
8、计算系统可以使用nlp技术来生成外科视频的带注释的视频表示(例如，实现外科工作流识别)。例如，计算系统可以使用人工智能(ai)模型来实现外科工作流识别。例如，计算系统可以接收外科视频，其中该外科视频可以与先前记录的外科规程或实况外科规程相关联。例如，计算系统可以从外科集线器和/或外科监视系统接收实况外科规程的视频数据。计算系统可以对外科视频执行nlp技术。计算系统可以确定与外科视频相关联的一个或多个阶段，例如外科阶段。计算系统可以例如基于nlp技术处理来确定预测结果。预测结果可以包括与外科视频相关联的信息，例如，诸如关于外科阶段、外科事件、外科工具使用等的信息。计算系统可以将预测结果发送到存储装置和/或用户。
9、计算系统可以使用nlp技术基于视频数据来例如提取表示概要。表示概要可以包括与视频数据相关联的检测到的特征。检测到的特征可以用于指示外科阶段、外科事件、外科工具等。计算系统可以使用nlp技术基于所提取的表示概要来例如生成向量表示。计算系统可以使用nlp技术(例如，基于所生成的向量表示)来例如确定预测的视频片段分组。预测的视频片段分组例如可以是与同一外科阶段、外科事件、外科工具等相关联的视频片段分组。计算系统可以使用例如nlp技术来对预测的视频片段分组进行滤波。计算系统可以使用nlp技术来确定预测的外科工作流阶段之间的阶段边界。例如，计算系统可以确定外科阶段之间的转变时段。计算系统可以使用nlp技术来确定空闲时段，例如，其中空闲时段与外科规程期间的不活动相关联。
10、在示例中，计算系统可以使用具有ai模型的神经网络来确定工作流识别。神经网络可以包括卷积神经网络(cnn)、变换器网络和/或混合网络。
本文档来自技高网...【技术保护点】
1.一种计算系统，包括：
2.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
3.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
4.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
5.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
6.根据权利要求1所述的计算系统，其中所述预测结果包括带注释的外科视频或与所述外科视频相关联的元数据中的至少一者。
7.根据权利要求1所述的计算系统，其中所述自然语言处理与以下各项相关联：
8.根据权利要求1所述的计算系统，其中所述自然语言处理与以下各项相关联：
9.根据权利要求8所述的计算系统，其中所述处理器被进一步配置成：
10.根据权利要求1所述的计算系统，其中所述多个外科活动指示外科事件、外科阶段、外科任务、外科步骤、空闲时段或外科工具的使用中的一者或多者。
11.根据权利要求1所述的计算系统，其中从外科装置接收到所述视频数据，其中所述外科装置是外科计算
12.根据权利要求1所述的计算系统，其中所述自然语言处理与检测所述视频数据中的外科工具相关联，并且其中所述预测结果被配置成指示与所述外科规程中所述外科工具的使用相关联的开始时间和与所述外科规程中所述外科工具的所述使用相关联的结束时间。
13.一种方法，包括：
14.根据权利要求13所述的方法，其中执行自然语言处理包括：
15.根据权利要求13所述的方法，其中执行自然语言处理包括：
16.根据权利要求13所述的方法，其中执行自然语言处理包括：
17.根据权利要求13所述的方法，其中所述预测结果包括带注释的外科视频或与所述外科视频相关联的元数据中的至少一者。
18.根据权利要求13所述的方法，其中执行自然语言处理与以下各项相关联：
19.根据权利要求13所述的方法，其中执行自然语言处理与以下各项相关联：
20.一种计算系统，包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种计算系统，包括：
2.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
3.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
4.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
5.根据权利要求1所述的计算系统，其中所述所执行的自然语言处理包括：
6.根据权利要求1所述的计算系统，其中所述预测结果包括带注释的外科视频或与所述外科视频相关联的元数据中的至少一者。
7.根据权利要求1所述的计算系统，其中所述自然语言处理与以下各项相关联：
8.根据权利要求1所述的计算系统，其中所述自然语言处理与以下各项相关联：
9.根据权利要求8所述的计算系统，其中所述处理器被进一步配置成：
10.根据权利要求1所述的计算系统，其中所述多个外科活动指示外科事件、外科阶段、外科任务、外科步骤、空闲时段或外科工具的使用中的一者或多者。
11.根据权利要求1所述的计算系统，其中从外科...
【专利技术属性】
技术研发人员：张博凯，A·加内姆，F·米莱塔里，J·E·巴克，
申请(专利权)人：希赛公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。