用于实时视频增强的系统和方法技术方案

提供了一种用于改进现场视频质量的计算机实现的方法。该方法包括：使用医学成像设备获取对象的连续图像帧流，以减少的辐射剂量获取连续图像帧流；将深度学习网络模型应用于连续图像帧流，以生成具有改进质量的图像帧；在显示器上实时显示具有改进质量的图像帧。显示器上实时显示具有改进质量的图像帧。显示器上实时显示具有改进质量的图像帧。

【技术实现步骤摘要】
【国外来华专利技术】用于实时视频增强的系统和方法
相关申请的交叉引用
[0001]本申请要求于2020年2月11日提交的美国临时申请第62/972,999号的优先权，其内容整体并入本文。

技术介绍

[0002]图像引导手术系统已被用于在手术操作过程中检查患者解剖结构或引导手术器械。这些视觉或图像引导系统可以提供外科医生运动、目标部位位置和各种其他有用信息的实时视觉反馈，这些信息可以实时显示在手术室中的计算机监视器上或远程显示。
[0003]成像方式(例如C臂透视)可结合电离辐射提供体内实时成像。在一些情况下，可将透视成像和其他成像系统提供给术内交互式手术计划和显示系统，将患者外表面的现场视频(live video)与从患者的医学诊断成像数据中获得的交互式计算机生成的内部解剖模型混合在一起。计算机图像和现场视频在手术过程中实时协调并显示给外科医生，使外科医生可以同时查看内外结构和它们之间的关系，并相应地调整手术。这可以允许更安全和侵入性更小的手术，因为外科医生可以更好地控制手术，从而减少组织创伤和破坏。然而，透视成像依赖于电离辐射在外科手术过程中为医生提供高质量的视频反馈。辐射暴露对医生和患者都是有害的，但减少剂量会导致噪音更大的视频。在一些情况下，为了实现具有足够视频质量的现场成像，患者可能会接受高剂量辐射(例如，连续的X射线流)，使得在透视成像中吸收的辐射剂量通常大于传统静止射线照片的辐射剂量。

技术实现思路

[0004]提供了用于改进低辐射剂量的现场视频质量的方法和系统。本公开的方法和系统可以在不牺牲视频质量的情况下提供以较低辐射剂量拍摄的高质量现场视频。本文提供的方法和系统可以解决包括上面认识到的那些的传统系统的各种缺点。本公开的方法和系统可能能够实时改进现场视频质量，从而允许以较低辐射剂量拍摄视频，或在成像过程中减少对辐射的暴露。这可以有益地改进患者和外科医生的手术安全性，并允许进行长时间的外科手术(例如，诸如在体内放置支架或其他设备的介入程序可能需要长时间进行透视)。
[0005]本文提供的方法和系统可以在降低辐射剂量的同时提供高质量的现场视频。传统上，减少辐射剂量或减少辐射暴露可能会导致图像帧更嘈杂或视频质量下降的时间伪影。本文所述的方法和系统可以在不修改物理系统的情况下改进在较低辐射剂量下的现场医学成像的质量。
[0006]所提供的方法和系统可以通过应用深度学习技术显着改进现场视频质量，从而改进视频分辨率并降低噪声。本文的方法或算法可以通过减少推理运行时间来改进现场成像质量。由于传统去噪器的高推理运行时间，这有利地允许了以前无法获得的实时成像增强。各种视频伪影，例如时间伪影(例如，可见闪烁)、图像伪影(例如，噪声(例如，低信噪比)、模糊(例如，运动伪影)、阴影(例如，阻塞或干扰感知)、信息缺失(例如，由于信息或掩蔽的去除而导致的绘画中丢失的像素或体素)和/或重建(例如，测量域中的退化)可以通过所提供
的方法和系统来减轻。
[0007]在一个方面，本公开提供了一种用于改进现场视频质量的计算机实现的方法。该方法包括：(a)使用医学成像设备获取对象的连续图像帧流，其中以减少的辐射剂量获取连续图像帧流；(b)将深度学习网络模型应用于连续图像帧流，以生成在时域和空域均具有改进质量的输出图像帧；和(c)在显示器上实时显示具有改进质量的输出图像帧。
[0008]在一个相关但独立的方面，本公开提供了一种包括指令的非暂时性计算机可读存储介质，当由一个或多个处理器执行指令时，使该一个或多个处理器执行操作。所述操作包括：a)使用医学成像设备获取对象的连续图像帧流，其中以减少的辐射剂量获取连续图像帧流；(b)将深度学习网络模型应用于连续图像帧流，以生成在时域和空域均具有改进质量的输出图像帧；和(c)在显示器上实时显示具有改进质量的输出图像帧。
[0009]在一些实施方式中，使用包括一对模拟低质量视频和模拟高质量视频的训练数据集来训练所述深度学习网络模型。在一些情况下，所述模拟高质量视频是通过将时间平均算法或去噪算法应用于以正常辐射剂量获取的视频而生成的。在一些情况下，该方法还包括基于所述视频和所述模拟高质量视频之间的差异来计算噪声。或者，该方法还包括将因子应用于所述噪声以模拟对应于所述因子的噪声水平。例如，所述模拟低质量视频是至少部分地基于所述噪声水平和所述模拟高质量视频而生成的。
[0010]在一些实施方式中，深度学习网络模型包括多个去噪组件。在一些情况下，所述多个去噪组件被组装成两层架构。在一些情况下，所述两层架构的第一层中的每个去噪组件处理所述连续帧流的子集以输出具有增强的图像质量的一系列中间图像帧。在一些情况下，所述两层架构的第二层中的去噪组件处理所述具有增强的图像质量的中间图像帧并生成所述输出图像帧。在一些情况下，每个去噪组件包括修改的U
‑
net模型。在一些情况下，所述两层架构的第二层中的去噪组件具有与所述第一层中的去噪组件的权重不同的权重。在一些实施方式中，所述医学成像设备正在执行透视成像。
[0011]此外，本公开的方法和系统可以应用于现有系统而不需要改变底层基础设施。特别地，所提供的方法和系统可以在不增加硬件组件成本的情况下改进现场成像，并且无论底层基础设施的配置或规范如何都可以进行部署。
[0012]通过以下详细描述，本公开的其他方面和优点对于本领域技术人员将变得容易理解，其中仅显示和描述了本公开的说明性实施方式。如将意识到的，本公开能够具有其他和不同的实施方式，并且其若干细节能够在各种明显方面进行修改，所有这些均不背离本公开。因此，附图和说明书应被视为本质上是说明性的，而不是限制性的。援引加入
[0013]本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文，其程度与每个单独的出版物、专利或专利申请被具体且单独地指示通过引用并入的程度相同。
附图说明
[0014]本专利技术的新颖特征在所附权利要求中特别阐述。通过参考以下阐述其中利用了本专利技术的原理的说明性实施方式的详细描述以及附图，将获得对本专利技术的特征和优点的更好理解，其中：
[0015]图1示意性地示出了根据一些实施方式的示例成像系统。
[0016]图2示意性地示出了根据本公开的一些实施方式的在成像平台中实现的用于实时视频增强的现场成像增强系统。
[0017]图3示意性地示出了根据本专利技术的一些实施方式的深度学习增强系统的架构。
[0018]图4显示了深度学习模型采用的修改的U
‑
net架构的示例。
[0019]图5示意性地示出了根据一些实施方式的用于生成训练数据集的方法。
[0020]图6显示了来自在低剂量辐射下拍摄的现场视频的图像帧的示例，以及由深度学习增强系统产生的改进的图像帧。
[0021]图7显示了由深度学习增强系统产生的改进的图像帧的示例。
具体实施方式
[0022]虽然本专利技术的各种实施方式已经在本文中示出和描述，但是对于本领域技术人员来说容易理解的是，这些实施方式仅作为示例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于改进现场视频质量的计算机实现的方法，包括：(a)使用医学成像设备获取对象的连续图像帧流，其中以减少的辐射剂量获取所述连续图像帧流；(b)将深度学习网络模型应用于所述连续图像帧流，以生成在时域和空域均具有改进质量的输出图像帧；和(c)在显示器上实时显示所述具有改进质量的输出图像帧。2.根据权利要求1所述的计算机实现的方法，其中使用包括一对模拟低质量视频和模拟高质量视频的训练数据集来训练所述深度学习网络模型。3.根据权利要求2所述的计算机实现的方法，其中所述模拟高质量视频是通过将时间平均算法或去噪算法应用于以正常辐射剂量获取的视频而生成的。4.根据权利要求3所述的计算机实现的方法，还包括基于所述视频和所述模拟高质量视频之间的差异来计算噪声。5.根据权利要求3所述的计算机实现的方法，还包括将一因子应用于所述噪声以模拟对应于所述因子的噪声水平。6.根据权利要求5所述的计算机实现的方法，其中所述模拟低质量视频是至少部分地基于所述噪声水平和所述模拟高质量视频而生成的。7.根据权利要求1所述的计算机实现的方法，其中所述深度学习网络模型包括多个去噪组件。8.根据权利要求7所述的计算机实现的方法，其中所述多个去噪组件被组装成两层架构。9.根据权利要求8所述的计算机实现的方法，其中所述两层架构的第一层中的每个去噪组件处理所述连续帧流的子集以输出具有增强的图像质量的一系列中间图像帧。10.根据权利要求9所述的计算机实现的方法，其中所述两层架构的第二层中的去噪组件处理所述具有增强的图像质量的中间图像帧并生成所述输出图像帧。11.根据权利要求8所述的计算机实现的方法，其中每个去噪组件包括修改的U
‑
net模型。12.根据权利要求11所述的计算机实现的方法，其中所述两层架构的第二层中的去噪组件的权重与所述第一层中的去噪组件的权重不同。13.根据权利要求1所述的计算机实现的方法，其中所述医学成像设备正在执行透视成像。14.一种包括指令的非暂时性计算机可读存储介质，当由一个或多个处理器执行所述指令时，使所述一个或多个处理器执行包括以下的操作：(a)使用医学成像设备获...

【专利技术属性】
技术研发人员：大卫，
申请(专利权)人：深透医疗公司，
类型：发明
国别省市：