多路视频流的图像配准的系统和方法技术方案

本文中提供了用于来自多个源的图像配准的方法和系统。一种用于图像配准的方法包括：呈现关注的反映多个元件的存在的共同视野，其中所述元件中的至少一个是远距元件中的另一个的远程元件；和更新关注的共同视野使得所述元件中的所述至少一个的存在相对于所述元件中的另一个配准。

【技术实现步骤摘要】
【国外来华专利技术】联邦政府支持条款本公开的部分是在授权号/合同号H30912、H34612和H35662下由能源部提供的政府基金研发。政府对本专利技术具有特定权益。相关专利申请的交叉参考本申请主张2011年8月12日提交的美国专利申请第13/208，926号的优先权，所述申请全文以引用并入本文。
技术介绍
现今广泛使用的视频组合器使用各种多路技术和媒体组合技术而组合来自两个单独源的视频。当两个视频源被组合或多路时，两个视频源不需要为所希望的对准。错位常常是由于视频源之间缺乏同步。作为实例，常规视频流依赖于在压缩和解压过程期间系统地移除数据且允许更有效传输视频/图像反馈的算法。数据损失和分辨率、纵横比、偏斜和其它因素的变化会影响(例如，变换)视频的原始观看。因此，当组合来自两个不同源的两个视频流时，所得合成视频或多个图像系列可能错位。
技术实现思路
本专利技术公开了用于为了所希望的图像呈现而建立多个视频/图像流的图像配准以对准多个视频/图像流的系统和方法。空间图像配准系统(SIRS)使用单独视频的图像内引入的检测方法、系统、符号和/或检测点以验证并(如果必要的话)应用多个图像变换以在原始反馈与传输反馈之间执行对准。在虚拟交互式存在(VIP)的情况下，无论是否存在传输或显示差别，SIRS均使用空间配准或匹配的用户交互创建关注的共同视野。本专利技术描述了用于图像配准或共定位的方法。一种方法包括:呈现关注的反映多个元件的存在的共同视野，其中所述元件中的至少一个是远距元件中的另一个的远程元件；和更新关注的共同视野使得所述元件中的所述至少一个的存在相对于所述元件中的另一个配准。另一种方法包括:产生表不第一兀件的第一图像；产生表不远距所述第一兀件布置的第二元件的第二图像；和呈现包括所述第一图像和所述第二图像的合成图像，其中所述第一图像和所述第二图像中的至少一个基于配准特征部相对于所述第一图像和所述第二图像中的另一个配准。本专利技术描述了用于图像配准的系统。所述系统包括:显示器，其被配置来用于显示关注的共同视野；传感器，其被配置来用于获取图像数据；处理器，其与所述显示器和所述传感器进行信号通信，其中所述处理器被配置来执行包括以下各项的步骤:基于所述图像数据呈现关注的反映多个元件的存在的共同视野，其中所述元件中的至少一个是远距所述元件中的另一个的远程元件；更新所述关注的共同视野使得所述元件的所述至少一个的存在相对于所述元件中的另一个配准；和将所述关注的共同视野输出给所述显示器。额外优势将部分在下列描述中加以陈述或可以通过实践来加以学习。将通过随附专利技术概念中特别指出的元件和组合认识并取得所述优势。应了解，前文一般描述和下列详细描述均只具有示例性和解释性且不要被认为具有限制性。【附图说明】合并到这份说明书的部分并构成其部分的附图示出了实施方案且连同所述描述一起用来解释所提供的方法和系统的原理:图1示出了虚拟交互式存在；图2A示出了虚拟交互式存在；图2B示出了本地专家辅助远程用户；图3示出了示例性配准系统；图4A示出了由图3的配准系统执行的示例性程序；图4B示出了由图3的配准系统执行的示例性程序的本地视野和远程视野；图4C示出了由图3的配准系统执行的示例性程序的本地视野和远程视野；图4D示出了配准机构的偏差；[0021 ]图4E示出了图4D的配准机构的偏差的变换；图4F示出了由图3的配准系统执行的示例性程序；图5示出了示例性虚拟存在系统；图6示出了在一图形服务器内执行的示例性程序；图7示出了在一网络服务器内执行的示例性程序；图8示出了示例性VIP显示器的侧视图；图9示出了示例性VIP显示器的用户视图；图10示出了示例性VIP显示器的用户视图；图11示出了示例性方法；图12示出了另一示例性方法；图13示出了远程手术环境中的虚拟存在；图14示出了医学成像和手术视野的合并；且图15示出了示例性操作环境。【具体实施方式】在公开并描述本方法和系统之前，应了解所述方法和系统不限于特定综合方法、特定组件或特定组成，因为这些可以自然而然地不断变化。还应了解，本文中使用的术语只是为了描述特定实施方案的目的且没有限制之意。如本说明书和随附专利技术概念中使用，除非上下文另有明确指示，否则单数形式“一个(a、an)”和“所述”包括多个参照物。本文中可以将范围表达成从“约” 一个特定值和/或到“约”另一特定值。当表达这个范围时，另一实施方案包括从所述一个特定值和/或到所述另一特定值。类似地，当将值表达成近似值时，通过使用先行词“约”，应了解所述特定值形成另一实施方案。还应了解，范围中的每个的终点相对于另一终点和独立于另一终点均极为重要。“选用”或“视情况”意指随后描述的事件或境况可能或可能不发生，且所述描述包括其中发生所述事件或境况的实例和其中不发生所述事件或境况的实例。在本说明书的描述和权利要求中，单词“包括”和所述单词的变体(诸如“包括(comprising和comprises)”)意指“包括(但不限于)”，且不旨在排除(例如)其它添加物、组件、整数或步骤。“示例性”意指“其实例”且不旨在表达优选或理想实施方案的指示。本专利技术公开了可用来执行已公开的方法和系统的组件。本文中公开了这些和其它组件，且应了解，当公开这些组件的组合、子集、交互、组(等)且不一定明确公开这些组件的每个各种个别和共同组合和置换的特定参考时，本文中所有方法和系统均具体预期并描述其中的每个。这应用于本申请的所有方面，包括(但不限于)已公开方法中的步骤。因此，如果存在可执行的多种额外步骤，那么应了解可以任何特定实施方案或已公开方法的实施例组合执行这些额外步骤中的每个。通过参考优选实施方案和包括在其中的实例的下列详细描述并参考附图和其先前描述和下列描述可以更容易地理解本方法和系统。本专利技术公开了用于多个视频流的图像配准的方法和系统。已公开的方法和系统可使用虚拟实境。虚拟实境(VR)是指基于计算机的应用程序，其提供了人机界面使得计算机和其装置创建受个人动作动态控制的感官环境，使得环境在用户看来是“真的”。运用VR，计算机系统与用户之间存在通信。计算机创建用户将体验的感官环境(一方面其可以是多感官的(但是这并非必要))且计算机响应于用户输入而创建实境感觉。在一个示例性方面，所公开的系统可使用至少两种类型的VR:沉浸式和非沉浸式。沉浸式VR创建用户实际上在不同环境中的错觉。一方面，系统通过使用如头戴式显示器(HMD)、耳机和诸如手套或识别笔的输入装置的这些装置来完成所述创建。另一方面，为了增强体验的实境性，使用软件可模拟的多个自由度(D0F)。一般来说，DOF越多，体验的实境性越好。示例性DOF包括(不限于):X、Y、Z、俯仰、横滚和航向。非沉浸式VR创建可不同于用户的周围环境的环境。这没有产生用户被投放到另一世界的错觉。非沉浸式VR通过凭借使用立体投影系统、计算机监视器和/或立体扬声器创建3维图像和环绕声而工作。非沉浸式VR可在不增加硬件的情况下由个人计算机运行。—方面，可由系统通过使用称作跟踪器的光学、声学、磁性或机械硬件实现沉浸式VR的移动。优选地，输入装置具有尽可能多的这样的跟踪器，使得可更准确表示移动。例如，虚拟手套可使每个指示符号使用多达3个跟踪器，且可使手掌和手腕使用更多个跟踪器，使得用户可抓取并按压对本文档来自技高网...

【技术保护点】
一种用于图像配准的方法，其包括：呈现关注的反映多个元件的存在的一共同视野，其中所述元件中的至少一个是远距所述元件中的另一个的远程元件；以及更新所述关注的共同视野使得所述元件的所述至少一个的存在相对于所述元件中的另一个配准。

【技术特征摘要】
【国外来华专利技术】2011.08.12 US 13/208,9261.一种用于图像配准的方法，其包括: 呈现关注的反映多个元件的存在的一共同视野，其中所述元件中的至少一个是远距所述元件中的另一个的远程元件；以及 更新所述关注的共同视野使得所述元件的所述至少一个的存在相对于所述元件中的另一个配准。2.根据权利要求1所述的方法，其还包括实时呈现所述元件中的每个的存在，其中所述元件中的每个相对于所述元件中的另一个配准。3.根据权利要求1所述的方法，其还包括在所述关注的共同视野中呈现所述元件之间的交互的步骤。4.根据权利要求1所述的方法，其还包括连续更新所述关注的共同视野使得所述远程元件的所述存在被实时呈现给本地观看者的步骤。5.根据权利要求1所述的方法，其还包括连续更新所述关注的共同视野使得所述元件中的本地元件的存在被实时呈现给远程观看者的步骤。6.根据权利要求1所述的方法，其中所述关注的共同视野中的所述元件中的每个以基本上类似对准和定向被呈现给远程观看者和本地观看者。7.根据权利要求1所述的方法，其还包括通过对准远程视野的校准特征部和本地视野的校准特征部而校准所述关注的共同视野的步骤。8.根据权利要求7所述的方法，其中所述远程视野的所述校准特征部和所述本地视野的所述校准特征部相对于预定义座标系统对准。9.根据权利要求7所述的方法，其中所述远程视野的所述校准特征部和所述本地视野的所述校准特征部相对于预定义基准对准。10.一种用于图像配准的方法，其包括: 产生表不第一兀件的第一图像； 产生表示远距所述第一元件布置的第二元件的第二图像；以及 呈现包括所述第一图像和所述第二图像的合成图像，其中所述第一图像和所述第二图像中的至少一个基于配准特征部相对于所述第一图像和所述第二图像中的...

【专利技术属性】
技术研发人员：马库斯·W·迪利亚沃，菲利普·科里·舒姆，巴顿·L·加斯里，马赫什·B·舍那伊，德鲁·史蒂文·迪顿，马修·本顿·梅，
申请(专利权)人：VIPAAR有限公司，UAB研究基金会，
类型：发明
国别省市：美国;US