用于稳定显示场景输出的技术制造技术

各实施例一般涉及用于确定眼睛何时聚焦于显示场景并当眼睛聚焦于显示场景时基于图像信息来确定眼睛的移动的设备和方法。各实施例还可以包括基于运动信息，检测设备的运动，并基于眼睛的移动和设备的运动两者中的至少一项，调整显示场景中的帧的位置和尺寸中的至少一项。

【技术实现步骤摘要】
【专利说明】用于稳定显示场景输出的技术背景能够显示各种文本和图形信息(包括图像、文本和视频回放)的计算设备(包括移动设备、便携式设备等等)变得非常流行。例如，许多用户可能喜欢使用计算设备来向他们的朋友放映家庭电影，从因特网播放流送视频或观看直接下载到他们的计算设备的其他视频。然而，这些计算设备一般具有小屏幕尺寸和有限的电池寿命。尽管这些及其他固有限制，用户通常要求这样的计算设备能够以高质量形式显示内容而不会损害电池寿命。如此，当用户正在观看信息或显示场景时，由计算设备或用户的运动所导致的摇晃的或抖动的输出一般是不希望的。附图简述本专利技术的各实施例作为示例而非限制在各个附图中示出，在附图中类似的参考编号指代类似的元件。图1示出了计算系统的示例性实施例。图2示出了在视频输出过程中用于帧稳定的第一逻辑流程图的实施例。图3A-3D示出了在一个方向上帧调整的实施例。图4A-4D示出了在多个方向上帧调整的实施例。图5A-?示出了基于特征运动的在一个方向上的帧调整的实施例。图6A-6D示出了基于特征运动的在多个方向上的帧调整的实施例。图7A-7D示出了基于设备移动的在一个方向上的帧调整的实施例。图8A-8D示出了基于设备移动的在多个方向上的帧调整的实施例。图9示出了计算设备和设备运动检测的实施例。图10示出了计算设备和特征运动检测的实施例。图11示出了计算设备和设备和特征运动检测的实施例。图12示出了在视频输出过程中用于帧稳定的第二逻辑流程图的实施例。图13示出了计算设备的实施例。图14示出了第一计算架构的实施例。图15示出了计算设备的实施例。【具体实施方式】各实施例一般涉及对于显示设备上的显示场景的输出进行帧调整，以补偿计算设备、计算设备的用户、用户的特征、或其组合的运动。可能由多种理由导致计算设备、用户等等的运动。例如，计算设备可能安装在小汽车的挡风玻璃上，并可能由于小汽车的移动和弹起而移动。在另一个示例中，用户可能通过握住设备并移动他的或她的手臂，移动计算设备。在另一个示例中，计算设备可能固定于诸如踏车之类的对象上，然而，用户可能在踏车上移动。在某些实施例中，计算设备和用户两者都可能移动。例如，用户可能握住计算设备，移动他的或她的手臂，沿着街道散步。在所有这些示例中，输出可能由于计算设备、用户、用户的眼睛等等的运动，显得摇晃、抖动、无法观看。如此，各实施例涉及调整输出的显示场景帧，以补偿上文所描述的运动中的任何一种。此外，显示场景可以包括任何类型的输出，诸如视频输出流、文本输出、图像输出、图形输出、网页输出等等。各实施例不仅限于此，显示场景可以输出可以显示在显示设备上的任何类型的信息。进一步，此处所描述的各种技术涉及当呈现在计算设备的显示组件上时调整显示场景帧的位置或尺寸。位置和尺寸可以在任何方向上调整，并可以基于计算设备、用户、用户的眼睛等等的检测到的运动。例如，计算设备可以包括检测并捕捉用户和用户眼睛的移动的图像信息的相机组件。相机组件可以捕捉图像信息，并向计算设备的一个或多个其他组件发送信息，供进一步处理。在各实施例中，可以对图像信息应用一个或多个图像稳定和特征跟踪算法，以确定用户的运动(无论是计算设备的运动还是用户的运动引起的)，确定用户眼睛的焦点并跟踪用户眼睛的移动。如下面比较详细地讨论的，此图像运动信息可以被用来调整一个或多个帧的位置或尺寸，以补偿运动。然而，单独地利用图像稳定和特征跟踪算法来处理图像信息可能是处理密集的，并使用太多电池电量。如此，各实施例还可以包括检测计算设备的运动的运动传感器组件。例如，运动传感器组件可以是可以检测设备在任何方向上的运动的惯性传感器，诸如加速度计。此运动信息可以直接用于调整显示场景帧的位置或尺寸。此外，当处理图像信息时，运动信息还可以被用作一个或多个图像稳定和特征跟踪算法的运动估计和起始点。通过使用运动估计作为起始点，由于处理图像信息的较少迭代，可以实现显著的功率和电池节省。通过下列描述，各种细节将变得显而易见。一般参考此处所使用的符号和命名法，可以以按照在计算机或计算机网络上执行的程序过程来呈现随后的详细描述。这些过程描述和表示法被所属领域的技术人员用于最有效地将他们的工作实质传递给本领域技术人员。过程在本文中一般是指导致所希望结果的自洽的操作序列。这些操作是那些需要对物理量进行物理操纵的那些操作。尽管不是必要的，但通常这些量采用能够被存储、传输、组合、比较以及以其它方式操纵的电和/或磁或光信号的形式。已经证明有时，主要是由于通用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等等比较方便。然而，值得注意的是，所有那些和/或类似的项将与适当的物理量关联，而且仅仅是应用于这些量的方便的标记。进一步地，操纵常常以诸如添加或比较(通常与由人类操作员执行的智力操作相关联)之类的术语来引用。然而，在大多数情况下，在构成一个或多个实施例的一部分的本文所述操作中的任何一种操作中，这样的人类操作员的能力不是必须的，或不是需要的。相反，操作是机器操作。用于执行各实施例的操作的有用机器包括通用数字计算机或类似的设备。各实施例还涉及用于执行这些操作的设备或系统。可以为所需的用途专门地构建此设备，或者该设备也可以包括由存储在计算机中的计算机程序有选择地激活和/或重新配置的通用计算机。此处所呈现的过程不固有地涉及特定计算机或其他设备。各种通用机器可以与根据此处的教导编写的程序一起使用，或者构建更加专用的设备来执行所需的方法步骤也是比较方便的。根据给定的描述，会呈现这些机器中的各种机器的所需结构。图1示出了计算系统100的一般总览，包括用于自适应地稳定显示设备上诸如视频输出流之类的输出的计算设备105。更具体而言，图1示出了计算设备105，包括相机组件102、跟踪组件104、运动传感器组件106、运动补偿组件108和显示组件110。在各实施例中，相机组件102可以接收或检测图像信息120，运动传感器组件106可以接收或检测运动信息130。虽然图1示出了数量有限的组件，但是，各实施例可以具有任意数量的用于视频流输出的帧稳定的组件。进一步，各种组件可以以软件、硬件或其组合来实现。在各实施例中，相机组件102可以包括捕捉、接收或检测图像信息(诸如图像信息120)的相机电路。相机组件102可以是任何类型的相机，包括能够捕捉图像信息的静态照片相机和/或视频相机。在某些实施例中，相机组件102可以检测用户的脸和面部特征，诸如用户的眼睛、鼻子、嘴、耳朵等等，图像信息可以包括面部信息。相机组件102可以处理包括面部信息的图像信息，并可以将它发送到计算设备105的其他组件，用于进一步处理。例如，可以将图像信息从相机组件102发送到跟踪组件104，供进一步处理。跟踪组件104可以接收图像信息120，并对图像信息应用任意数量的图像稳定算法和特征跟踪算法，以确定计算设备102、用户或两者的运动，并跟踪用户的一个或多个特征。例如，跟踪组件104可以应用参数块匹配法算法、光流估计算法、线性区域匹配算法、灰编码的位平面匹配算法、点到线对应算法、特征跟踪算法、金字塔算法、块匹配法算法或任何其他类型的图像稳定或特征跟踪算法，以确定运动和特征轨迹。在某些实施例中，跟踪组件104可以只基于由相机组件10本文档来自技高网...

【技术保护点】
一种设备，包括：跟踪组件，用于确定眼睛何时聚焦于显示场景并用于基于图像信息来确定所述眼睛的运动；一个或多个运动传感器组件，用于基于运动信息来检测所述设备的运动；以及补偿组件，用于基于所述眼睛的运动和所述设备的运动中的至少一项，调整所述显示场景中帧的位置和尺寸中的至少一项。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：R·坎索奥尔莫，K·帕里克，R·巴斯卡兰，D·张，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US