【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、包括虚拟现实(vr)系统和增强现实(ar)系统的混合现实(mr)系统，因其能够为它们的用户创造真正独特的体验而受到极大关注。作为参考，常规的vr系统通过将它们的用户的视野限制到虚拟环境来创造完全沉浸式的体验。这通常是通过使用完全遮挡现实世界的任何视野的头戴式设备(hmd)来实现的。因此，用户完全沉浸在虚拟环境内。与此相反，常规的ar系统通过视觉呈现放置在现实世界中或与现实世界交互的虚拟对象来创造增强现实体验。
2、如本文所使用的，vr系统和ar系统被可互换地描述和引用。除非另有说明，否则本文的描述同样适用于所有类型的mr系统，这些所有类型的mr系统(如上所述)包括ar系统、vr现实系统和/或能够显示虚拟内容的任何其他类似系统。
3、mr系统还可以采用不同类型的相机以便向用户显示内容，诸如以透视图像的形式。透视图像或视图可以帮助用户在过渡到mr环境中和/或在mr环境内导航时避免迷失方向和/或安全隐患。mr系统可以以多种方式呈现由相机捕获的视图。然而，使用面向世界的相机所捕获的图像来提供现实世界环境的视图的过程可能带来许多挑战。
4、为了改进显示给用户的图像的质量，一些mr系统执行所谓的“时间过滤”时间过滤是指系统将在多个时间点上捕获的数据进行组合以生成特定输出的过程。换言之，该系统基本上将多个图像堆叠在彼此之上，并且以使得产生具有改进质量的聚合图像的方式对它们进行组合。
5、例如，在mr系统场景中，该系统组合连续捕获图像的图像数据以生成改进的输出。作为示例，考虑低光场
6、然而，在执行时间过滤时会出现各种挑战。例如，如果在系统捕获多个连续图像时场景或环境中的对象正在移动，则可能会产生所谓的“重影效果”。更具体地，当对象或图像伪影具有跟随该对象的像素轨迹时，会出现重影(例如，一种形式的运动模糊)。出现这种像素轨迹，是因为在生成多个连续图像时，对象位于不同的位置处，然后这些不同的位置反映在最终的合成图像中。
7、在相机本身在其生成图像时发生移动的情况下会出现另一挑战。相机的移动也可能使时间过滤过程发生偏斜。这可能是相机在非mr系统场景中移动的情况，诸如可能在交通工具中。因此，这些挑战还出现在其他
另一挑战涉及最终输出图像的质量或分辨率。鉴于这些挑战以及其他挑战，非常需要改进时间过滤过程。
8、本文所要求保护的主题不限于解决任何缺点或仅在诸如上述环境中操作的实施例。相反，提供该背景仅是为了例示可以实践本文所描述的一些实施例的一个示例性
技术实现思路
1、本文公开的实施例涉及用于从较低分辨率稀疏颜色输入图像生成高分辨率全颜色输出图像的系统、设备和方法。
2、在一些实施例中，相机生成图像。相机的传感器被配置为具有稀疏拜耳图案，该稀疏拜耳图案包括一个或多个红色像素、一个或多个绿色像素、一个或多个蓝色像素和多个单色像素。当相机生成图像时，实施例获取图像中的每个图像的对应imu数据。imu数据指示在相机生成每个图像时相机所处的对应姿态。将图像和imu数据作为输入馈送到运动模型。该运动模型对图像执行时间过滤，并且使用imu数据来生成仅红色图像、仅绿色图像、仅蓝色图像和单色图像。实施例对仅红色图像、仅绿色图像和仅蓝色图像进行上采样，以使仅红色图像的第一分辨率、仅绿色图像的第二分辨率和仅蓝色图像的第三分辨率与单色图像的第四分辨率相匹配。通过组合上采样的仅红色图像、上采样的仅绿色图像、上采样的仅蓝色图像和单色图像来生成高分辨率输出颜色图像。
3、在一些实施例中，可以获取补充信息，其中该补充信息反映了相机的姿态。该补充信息可以作为输入连同图像被馈送到运动模型。
4、在一些实施例中，运动模型被配置为通过将包括在图像中的红色像素与非红色像素分离，并且通过将每个相应红色像素放置在仅红色图像内的对应的仅红色图像坐标处来用红色像素填充仅红色图像而生成仅红色图像。对应的仅红色图像坐标使用imu数据来确定。运动模型还被配置为通过将包括在图像中的绿色像素与非绿色像素分离，并且通过将每个相应绿色像素放置在仅绿色图像内的对应的仅绿色图像坐标处来用绿色像素填充仅绿色图像而生成仅绿色图像。对应的仅绿色图像坐标使用imu数据来确定。运动模型还被配置为通过将包括在图像中的蓝色像素与非蓝色像素分离，并且通过将每个相应的蓝色像素放置在仅蓝色图像内的对应的仅蓝色图像坐标处来用蓝色像素填充仅蓝色图像而生成仅蓝色图像。对应的仅蓝色图像坐标使用imu数据来确定。运动模型还被配置为通过将包括在图像中的单色像素与非单色像素分离，并且通过将每个相应的单色像素放置在单色图像内的对应的单色图像坐标处来用单色像素填充单色图像而生成单色图像。对应的单色图像坐标使用imu数据来确定。
5、提供本
技术实现思路
是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
并非旨在识别权利要求主题的关键特征或基本特征，也不旨在用于帮助确定所要求保护的主题的范围。
6、附加的特征和优点将在下面的描述中阐述，并且将部分地从描述中清楚，或者可以通过本文教导的实践来学习。本专利技术的特征和优点可以通过所附权利要求中特别指出的工具和组合来实现和获得。本专利技术的特征将从以下描述和所附权利要求中变得更加明显，或者可以通过下文所述的本专利技术的实践来学习。
本文档来自技高网...【技术保护点】
1.一种用于从较低分辨率稀疏颜色输入图像生成高分辨率全颜色输出图像的方法，所述方法包括：
2.根据权利要求1所述的方法，其中对所述仅红色图像、所述仅绿色图像或所述仅蓝色图像中的一个或多个执行双边插值，以填充缺失颜色数据的区域。
3.根据权利要求1所述的方法，其中所述高分辨率输出颜色图像的所得分辨率高于所述第一分辨率、所述第二分辨率或所述第三分辨率中的任一个。
4.根据权利要求1所述的方法，其中所述第一分辨率为1280x1024分辨率，并且所述高分辨率输出颜色图像的所得分辨率为2560x2048，或备选地，其中，所述第一分辨率是所述相机的所述传感器的全分辨率的分数。
5.根据权利要求1所述的方法，其中在对所述仅红色图像、所述仅绿色图像和所述仅蓝色图像进行上采样之前，还对所述单色图像进行上采样或插值，以提高所述单色图像的所述第四分辨率。
6.一种被配置为从较低分辨率稀疏颜色输入图像生成高分辨率全颜色输出图像的计算机系统，所述计算机系统包括：
7.根据权利要求6所述的计算机系统，其中所述多个单色像素大于所述一个或多
8.根据权利要求6所述的计算机系统，其中所述高分辨率输出颜色图像的分辨率高于所述仅红色图像、所述仅绿色图像或所述仅蓝色图像中的任一个的分辨率。
9.根据权利要求6所述的计算机系统，其中所述上采样使用双边上采样而被执行。
10.一种用于从较低分辨率稀疏颜色输入图像生成高分辨率全颜色输出图像的方法，所述方法包括：
11.根据权利要求10所述的方法，其中执行双线性插值以填充所述仅红色图像、所述仅绿色图像或所述仅蓝色图像的缺失颜色信息。
12.根据权利要求11所述的方法，其中通过将由所述单色图像提供的强度与由所述仅红色图像、所述仅绿色图像和所述仅蓝色图像提供的颜色合并来生成所述高分辨率输出颜色图像。
13.根据权利要求11所述的方法，其中所述多个图像中的每个图像包括稀疏颜色数据和稀疏强度数据，并且
14.根据权利要求11所述的方法，其中所述相机是低光相机，并且其中所述多个图像是多个低光图像。
15.根据权利要求11所述的方法，其中所述高分辨率输出颜色图像的所得分辨率高于所述第一分辨率、所述第二分辨率或所述第三分辨率中的任一个。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于从较低分辨率稀疏颜色输入图像生成高分辨率全颜色输出图像的方法，所述方法包括：
2.根据权利要求1所述的方法，其中对所述仅红色图像、所述仅绿色图像或所述仅蓝色图像中的一个或多个执行双边插值，以填充缺失颜色数据的区域。
3.根据权利要求1所述的方法，其中所述高分辨率输出颜色图像的所得分辨率高于所述第一分辨率、所述第二分辨率或所述第三分辨率中的任一个。
4.根据权利要求1所述的方法，其中所述第一分辨率为1280x1024分辨率，并且所述高分辨率输出颜色图像的所得分辨率为2560x2048，或备选地，其中，所述第一分辨率是所述相机的所述传感器的全分辨率的分数。
5.根据权利要求1所述的方法，其中在对所述仅红色图像、所述仅绿色图像和所述仅蓝色图像进行上采样之前，还对所述单色图像进行上采样或插值，以提高所述单色图像的所述第四分辨率。
6.一种被配置为从较低分辨率稀疏颜色输入图像生成高分辨率全颜色输出图像的计算机系统，所述计算机系统包括：
7.根据权利要求6所述的计算机系统，其中所述多个单色像素大于所述一个或多个红色像素、所述一个或多个绿色像素和所述一个或多个蓝...
【专利技术属性】
技术研发人员：R·K·普里塞，M·布莱耶，C·D·埃德蒙兹，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。