用于显示图像流的系统和方法技术方案

本发明专利技术公开了用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)(44,I0,I)的方法，其中观看显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)被确定，并且显示区域(46)内围绕关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)被确定。图像流(44,I0,I)中的第一图像(44,I)显示在显示区域(46)中，使得第一图像(44,I)的显示在第一区域(48；A1,A2,A3,A4)中的第一部分(50)根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像(44,I)的图像特征相关，并且第一图像(44,I)的显示在第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分(52)根据至少一个参数的第二参数值而显示。此外，确定关注点(POR；POR1,POR2,PORn)被执行为依赖于至少一个图像相关分析的至少一个结果(42,68,54)，预测显示第一图像(44,I)的某个未来时间点(T)的关注点(POR；POR1,POR2,PORn)。

【技术实现步骤摘要】
【国外来华专利技术】用于显示图像流的系统和方法本专利技术涉及用于随后在显示设备的显示区域中显示图像流的系统和方法，其中观看显示区域的用户的关注点被确定，并且显示区域内围绕所确定的关注点的第一区域被确定。此外，图像流中的第一图像显示在显示区域中，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。在计算机生成图形的领域，已知的是通过渲染以场景数据形式提供的场景来创建图像。场景可包括虚拟2D或3D模型，其以对象、几何形状、视点、纹理、照明和着色信息作为虚拟场景的描述。渲染的场景随后可呈现为图像。从现有技术中还已知的是进行所谓的中央凹渲染，其中用户的关注点或感兴趣区域被确定，并且围绕该关注点以高分辨率渲染场景并且在其他地方以较低分辨率渲染场景。此处，分辨率将为以上提到的至少一个参数的示例，该至少一个参数的值确定图像特征。随后使用显示器的下一更新来显示由此渲染的场景。由于延迟时间，如计算关注点所需的时间，尤其是渲染场景所用的时间，因此可能发生的是到显示器更新时，用户正观看其他地方并且该区域或其一部分未被正确渲染，例如未用足够的细节渲染，因为凝视已移离初始计算的关注点。因此，本专利技术的目的是提供用于显示图像流的系统和方法，其可对具有依赖于关注点的不同图像特征的区域的显示提供改进。该目的通过具有根据独立权利要求的特征的系统和方法而解决。在从属权利要求中给出了本专利技术的有利实施方案。根据本专利技术的第一方面，用于随后在显示设备的显示区域中显示图像流的方法包括：a)确定观看显示区域的用户的关注点；b)确定显示区域内围绕所确定的关注点的第一区域；c)在显示区域中显示图像流中的第一图像，使得第一图像的显示在第一区域中的第一部分根据至少一个参数的第一参数值而显示，该至少一个参数与第一图像的图像特征相关，并且第一图像的显示在第一区域之外的至少一个第二区域中的第二部分根据至少一个参数的第二参数值而显示。此外，在a)中，确定关注点被执行为，依赖于至少一个图像相关分析的至少一个结果来预测显示第一图像的某个未来时间点的关注点。有利地，通过预测关注点，可预报在显示第一图像的某个时间点的关注点的位置。这样便可以实现：依赖于所预测的关注点而确定的具有较高概率的第一区域符合在显示第一图像时围绕实际关注点的区域。关注点的这种预测不仅可针对渲染的计算机图形来使用，而且可针对非计算机生成图像如视频记录来使用。然而，尤其对于计算机生成图形而言可实现这些优点，计算机生成图形需要很多时间来渲染场景。当眼睛移动到不同位置时，可用于更新屏幕的时间的估计值小于4ms，此时用户应该无法识别。因此，凝视预测或关注点预测有利地提前预见以获得更多时间来渲染待凝视的目标的屏幕更新。与第一图像的图像特征相关的至少一个参数可涉及分辨率。例如，在第一区域中，可用较高分辨率显示该图像，并且在至少一个第二区域中，可用较低分辨率显示该图像。除此之外或另选地，至少一个参数还可涉及亮度、颜色饱和度、或尤其是相对于计算机生成图形而言的细节水平。因此例如同心围绕所预测的关注点(或也称为中央凹点)的区域可使用从关注点向外的方向上递减的分辨率渲染。另外，至少一个第一图像的周边区域如至少一个第二区域在附加维度上可减小，这意指除分辨率之外的维度，如颜色、运动，例如抗混叠、着色器的应用、复杂性、光的计算、纹理、多边形数等等。还可以考虑重新使用先前渲染的图像或仅渲染一半背景、镜射背景及镜射渲染的背景。另外，可重新使用来自周边中的先前帧的信息，如根据新位置和取向使来自先前帧的图像变形，并且仅渲染或刷新中央凹区域，即围绕所预测的关注点的第一区域，或仅执行部分变形。因此通过所有这些参数，可提供第一区域内和第一区域之外的不同图像特征，尤其是使得图像以高得多的质量、细节水平等等在第一区域中呈现，并且可节省很多计算时间，也可节省功率，因为第一区域之外的图像的部分以较低质量、较少细节、较小分辨率显示或完全不显示。此外，当预测关注点时，不仅可预测单一关注点，而且可预测至少一个关注点，例如若干关注点也可被预测为最终关注点的可能候选项，例如，具有相应概率在某个未来时间点最终匹配真实关注点。这可尤其在考虑一个或多个图像流的图像内容、尤其是还有未来图像内容如待显示的第一图像的图像内容时进行，该图像内容随后将更详细解释。因此，还可确定若干第一区域，例如，每个所预测的关注点的一个第一区域，或最终关注点的每个可能候选项的一个第一区域。这些若干第一区域可重叠或者也可在空间上分开，例如，每一者在相应第一区域的中心具有一个所预测的关注点。此外，除了执行对某个未来时间点的关注点的预测之外，也可例如基于当前捕获的凝视数据来计算当前关注点，并且显示区域内围绕所确定的当前关注点的第二区域被确定。该第二区域随后可与第一区域类似地显示，即，根据至少一个参数的第一参数值，也就是以较高分辨率、细节水平等等显示。根据情况，第二区域和第一区域可重叠，在空间上分开或也为相同的，具体取决于所确定的当前关注点与某个未来时间点的所预测的关注点的位置差异。因此，也可以有利地利用确切知道的数据或至少具有高精度的数据，也就是当前关注点。如果在某些情形下只可以极为不准确地确定某个未来时间点的所预测的关注点，则基于当前关注点的第二区域提供良好回退位置。对于预测关注点而言，存在若干可能性，这些可能性也可以任何任意方式组合。根据本专利技术的最优选的实施方案，这些可能性包括一方面通过眼睛跟踪数据分析而对关注点的预测，该眼睛跟踪数据分析基于用户的至少一只眼睛所捕获的眼睛图像，并且另一方面基于所显示的图像或待显示的图像的图像内容，如基于场景中或图像中的显著点和/或基于场景或图像中的语义内容，并且这些将在下文更详细解释。因此，根据本专利技术的有利实施方案，至少一个图像相关分析涉及对基于用户的至少一只眼睛的眼睛图像而捕获的凝视数据的分析，和/或对图像流中的至少一个图像的图像内容的分析。凝视模式以及图像内容有利地提供有关用户可能打算观看何处或至少在什么区域中观看的信息。优选地，关注点的预测与显示第一图像的某个未来时间点之间的时间是实时的，或至少在帧渲染开始时是可用的。优选地，凝视终点的精细化预测在整个渲染过程中也是可用的。基于凝视数据和/或图像内容，至少在此处考虑的时间标度下可以非常可靠地预报关注点，这些时间标度在毫秒范围内，如在某个时间点前1至100ms进行预报。通常图像速率为约90Hz，因此渲染新图像所用的时间(如果未在前一图像显示之前开始新图像的渲染)为约11ms。因此，至多11ms的预测甚至足以确定某个未来时间点处的关注点。根据本专利技术的有利实施方案，预测关注点包括：d)捕获用户的至少一只眼睛的凝视数据；e)由所捕获的凝视数据来确定至少一只眼睛的眼睛参数；f)随后在某个未来时间点之前执行d)和e)若干次；以及g)依赖于作为至少一个结果的若干次确定的眼睛参数来预测某个未来时间点的关注点。眼睛参数可为例如凝视方向或凝视点，如当前关注点。因此有利地，可分析凝视模式，尤其是作为至少一个图像相关分析，并且基于该分析，可针对某个未来时间点预测关注点。尤其是，本文档来自技高网...

【技术保护点】
一种用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)(44,I0,I)的方法，包括：a)确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；b)确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；c)在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分(50)根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分(52)根据所述至少一个参数的第二参数值而显示；其特征在于，在a)中，所述确定所述关注点(POR；POR1,POR2,PORn)被执行为依赖于至少一个图像相关分析的至少一个结果(42,68,54)，预测显示所述第一图像(44,I)的某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)。...

【技术特征摘要】
【国外来华专利技术】2015.08.07 EP 15180286.51.一种用于随后在显示设备(32)的显示区域(46)中显示图像流(44,I0,I)(44,I0,I)的方法，包括：a)确定观看所述显示区域(46)的用户(40)的关注点(POR；POR1,POR2,PORn)；b)确定所述显示区域(46)内围绕所确定的关注点(POR；POR1,POR2,PORn)的第一区域(48；A1,A2,A3,A4)；c)在所述显示区域(46)中显示所述图像流(44,I0,I)中的第一图像(44,I)，使得所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)中的第一部分(50)根据至少一个参数的第一参数值而显示，所述至少一个参数与所述第一图像(44,I)的图像特征相关，并且所述第一图像(44,I)的显示在所述第一区域(48；A1,A2,A3,A4)之外的至少一个第二区域中的第二部分(52)根据所述至少一个参数的第二参数值而显示；其特征在于，在a)中，所述确定所述关注点(POR；POR1,POR2,PORn)被执行为依赖于至少一个图像相关分析的至少一个结果(42,68,54)，预测显示所述第一图像(44,I)的某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)。2.根据权利要求1所述的方法，其特征在于，所述至少一个图像相关分析涉及对基于所述用户(40)的至少一只眼睛(10)的眼睛图像而捕获的凝视数据的分析，以及/或者对所述图像流中的至少一个图像的图像内容(54)的分析。3.根据前述权利要求中的任一项所述的方法，其特征在于，所述预测所述关注点(POR；POR1,POR2,PORn)包括：d)捕获所述用户(40)的至少一只眼睛(10)的凝视数据；e)由所捕获的凝视数据来确定所述至少一只眼睛(10)的眼睛参数(42,68)；f)随后在所述某个未来时间点(T)之前执行d)和e)若干次；g)依赖于作为所述至少一个结果(42,68,54)的若干确定的眼睛参数(42,68)来预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)。4.根据权利要求3所述的方法，其特征在于，基于所述若干确定的眼睛参数(42,68)确定所述至少一只眼睛的特征眼睛移动，其中所述特征眼睛移动被分类为以下各项中的一者：-静态固定；-连续移动固定；或-扫视；其中依赖于所确定的特征眼睛移动确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)。5.根据权利要求4所述的方法，其特征在于，依赖于所确定的特征眼睛移动确定所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)，使得依赖于所确定的特征计算所述关注点(POR；POR1,POR2,PORn)的特征未来运动路径(70)，并且基于所述特征未来运动路径(70)针对所述某个未来时间点(T)确定所述关注点(POR；POR1,POR2,PORn)的位置。6.根据前述权利要求中的任一项所述的方法，其特征在于，依赖于作为所述至少一个结果(42,68,54)的图像内容(54)和/或所述图像流(44,I0,I)中的所述至少一个图像的所述图像内容(54)的上下文执行所述关注点(POR；POR1,POR2,PORn)的预测。7.根据前述权利要求中的任一项所述的方法，其特征在于，所述图像流(44,I0,I)中的每个图像是通过渲染至少一个场景(65)而生成的计算机生成的图形。8.根据权利要求6或7所述的方法，其特征在于，为了依赖于图像内容(54)来预测所述关注点(POR；POR1,POR2,PORn)，针对限定的显著点(54)的存在来分析所述图像(44,I0,I)中的至少一个图像中呈现或待呈现的所述场景，所限定的显著点尤其是包括以下各项的点：-所述场景中的对象的拐角和/或边缘；-至少一种预定义警示颜色；-后续图像(44,10,I)之间的颜色变化；-突发；-运动，尤其是所述场景中的对象，这移动，即改变，其相对于至少两个后续图像(44,10,I)的位置，特别是相对于所述场景中的至少另一个对象的位置；其中如果所述显著点(54)中的至少一个显著点被找到，则依赖于所述至少一个找到的显著点(54)针对所述某个未来时间点(T)预测所述关注点(POR；POR1,POR2,PORn)，所述至少一个显著点在显示时在用于呈现所述场景的所述图像(44,10,I)中的所述至少一个图像中可见。9.根据权利要求2至8中的任一项所述的方法，其特征在于，为了依赖于所述图像内容(54)的所述分析和所述凝视数据的所述分析的所述至少一个结果(42,68,54)来预测所述关注点(POR；POR1,POR2,PORn)，基于所述图像内容(54)限定最终预测的所述关注点(POR；POR1,POR2,PORn)的一个或多个可能候选项，其中为所述一个或多个候选项中的每个候选项分配所述用户在所述某个未来时间点(T)的实际关注点匹配相应所述候选项的概率，从而构成概率图，其中依赖于所述凝视数据的所述分析修改所述概率图的所述概率至少一次。10.根据权利要求9所述的方法，其特征在于，基于所述凝视数据确定所述某个未来时间点(T)的第一预测的关注点，并且依赖于所述第一预测的关注点的位置和所述相应候选项的位置之间的差异修改所述概率图。11.根据权利要求9或10中的任一项所述的方法，其特征在于，具有经修改的概率图的最高概率的候选项被确定为所述某个未来时间点(T)的所述预测的关注点(POR；POR1,POR2,PORn)，并且/或者所述第一区域(48；A1,A2,A3,A4)被确定为使得概率高于预定义阈值的所有候选项在所述第一区域(48；A1,A2,A3,A4)内。12.根据权利要求2至8中的任一项所述的方法，其特征在于，依赖于分析至少一个第二用户的凝视数据的结果构成和/或修改所述概率图，所述至少一个第二用户之前已观看所述图像流中的至少一个图像，尤其是包括所述第一图像(44,I)。13.根据权利要求2至12中的任一项所述的方法，其特征在于，所述图像内容(54)至少涉及所述第一图像(44,1)。14.根据权利要求6至8中的任一项所述的方法，其特征在于，为了依赖于所述图像内容(54)的所述上下文来预测所述关注点(POR；POR1,POR2,PORn)，得出所述场景的至少一个语义信息，尤其是其中所述语义信息包括有关使得吸引所述用户(40)的至少一只眼睛(10)的对象的行为和/或对象的含义的信息。15.根据前述权利要求中的任一项所述的方法，其特征在于，在b)中，所述第一区域(48；A1,A2,A3,A4)的尺寸和/或形状依赖于影响所述用户对所述第一图像(44,I)的感知的至少一个第一调节参数而动态地改变。16.根据前述权利要求中的任一项所述的方法，其特征在于，在显示所述第一图像(44,I)之前，通过执行若干后续渲染步骤(S1,S2,S3)渲染所述第一图像(44,I)的所述场景，其中在每个渲染步骤(S1,S2,S3)中依赖于至少一个第二调节参数调整所述第一区域(48；A1,A2,A3,A4)的尺寸和/或位置，其中仅针对当前调整的第一区域(48；A1,A2,A3,A4)执行所述执行的渲染步骤(S1,S2,S3)中的每个步骤。17.根据前述权利要求中的任一项所述的方法，其特征在于，当预测所述某个未来时间点(T)的所述关注点(POR；POR1,POR2,PORn)时，确定不确定性值，所述不确定性值表示所述预测的关注点(POR；POR1,POR2,PORn)的位置与在所述某个未来时间点(T)的实际关注点(POR；POR1,POR2,PORn)的位置匹配的不确定性，其中所述不确定性值在所述某个未来时间点(T)之前被确定若干次，其中依赖于作为所述至少一个第二调节参数的所述最新确定的不确定性值调整所述第一区域(48；A1,A2,A3,A4)，特别是所述第一区域(48；A1,A2,A3,A4)的尺寸。18.根据权利要求16或17中的任一项所述的方法，其特征在于，依赖于作为所述至少一个第二调节参数的所述概率图调整所述第一区域(48；A1,A2,A3,A4)。19.根据前述权利要求中的任一项所述的方法，其特征在于，当预测所述关注点(POR；POR1,POR2,PORn)时，进行对所述某个未来时间点(T)的所述...

【专利技术属性】
技术研发人员：E·施密特，T·辛格劳德，C·菲尔沃克，
申请(专利权)人：SMI创新传感技术有限公司，
类型：发明
国别省市：德国,DE