遮挡关系的确定方法和装置制造方法及图纸

本发明专利技术实施例公开了一种遮挡关系的确定方法和装置，遮挡关系的确定方法包括：获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。本发明专利技术提供的方案能够通过简单的交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系的技术效果。系的技术效果。系的技术效果。

【技术实现步骤摘要】
遮挡关系的确定方法和装置


[0001]本专利技术涉及AR技术应用领域，尤其涉及一种遮挡关系的确定方法和装置。

技术介绍

[0002]增强现实技术是在现实的基础上叠加虚拟的内容从而增加现实场景的信息量或者改善现实场景的外观。但是直接的在现实的场景上叠加虚拟内容，很容易导致增强的场景更混乱，比如在有些应用场景，需要渲染的虚拟内容出现在某个/些人的后面，直接叠加虚拟内容一般会将人挡住，视觉体验反而造成了负面影响。一般的解决方案是通过语义分割或者深度恢复方法来进行场景理解，从而得到人或者其他物体的mask和深度值，从而进行遮挡的判定。
[0003]现有技术的缺点是每个物体都需要训练一个网络来进行分割，而且不能灵活的进行物体遮挡的判定，比如，画面里有两个人，如果只想其中一个人作为前景，另一个作为背景或者擦除。如果使用语义分割网络是达不到这种效果的，如果使用实例分割，可以得到每个人的mask，但是也需要其他的方法进行前景的选择。
[0004]针对由于现有技术在获取前后景的选取过程中运算量复杂，无法灵活获取前后景，从而准确进行遮挡关系的判定的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]为解决上述技术问题，本专利技术实施例期望提供一种遮挡关系的确定方法和装置，以至少解决由于现有技术在获取前后景的选取过程中运算量复杂，无法灵活获取前后景，从而准确进行遮挡关系的判定的问题。
[0006]本专利技术的技术方案是这样实现的：
[0007]本专利技术实施例提供一种遮挡关系的确定方法，包括：获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。
[0008]可选的，选取动作包括：点击、画框、划线、输入文本或语音。
[0009]进一步地，可选的，依据选取动作生成提示信息包括：在选取动作为点击的情况下，获取点击的点位置坐标，依据点位置坐标生成提示信息。
[0010]可选的，依据选取动作生成提示信息包括：在选取动作为画框的情况下，获取画框的顶点坐标，依据顶点坐标生成提示信息。
[0011]可选的，依据选取动作生成提示信息包括：在选取动作为划线的情况下，通过预设采样规则采集划线的点集合，依据点集合生成提示信息。
[0012]可选的，依据选取动作生成提示信息包括：在选取动作为语音的情况下，将语音进行转换，得到对应语音的文字；依据文字生成提示信息。
[0013]可选的，将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系包括：将提示信息和图像输入分割网络进行分割，得到空间中前景的掩膜值；
依据前景的掩膜值确定背景；依据前景和背景，得到前景与背景之间的遮挡关系。
[0014]进一步地，可选的，该方法还包括：在AR终端上通过选取动作依据时间序列获取第一图像和第二图像的情况下，在获取到第一图像中前景与背景的遮挡关系后，依据第一图像中前景的掩膜值生成第二图像的提示信息，依据第二图像的提示信息和第二图像通过分割网络进行分割，得的第二图像中的前景与背景之间的遮挡关系。
[0015]本专利技术实施例提供一种遮挡关系的确定装置，包括：获取模块，用于获取用户在AR终端上的选取动作以及选取动作选取的图像；信息生成模块，用于依据选取动作生成提示信息；分割模块，用于将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。
[0016]可选的，选取动作包括：点击、画框、划线、输入文本或语音。
[0017]本专利技术实施例提供了一种遮挡关系的确定方法和装置，通过获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。从而能够通过简单的交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系的技术效果。
附图说明
[0018]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0019]图1为本专利技术实施例提供的一种遮挡关系的确定方法的流程示意图；
[0020]图2为本专利技术实施例提供的另一种遮挡关系的确定方法中的示意图；
[0021]图3为本专利技术实施例提供的一种遮挡关系的确定方法中获取多帧图的遮挡关系的示意图；
[0022]图4为本专利技术实施例提供的一种遮挡关系的确定装置的示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0024]需要说明的是，本专利技术的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
[0025]还需要说明是，本专利技术下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本专利技术实施例对此不作具体限制。
[0026]本专利技术实施例提供一种遮挡关系的确定方法，图1为本专利技术实施例提供的一种遮挡关系的确定方法的流程示意图；如图1所示，应用于AR设备中，本申请实施例提供的遮挡关系的确定方法包括：
[0027]步骤S102，获取用户在AR终端上的选取动作以及选取动作选取的图像；
[0028]可选的，选取动作包括：点击、画框、划线、输入文本或语音。
[0029]步骤S104，依据选取动作生成提示信息；
[0030]进一步地，可选的，依据选取动作生成提示信息包括：在选取动作为点击的情况下，获取点击的点位置坐标，依据点位置坐标生成提示信息。
[0031]可选的，依据选取动作生成提示信息包括：在选取动作为画框的情况下，获取画框的顶点坐标，依据顶点坐标生成提示信息。
[0032]可选的，依据选取动作生成提示信息包括：在选取动作为划线的情况下，通过预设采样规则采集划线的点集合，依据点集合生成提示信息。
[0033]可选的，依据选取动作生成提示信息包括：在选取动作为语音的情况下，将语音进行转换，得到对应语音的文字；依据文字生成提示信息。
[0034]步骤S106，将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。
[0035]可选的，将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系包括：将提示信息和图像输入分割网络进行分割，得到空间中前景的掩膜值；依据前景的掩膜值确定背景；依据前景和背景，得到前景与背景之间的遮挡关系。
[0036]综上，结合步骤S102至步骤S106，图2为本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遮挡关系的确定方法，其特征在于，包括：获取用户在AR终端上的选取动作以及所述选取动作选取的图像；依据所述选取动作生成提示信息；将所述提示信息和所述图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。2.根据权利要求1所述的遮挡关系的确定方法，其特征在于，所述选取动作包括：点击、画框、划线、输入文本或语音。3.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：在所述选取动作为点击的情况下，获取点击的点位置坐标，依据所述点位置坐标生成所述提示信息。4.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：在所述选取动作为画框的情况下，获取所述画框的顶点坐标，依据所述顶点坐标生成所述提示信息。5.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：在所述选取动作为划线的情况下，通过预设采样规则采集所述划线的点集合，依据所述点集合生成所述提示信息。6.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：在所述选取动作为语音的情况下，将所述语音进行转换，得到对应所述语音的文字；依据所述文字生成所述提示信息。7...

【专利技术属性】
技术研发人员：陈志国，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：