一种语义驱动的混合现实场景下的虚拟宠物行为生成方法技术

本发明专利技术提供一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，首先通过数据驱动的方法，采集真实宠物的行为序列，基于采集的行为序列，采用机器学习的方法，建立真实宠物的行为模型；相比于现有技术中的宠物行为模型、手工建立的固定模型或是采用随机生成行为的方法，本发明专利技术可以更好地模拟真实宠物的行为，提高了所产生的虚拟宠物行为的真实性；其次，本发明专利技术以现实世界中的场景作为输入，以计算机视觉的方法识别场景的语义信息和几何信息，并在此基础上生成宠物行为，相比于现有技术对场景的语义信息使用不够全面，只能在固定位置作一些交互，本发明专利技术可以让虚拟宠物更好的和场景相结合，使虚拟宠物更加智能。

【技术实现步骤摘要】
一种语义驱动的混合现实场景下的虚拟宠物行为生成方法
本专利技术属于虚拟现实及人机交互
，尤其涉及一种语义驱动的混合现实场景下的虚拟宠物行为生成方法。
技术介绍
随着增强现实和混合现实技术的发展，虚拟宠物成为替代真实宠物的一种途径出现在人们的生活中。在与虚拟宠物的互动中，用户可以得到与真实宠物互动相似的愉悦感，又可以避免喂养真实宠物的麻烦。混合现实场景下的虚拟宠物可以让用户与虚拟宠物进行具有真实体验感的交互。近年来，随着混合现实技术的发展，用户对虚拟宠物交互体验的期望越来越高。在混合现实环境中，高沉浸感的特点给虚拟宠物系统带来了新的挑战，要求虚拟宠物的行为更具真实感。基于位置的移动虚拟宠物系统及其方法是目前为数不多的使用基于场景语义进行宠物行为生成的方法。该方法通过给虚拟宠物赋予现实世界中的位置，来进行虚拟宠物与用户的互动。基于位置的虚拟宠物系统在服务器上运行，通过网络连接到多个移动设备。虚拟宠物系统的客户端部署在可定位的移动通讯设备上，虚拟宠物系统定位用户的移动设备位置，根据启发式规则生成虚拟宠物在对应位置上应有的行为。但该方案仅仅使用了移动设备所在的位置信息，没有提取真实场景的语义信息；对于虚拟宠物的行为生成使用了关于虚拟宠物位置的启发式规则，这导致所生成的虚拟宠物行为缺乏细节、不够自然。由此可见，目前的混合现实场景下的虚拟宠物行为生成方法没有考虑场景的语义，所生成的虚拟宠物的行为不能反映真实宠物的行为模式，使得用户的交互体验不够自然。具体为：1)所生成的虚拟宠物的行为序列不够自然。很多虚拟宠物行为生成方法通过生成固定的行为序列来手动定义宠物行为。例如，虚拟的小猫总是在吃完饭后睡觉。这些固定的行为序列通常是重复和单调的。还有一些方法是生成一些随机的行为序列，而随机生成的行为序列与真实宠物的行为模式存在较大的差别，会导致用户与虚拟宠物的交互体验不够自然。2)虚拟宠物在真实场景中的行为不够真实。混合现实的关键特征是将虚拟世界与现实世界融合在一起。在现有的应用中，例如HoloPet，虚拟宠物通常被直接放置在用户面前，而没有考虑真实场景的情况。虚拟宠物可能会漂浮在空中，导致用户体验的不自然。另一种方式是将虚拟宠物放置在用户指定的表面上。在不考虑真实场景中周围环境语义的情况下，虚拟宠物被限制在指定的区域内行动，使得用户无法像与真实宠物交互那样进行灵活自然的交互。
技术实现思路
为解决上述问题，本专利技术提供一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，可以生成与真实宠物行为模式一致的虚拟宠物行为序列，使得虚拟宠物在真实场景中的行为更加真实，用户体验更好。一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，应用于混合现实头戴式显示器，所述方法包括以下步骤：S1：使用训练好的宠物行为模型生成虚拟宠物的行为序列S＝{s1,s2,…,sn…,sN}，其中，n＝1,2,…,N，N为设定的行为数量，且s1～sN为虚拟宠物可能发生的各个行为；S2：采用MaskR-CNN法从待生成虚拟宠物的真实场景二维图像中检测并分割出相关物体，并将相关物体的数量记为I，其中，所述相关物体为虚拟宠物各行为可能的发生位置，且虚拟宠物的每一个行为均至少对应一个相关物体，同时，所述真实场景二维图像由混合现实头戴式显示器内置的相机拍摄得到；S3：利用投影矩阵法将真实场景二维图像转换为混合现实头戴式显示器坐标系下的三维场景，得到相关物体的三维坐标；S4：将三维场景中各相关物体的表面进行网格划分，然后分别将行为序列s中的各行为作为当前行为执行位置获取操作，得到行为序列s中各行为的发生位置序列L＝{l1,l2,…,ln,…,lN}，其中，ln为行为sn对应的最终发生位置，且所述位置获取操作包括以下步骤：S41：获取当前行为sn发生在各个相关物体上的先验概率：其中，θn(i)为第n个行为sn发生在第i个相关物体上先验概率，i＝1,2,…,I，fn(i)为第n个行为sn在第i个相关物体上发生的频率，o0为虚拟宠物的当前位置，oi是第i个相关物体的位置，D(o0,oi)为虚拟宠物与第i个相关物体之间的欧氏距离，dmax为真实场景中各相关物体之间的最大距离；S42：将当前行为发生在各个相关物体上的先验概率进行归一化，然后按照归一化后的先验概率将区间[0,1]划分为多个子区间，且每个子区间对应一个相关物体；S43：获取一个随机数，然后将该随机数落入的子区间对应的相关物体作为当前行为的最终发生物体；S44：在最终发生物体上随机选取一个网格单元，作为当前行为的最终发生位置，并将该网格单元的三维坐标记为ln；S5：以最小的路径成本获取发生位置序列L中任意两个相邻的最终发生位置ln与ln+1之间的路径，使得虚拟宠物在位置ln完成行为sn后再移动到位置ln+1完成行为sn+1，实现虚拟宠物的行为生成。进一步地，步骤S1中所述宠物行为模型的训练方法为：S11：通过在真实环境中安装的摄像机拍摄真实宠物的日常行为，得到真实宠物的真实行为数据；S12：根据所述真实行为数据构建真实宠物的行为序列，其中，所述真实宠物的行为序列表示真实宠物发生的不同类别行为的顺序；S13：以真实宠物的行为序列作为输入，真实宠物的行为序列中最后一个行为的下一个行为作为输出对长短时记忆网络进行训练，得到宠物行为模型。进一步地，所述虚拟宠物的行为序列S＝{s1,s2,…,sn…,sN}的生成方法为：将随机获取的一个初始行为序列输入训练好的宠物行为模型中，输出初始行为序列中最后一个行为的下一个行为s1；剔除初始行为序列中的第一个行为，并将行为s1作为初始行为序列的最后一个行为，完成行为序列的更新；将更新后的行为序列输入训练好的宠物行为模型中得到行为s2；以此类推，直到输出行为sN，得到虚拟宠物的行为序列S。进一步地，步骤S5中所述以最小的路径成本获取发生位置序列L中任意两个相邻的最终发生位置ln与ln+1之间的路径具体为：S51：将位置ln所在的网格单元及其邻域内的八个网格单元加入网格备选集中，并将八个网格单元的父节点记为位置ln所在的网格单元；然后将位置ln所在的网格单元从网格备选集中删除，加入网格已选集中；S52：将位置ln所在的网格单元作为中心网格单元，然后分别获取网格备选集中各网格单元的成本Ctotal(m)：Ctotal(m)＝λgCg(m)+λsCs(m)+λhCh(m)Cg(m)＝λ1Ht(m)+λ2Hc(m)其中，λg、λs以及λh为设定权重，Cg(m)为网格单元m的几何成本，Cs(m)为中心网格单元到网格单元m的路径成本，Ch(m)为网格单元m到位置ln+1所在的网格单元的路径成本，Ht(m)为网格单元m的高度，Hc(m)为中心网格单元邻域内的八个网格单元的平均高度，λ1和λ2为设定权重；S53：获取网格备选集中成本Ctotal(m)最小的网格单元G本文档来自技高网...

【技术保护点】
1.一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，应用于混合现实头戴式显示器，其特征在于，所述方法包括以下步骤：/nS1：使用训练好的宠物行为模型生成虚拟宠物的行为序列S＝{s

【技术特征摘要】
1.一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，应用于混合现实头戴式显示器，其特征在于，所述方法包括以下步骤：
S1：使用训练好的宠物行为模型生成虚拟宠物的行为序列S＝{s1，s2，...，sn...，sN}，其中，n＝1，2，...，N，N为设定的行为数量，且s1～sN为虚拟宠物可能发生的各个行为；
S2：采用MaskR-CNN法从待生成虚拟宠物的真实场景二维图像中检测并分割出相关物体，并将相关物体的数量记为I，其中，所述相关物体为虚拟宠物各行为可能的发生位置，且虚拟宠物的每一个行为均至少对应一个相关物体，同时，所述真实场景二维图像由混合现实头戴式显示器内置的相机拍摄得到；
S3：利用投影矩阵法将真实场景二维图像转换为混合现实头戴式显示器坐标系下的三维场景，得到相关物体的三维坐标；
S4：将三维场景中各相关物体的表面进行网格划分，然后分别将行为序列s中的各行为作为当前行为执行位置获取操作，得到行为序列s中各行为的发生位置序列l＝{l1，l2，...，ln，...，lN}，其中，ln为行为sn对应的最终发生位置，且所述位置获取操作包括以下步骤：
S41：获取当前行为sn发生在各个相关物体上的先验概率：



其中，θn(i)为第n个行为sn发生在第i个相关物体上先验概率，i＝1，2，...，I，fn(i)为第n个行为sn在第i个相关物体上发生的频率，O0为虚拟宠物的当前位置，Oi是第i个相关物体的位置，D(O0，Oi)为虚拟宠物与第i个相关物体之间的欧氏距离，dmax为真实场景中各相关物体之间的最大距离；
S42：将当前行为发生在各个相关物体上的先验概率进行归一化，然后按照归一化后的先验概率将区间[0，1]划分为多个子区间，且每个子区间对应一个相关物体；
S43：获取一个随机数，然后将该随机数落入的子区间对应的相关物体作为当前行为的最终发生物体；
S44：在最终发生物体上随机选取一个网格单元，作为当前行为的最终发生位置，并将该网格单元的三维坐标记为ln；
S5：以最小的路径成本获取发生位置序列L中任意两个相邻的最终发生位置ln与ln+1之间的路径，使得虚拟宠物在位置ln完成行为sn后再移动到位置ln+1完成行为sn+1，实现虚拟宠物的行为生成。


2.如权利要求1所述的一种语义驱动的混合现实场景下的虚拟宠物行为生成方法，其特征在于，步骤S1中所述宠物行为模型的训练方法为：
S11：通过在真实环境中安装的摄像机拍摄真实宠物的日常行为，得到真实宠物的真实行为数据；
S12：根据所述真实行为数据构建真实宠物的行为序列，其中，所述真实宠物的行为序列表示真实宠物发生的不同类别行为的顺序；
S13：以真实宠物的行为序列作为输入，真实宠物的行为序列中最后一个行为的下一个行为作为输...

【专利技术属性】
技术研发人员：梁玮，于馨喆，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11