一种基于混合现实的远程标注方法、终端及系统技术方案

本发明专利技术提出了一种基于混合现实的远程标注方法、终端及系统，获取二维标注数组；将获取二维标注数组转化为三维坐标数组；根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注；本发明专利技术提出的方法及系统，能在Hololens端和PC端等其他设备之间实现远程混合现实标注，并且具有较高的准确度。并且具有较高的准确度。并且具有较高的准确度。

A remote annotation method, terminal and system based on hybrid reality

【技术实现步骤摘要】
一种基于混合现实的远程标注方法、终端及系统


[0001]本专利技术属于远程标注
，尤其涉及一种基于混合现实的远程标注方法、终端及系统。

技术介绍

[0002]在工作和生活中，当人们遇到问题时可能会进行远程协助，但是需要进行操作的物体往往处在比较复杂的现实环境中，如果依赖传统的视频交互方式只能观看单方面视角，无法使用肢体语言，难以用语言方式描述现实物体的环境及其所在的位置，并且使用肉眼观看并描述现实物体位置的位置容易造成误差。
[0003]专利技术人发现，传统的视频交互方式只能观看单方面视角，无法使用肢体语言，难以用语言方式描述现实物体的环境及其所在的位置，不能精确的在协助端(PC端)和受协助端(Hololens端)的设备之间实现远程标注，准确度较低。

技术实现思路

[0004]本专利技术为了解决上述问题，提出了一种基于混合现实的远程标注方法、终端及系统，本专利技术提出的方法能在Hololens端和PC端等其他设备之间实现远程混合现实标注，并且具有较高的准确度。
[0005]为了实现上述目的，第一方面，本专利技术提供了一种基于混合现实的远程标注方法，采用如下技术方案：
[0006]一种基于混合现实的远程标注方法，包括：
[0007]获取二维标注数组；
[0008]将获取二维标注数组转化为三维坐标数组；
[0009]根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注。
[0010]进一步的，获取二维标注数组时，使用线渲染器和反插值算法进行二维标注。
[0011]进一步的，两数y1，y2之间的插值lerp为：lerp＝y1+(y2‑
y1)*weighy；
[0012]其中，weight是一个在区间[0，1]的实数，反插值算法即利用已知插值lerp和两数y1，y2求出weight的值
[0013]进一步的，鼠标每一帧的屏幕空间坐标被自动捕获保存到存储坐标数组中，并增加一个点数；同时每一帧将坐标数组中的后两位坐标构成一个新的坐标数组，后两位坐标为(point1，point2)；循环多次，每一次循环使0作为y1，3作为y2，0作为插值，求出weight的值，补充坐标＝(1
‑
weight)*point1+weight*points2，将补充坐标加入到一个新的坐标数组，同时使插值值加1进入下一次循环，循环多次后结束会得到2个两点之间补充坐标和原
来的两个坐标点，将得到的坐标每个点之间进行连接得到一个平滑的曲线，直到协助端结束标注。
[0014]进一步的，将获取二维标注数组转化为三维坐标数组时，将屏幕二维坐标数组转化为距离受协助端使用对象画面相同处的三维坐标数组，化为距离受协助端使用对象画面相同处的三维坐标数组，
[0015]其中，x
m
为所有坐标的x轴的和，y
m
为所有坐标的y轴的和，z
m
为所有坐标的z轴的和，m为坐标的个数。
[0016]为了实现上述目的，第二方面，本专利技术还提供了一种基于混合现实的远程标注终端，采用如下技术方案：
[0017]一种基于混合现实的远程标注终端，至少包括处理器，所述处理器被配置为：
[0018]获取二维标注数组；
[0019]将获取二维标注数组转化为三维坐标数组；
[0020]根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注。
[0021]进一步的，所述标注终端为受协助终端，与其他协助终端通过远程服务器连接；发起视频语音通话邀请时，所述远程服务器把所述标注终端的令牌与所述受协助终端的令牌拉入同一房间，并向双方发送对方的互联网协议地址与端口，使所述协助端与所述受协助端建立用户数据报协议。
[0022]为了实现上述目的，第三方面，本专利技术还提供了一种基于混合现实的远程标注系统，采用如下技术方案：
[0023]一种基于混合现实的远程标注系统，包括：
[0024]远程服务器，以及与其连接的至少一个协助终端和至少一个受协助终端；
[0025]所述受协助终端为标注终端，与其他协助终端通过远程服务器连接；发起视频语音通话邀请时，所述远程服务器把所述标注终端的令牌与所述受协助终端的令牌拉入同一房间，并向双方发送对方的互联网协议地址与端口，使所述协助端与所述受协助端建立用户数据报协议；
[0026]所述标注模块，被配置为：根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注。
[0027]为了实现上述目的，第四方面，本专利技术还提供了一种基于混合现实的远程标注系统，采用如下技术方案：
[0028]一种基于混合现实的远程标注系统，包括数据采集模块、转换模块和标注模块；
[0029]所述数据采集模块，被配置为：获取二维标注数组；
[0030]所述转换模块，被配置为：将获取二维标注数组转化为三维坐标数组；
[0031]所述标注模块，被配置为：根据三维坐标数组中所有坐标各个方向上的和，求出重
心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注。
[0032]为了实现上述目的，第五方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于混合现实的远程标注方法的步骤。
[0033]为了实现上述目的，第六方面，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于混合现实的远程标注方法的步骤。
[0034]与现有技术相比，本专利技术的有益效果为：
[0035]本专利技术中将收到的二维坐标数组转化为距离受协助端使用对象画面相同处的三维坐标数组，求出重心坐标，利用重心坐标发出一条射线，射线碰撞到的物体即为所要标注的物体，将碰撞点坐标和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实的远程标注方法，其特征在于，包括：获取二维标注数组；将获取二维标注数组转化为三维坐标数组；根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注。2.如权利要求1所述的一种基于混合现实的远程标注方法，其特征在于，获取二维标注数组时，使用线渲染器和反插值算法进行二维标注。3.如权利要求2所述的一种基于混合现实的远程标注方法，其特征在于，两数y1，y2之间的插值lerp为：lerp＝y1+(y2‑
y1)*weight；其中，weight是一个在区间[0，1]的实数，反插值算法即利用已知插值lerp和两数y1，y2求出weight的值4.如权利要求3所述的一种基于混合现实的远程标注方法，其特征在于，鼠标每一帧的屏幕空间坐标被自动捕获保存到存储坐标数组中，并增加一个点数；同时每一帧将坐标数组中的后两位坐标构成一个新的坐标数组，后两位坐标为(point1，point2)；循环多次，每一次循环使0作为y1，3作为y2，0作为插值，求出weight的值，补充坐标＝(1
‑
weight)*point1+weight*points2，将补充坐标加入到一个新的坐标数组，同时使插值值加1进入下一次循环，循环多次后结束会得到2个两点之间补充坐标和原来的两个坐标点，将得到的坐标每个点之间进行连接得到一个平滑的曲线，直到协助端结束标注。5.如权利要求1所述的一种基于混合现实的远程标注方法，其特征在于，将获取二维标注数组转化为三维坐标数组时，将屏幕二维坐标数组转化为距离受协助端使用对象画面相同处的三维坐标数组，其中，x
m
为所有坐标的x轴的和，y
m
为所有坐标的y轴的和，z
m
为所有坐标的z轴的和，m为坐标的个数。6.一种基于混合现实的远程标注终端，其特征在于，至少包括处理器，所述处理器被配置为：获取二维标注数组；将获取二维标注数组转化为三维坐标数组；根据...

【专利技术属性】
技术研发人员：黄伟杰，张长乐，张梦华，程新功，
申请(专利权)人：济南大学，
类型：发明
国别省市：