面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法技术

面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法，包括：基于无人机倾斜摄影技术采集真实实验场地的影像信息，构建数字化实验环境；搭建红外三维动作捕捉系统记录运动机器人的运动数据；在三维数字化实验环境中构建运动机器人的数字化模型，还原运动机器人的运动轨迹及运动姿态；通过虚拟仿真模拟采集虚拟摄像头获取的环境影像，并对环境影像进行一定的机器视觉评测，初步推荐较为合适的内容，用于机器视觉的分析。本发明专利技术对现实运动物体的实际运动轨迹及运动姿态进行采集，实现其在三维数字化实验环境的仿真运动，降低了实验的复杂性，也降低了实验的设备成本和时间成本。也降低了实验的设备成本和时间成本。也降低了实验的设备成本和时间成本。

【技术实现步骤摘要】
面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法


[0001]本专利技术属于三维场景下的虚拟仿真
，涉及实景建模，动作捕捉，物理仿真等技术，具体涉及一种运动机器人的摄像机位置的测评和推荐方法。

技术介绍

[0002]现有智能型的运动机器人，都是依靠各种传感器来获取周围环境信息来作为自身移动的依据。当智能运动机器人在大范围空间内的运动时，把环境影像作为信息输入，对这些影像信息进行处理，进而提取出有用的环境信息，比如环境中的通道、障碍、物体距离等因素，提供给运动机器人，进而根据环境信息来控制运动机器人的动作。既由机器代替人眼来做测量和判断，称为机器视觉。而环境的影像信息都是通过摄像头来摄取的，摄像头在运动机器人躯体上的安装位置和安装角度，决定了周围环境影像获取的结果，自然也影响了机器视觉的判断结果，安装在运动机器人躯体上什么位置，以什么角度安装，使得其获取的环境影像更利于机器视觉的分析和判断，是构造机器视觉的重要环节。
[0003]运动机器人开发测试环节，需要在不同位置安装多个摄像头，并反复测试整个机器人运动过程，对不同的摄像头摄制的影像进行分析，来判断哪个影像更符合机器视觉的分析。但安装在哪个位置，以何种角度安装，需要反复尝试，因此实验往往需要重复很多次，来反复比较环境影像的摄制结果，确保安装位置和角度的最优，这都大大增加了实验次数、难度和实验成本。
[0004]因此，如果能通过虚拟仿真的方法改进实验过程，能非常方便的虚拟仿真出运动机器人躯体不同位置安装摄像头所获取到的环境影像，就可以大大减少实验的次数，减小实验难度、节约实验成本。将获取到的环境影像用于机器视觉评测，由于视频拍摄的位置角度都会影响到视频拍摄结果，而拍摄结果影响机器视觉计算结果。根据评测结果的优劣来判断安虚拟摄像机的位置优劣，初步推荐较为合适的内容。
[0005]其中，本专利技术涉及到的技术背景有真三维实景模型重建系统，红外三维动作捕捉系统。
[0006]真三维实景模型重建系统是一种用于地球科学、水利工程等各领域的计算机系统及其配套设备，真三维实景模型重建就是通过实景采集，逆向建模，从而还原建筑物本身或是地貌等真实三维信息。真三维实景模型重建发展优势：速度快、成本低、精度高、实景还原。其常见的重建过程是利用无人机倾斜摄影技术，通过倾斜云台与相机在飞行过程中，从垂直、倾斜等多个角度同时采集航片影像就是高精度照片，获取完整精确的地面地物外观信息和影像获取时的相机高度和地理坐标。然后利用基于倾斜摄影原理开发的三维建模软件，以无人机采集的连续航片影像为基础，利用图形运算单元，快速、精确、自动地生成逼真的三维实景模型。
[0007]动作捕捉就是在运动物体的关键部位设置跟踪器(标记点)，由动作捕捉系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。当数据被计算机识别
后，可以应用在动画制作，步态分析，生物力学，人机工程等领域。其中红外三维动作捕捉系统是由红外动作捕捉镜头、动作捕捉软件、反光标识点、POE交换机、和若干配件组成(如标定框和镜头固定装置等)。其本质是利用红外光线来获取跟踪器的三维坐标实现定位，通过计算分析，来获取与其相关的速度、加速度等多种运动学数据。以红外光为原理，通过多个镜头对特定标记点的观察定位来获取标记点的具体空间位置。光学动作捕捉镜头面板上的LED灯发出特定波长的红外光，照到被捕捉物，也就是反光标记点，反光标记点表面的反光材料将红外光反射回镜头，反射回的红外光经过信号处理，图像抓取和算法处理，从而获得反光标记点在镜头中的二维坐标。一套动捕系统里通常有多个动作捕捉镜头，多个镜头通过标定获取每个镜头的具体位置，最后通过计算机软件分析从而得到每个跟踪点的三维坐标及其运动过程。
[0008]真三维实景模型重建系统，红外三维动作捕捉系统都是当下较为成熟的应用系统，也是本专利技术所依赖的底层支撑技术。

技术实现思路

[0009]本专利技术要克服现有技术的上述缺点，提供面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法。本专利技术通过虚拟仿真的方式模拟出运动机器人运动时的环境影像，运动机器人的运动过程，进而推导出其躯体不同位置携带特定角度虚拟摄像头所能摄制到的环境影像，并对环境影像进行一定的机器视觉评测，初步推荐较为合适的内容，确保摄像头安装位置和角度的最优。
[0010]本专利技术的构思如下：第一步通过真三维实景模型重建系统构建运动机器人真实实验场地的三维实景模型，如设定的运动机器人的真实实验场地空间尺寸为X(m)*Y(m)*Z(m)，X表示长，Y表示宽，Z表示高，先利用无人机倾斜摄影技术采集X(m)*Y(m)*Z(m)真实场地的影像信息，以此为基础在倾斜摄影建模软件中生成虚拟环境下1:1的X(m)*Y(m)*Z(m)的三维实景模型，该三维实景模型能完整复刻真实实验场地的三维构造和外观。三维可视化平台是提供实景三维模型浏览的三维可视化应用的平台，将三维实景模型导入三维可视化平台中，利用三维可视化平台还原真实场景的视觉环境，为下一步构建三维的数字化实验环境。
[0011]第二步利用真实实验场地搭建的红外动作捕捉系统来抓取运动机器人在实验场地中的运动数据，在虚拟的三维实景模型中还原真实运动机器人的运动轨迹和运动姿态。具体方法是通过在运动机器人躯体上加装特定标记点，红外动作捕捉系统通过多个镜头对特定标记点的观察定位来获取标记点的具体空间位置。大量坐标数据通过POE连接器传输给动作捕捉软件，便可以解算出目标在空间中的位置、方向和运动轨迹等信息。在运动机器人真实实验场地搭建红外动作捕捉系统设备，在运动机器人躯体上加装特定标记点，使红外动作捕捉系统能捕捉运动机器人在X(m)*Y(m)*Z(m)真实实验场地中的运动轨迹和运动姿态。通过红外动作捕捉系统获取机器人在上述X(m)*Y(m)*Z(m)真实场地中的运动轨迹和运动姿态数据。在三维可视化平台中，同样构建出与运动机器人相一致的1:1的运动机器人虚拟模型，并将获取的标记点定位数据通过一定的计算与转化，包括对运动轨迹路径的平滑化、三维空间坐标数据和经纬度的转化、转弯角速度的计算等，从而在三维可视化平台中模拟出运动机器人虚拟模型的数字化运动轨迹和运动姿态，虚拟仿真出真实运动机器人在
真实实验场地中的运动过程。
[0012]第三步，在运动机器人虚拟模型的躯体上构建固定位置和角度的虚拟摄像头，因为第一步第二步已经构建出运动机器人运动实验环境的真三维实景模型，以及运动机器人虚拟模型在真三维实景模型中的数字化运动轨迹和运动姿态，因此可以利用这两项技术基础，还原出虚拟摄像头在跟随运动机器人虚拟模型运动时获取到的真三维实景模型的视觉环境在镜头中的影像信息来模拟其可能获取的真实环境影像。详细的就是对虚拟机器人进行固定位置和角度的虚拟摄像头绑定，并实时计算运动轨迹和运动姿态的改变导致的虚拟摄像视角改变的偏移量，从而对虚拟摄像头的视角数据实时更新，模拟仿真出该位置和角度的虚拟摄像头获取到的环境本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法，其特征在于：利用数字技术将运动机器人、真实实验场地、运动轨迹进行数字化，构建数字化实验环境，通过虚拟仿真模拟采集虚拟摄像头获取的环境影像，并对环境影像进行一定的机器视觉评测，初步推荐较为合适的内容，用于机器视觉的分析，包括以下步骤：步骤1，真三维实景模型重建：基于无人机倾斜摄影技术采集X(m)*Y(m)*Z(m)真实实验场地的影像信息，然后在倾斜摄影建模软件中生成1:1的X(m)*Y(m)*Z(m)的三维实景模型，最后导入三维可视化平台建立1:1的X(m)*Y(m)*Z(m)三维数字化实验环境,具体包括：步骤11.基于无人机倾斜摄影技术采集X(m)*Y(m)*Z(m)真实实验场地的影像信息；设置无人机飞行速度，拍摄间隔，相机倾斜角，旁向重叠度，航线重叠度及飞行高度；步骤12.在倾斜摄影建模软件中生成1:1的X(m)*Y(m)*Z(m)的三维实景模型；步骤13.导入三维可视化平台建立1:1的X(m)*Y(m)*Z(m)三维数字化实验环境；步骤2，搭建红外三维动作捕捉系统：在真实实验场地的顶部四周平均绑定n个红外动作捕捉镜头，确保镜头视野能够覆盖X(m)*Y(m)*Z(m)的捕捉区域，并在需要动作捕捉的运动机器人躯体表面贴上k个反光标记点，反光标记点的数量和贴合位置以能精确捕捉到其动作为准,具体包括：步骤21.在真实实验场地的顶部四周通过支架、夹具等镜头固定装置，平均绑定n个红外动作捕捉镜头，确保镜头视野能够覆盖X(m)*Y(m)*Z(m)的捕捉区域，并将所有镜头通过网线连接到POE交换机；步骤22.使用标定工具进行校准，让动作捕捉软件计算出镜头准确的相对空间位置和角度，建立三维空间XYZ坐标系，为精准动作捕捉做好准备；步骤23.在需要动作捕捉的运动机器人躯体表面贴上k个反光标记点，反光标记点的数量和贴合位置以能精确捕捉到其动作为准；步骤24.当系统能够实时识别目标物体后，一个完整的光学动作捕捉系统就已建立完成，接下来直接进行动作捕捉并记录数据；步骤3，记录运动机器人的运动数据：运动机器人在真实实验场地进行运动，红外三维动作捕捉系统设备记录物体运动的一系列三维空间数据{[X
ab
,Y
ab
,Z
ab
],
…
，a∈[1，k]，b∈[0，t]}，其中k表示反光标记点个数，t表示记录过程中的不同动作捕捉时间点，其为时间间隔很短的时间序列；步骤4，在三维数字化实验环境中，按1:1构建运动机器人的数字化模型；步骤5，还原运动机器人的运动轨迹及运动姿态：根据红外三维动作捕捉系统设备记录的三维空间数据，在1:1的X(m)*Y(m)*Z(m)三维数字化实验环境里，通过一定的计算与转化，并结合运动机器人的数字化模型轮廓，模拟出运动机器人的运动轨迹和运动姿态；该步骤的结果可以表现为运动机器人的数字化模型在三维数字化实验环境里的一系列动态运动过程，其运动过程高度拟合运动机器人在真实实验场地的运动过程,具体包括以下步骤：步骤51.根据记录的三维空间数据{[X
ab
,Y
ab
,Z
ab
],
…
，a∈[1，k]，b∈[0，t]}在1:1的X(m)*Y(m)*Z(m)三维数字化实验环境，其中k表示反光标记点个数，t表示记录过程中的不同动作捕捉时间点，其为时间间隔很短的时间序列；设置某一个反光标记点的三维空间数据为运动路径计算数据，如a＝a0，即然后转化为三维可
视平台所需的数据类型；步骤52.计算运动机器人的数字化模型通过每三个记录的相邻的三维空间数据坐标点的运动时长，设置运动机器人的数字化模型运动速度变量speed，通过半正矢公式计算三个相邻经纬度每两点间的距离，再根据速度公式计算通过三点的运动时长；所述半正矢公式为：其中r表示地球赤道半径；表示φ1和φ2表示两点的纬度；λ1和λ2表示两点的经度；所述的速度公式为：t
d
＝dis/speed......................................................(6)其中t
d
表示运动时长，dis表示表达式5得出的距离，speed表示运动机器人的数字化模型运动速度；步骤53.运动轨迹平滑化计算，根据贝塞尔曲线公式计算，设置某一个反光标记点的三维空间数据为运动路径计算数据，如a＝a0，即，即t表示运动过程中的不同捕捉点；所述贝塞尔曲线公式的表达式为：其中t
p
表示运动机器人的数字化模型运动时间间隔，t
a
∈[0,t
d
]，t
d
由步骤52表达式6计算所得，p0,p1,p2表示每三个记录的相邻的三维空间数据坐标点p表示计算的结果；步骤54.将步骤53表达式7计算的结果转化为三维可视平台所需的数据类型，然后计算相邻两点在三维可视平台中所需的朝向角度，还原运动姿态；步骤6，绑定虚拟摄像头：在运动机器人的数字化模型躯体轮廓上进行虚拟摄像头的构建，虚拟摄像头可以固定在数字化模型躯体轮廓某个位置，并按固定角度进行设置；当运动机器人的数字化模型在三维数字化实验环境中运动时，虚拟摄像头会随着数字化模型一起移动，并且其朝向角度会与数字化模型保持不变；就是运动机器人的数字化模型在三维数字化实验环境中沿着运动轨迹和运动姿态进行移动，可以根据虚拟摄像头与数字化模型的相对位置和相对角度，实时计算运动轨迹和运动姿态的改变导致的虚拟摄像头视角改变的偏移量，从而对虚拟摄像头的视角数据实时更新，模拟仿真出该位置和角度的虚拟摄像头获取到的环境影像，该环境影像来自于步骤1所构建的三维数字化实验环境,具体包括以下步骤：步骤61.使运动机器人的数字化模型在三维数字化实验环境中沿着运动轨迹和运动姿态进行移动，移动数据取自步骤54中转化的三维可视平台所需的数据，然后由步骤52的式(5)和式(6)计算相邻两点间的运动时间，运动姿态数据取自步骤54的计算所得；然后由三维可视平台提供方法实时计算运动机器人的数字化模型位置，并实时改变运动机器人的数字化模型姿态；步骤62.在运动机器人的数字化模型躯体轮廓上进行虚拟摄像头的构建，以某一个反
光标记点所在平面为例，取一点绑定虚拟摄像头，该点与步骤51中的a0在X，Y，Z方向有固定偏移量，能够计算相应偏移量和虚拟摄像头的实时位置；步骤63.实时计算运动轨迹和运动姿态的改变导致的虚拟摄像头视角改变的偏移量，从而对虚拟摄像头的视角数据实时更新，通过步骤54的方法实时计算虚拟摄像头所在平面，和运动机器人的数字化模型位置连线对于三维可视平台中所需的朝向角度，并与上一个角度做差的结果为当前虚拟摄像头视角改变的偏移量，更新视角数据；步骤7，获取环境影像进行内容推荐：根据步骤6设计N个虚拟摄像机，录得N段视频文件记为Vn，其中n∈[1,N]；将N段视频文件用于机器视觉评测，由于视频拍摄的位置角度都会影响到视频拍摄结果，而拍摄结果影响机器视觉计算结果；根据评测结果的优劣来判断安虚拟摄像机的位置优劣，并推荐较优的虚拟摄像机拍摄位置做为实际的机器安装位置,具体包括以下步骤：步骤71，根据步骤6设计N个虚拟摄像机，录得N段视频文件记为Vn，其中n∈[1,N]，开始记录数字影像视频数据，最后再根据实际需求设置的分辨率对影像视频数据进行裁剪，得最终视频文件；步骤72，将N段视频文件用于机器视觉评测，根据评测结果的优劣来判断安虚拟摄像机的位置优劣，并推荐较优的虚拟摄像机拍摄位置做为实际的机器安装位置，评测过程可由多个评测项目组成。2.如权利要求1所述的面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法，其特征在于：在步骤13中，导入三维可视化平台建立1:1的X(m)*Y(m)*Z(m)三维数字化实验环境；所述三维实景模型数据导入CesiumJs中建立三维数字化实验环境，根据其提供的函数方法Cesium.Cesium3DTileset({url:})，url参数表示模型数据存放地址，创建模型对象；表达式为：Cesium.Cesium3DTileset({url:模型数据存放地址})........................(1)。3.如权利要求1所述的面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法，其特征在于：在步骤51中，由CesiumJs提供的Cesium.Cartesian3(x,y,z)方法，其中x,y,z分别对应三维空间数据[X
1b
...

【专利技术属性】
技术研发人员：徐俊，方静雯，张希雅，陶林康，肖刚，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：