【技术实现步骤摘要】
本专利技术为一种用于动物群体观测实验的交互式虚拟现实装置，主要用于识别鱼类的群游、躲避等行为并产生相应的虚拟现实场景映射，属于工程应用领域。
技术介绍
1、目前的动物群体观测平台基本上是被动式地观测自然场景下动物群体行为，在自然情况下进行观测具有非常大的限制，需要巨量的人力与物力。为方便实验室等科研人员开展人造情形下动物群体的观测，本新型实用开发了一种基于诱导与观测动物群体类群体行为的实验装置。该系统相较于德国马普所couzin团队的vr引擎freemovevr有如下优势:（1）模型加入骨胳系统,建立动物群体不同关节、骨架之间的运动学模型,用于对虚拟动物群体的肌肉、鳍的协调控制,以产生自然运动的动画效果,且可以外覆真实纹理,让模型的动画效果更贴近真实情况;（2）除了追踪动物群体的三维笛卡尔坐标系位置(x,y,z)外，还可以追踪俯仰角θ和偏转角ψ；（3）可以生成动物群体在虚拟环境中的第一视角，以作为交互实验的判断依据；（4）追踪的坐标及姿态信息通过udp协议发送与ue4通讯，克服了freemovevr只支持melodic版本ros的缺点，可实现多平台兼容。
2、总结以上，本专利技术为动物行为诱导及观测实验开发了一种裸眼沉浸交互式虚拟现实设备，可实现面向多种动物群体，尤其是动物群体类产生裸眼沉浸式、交互式虚拟现实环境，可用于动物行为诱导及观测实验研究。
技术实现思路
1、为了便于进行动物行为诱导及观测实验，本专利技术提出一种用于实验室动物群体行为观测的装置。参阅附图1将四台
2、（1）随体坐标系
3、设动物群体的质心为o；x轴以沿动物群体对称面指向动物群体正前方为正方向，绕x轴旋转角度为滚转角。y轴垂直于动物群体的对称平面，并以指向动物群体右侧为正方向，y轴旋转角度为俯仰角，z轴垂直于xoy平面，以向上为正方向，绕z轴的旋转角为偏航角ψ。随体坐标系示意图如附图2所示。
4、本新型实用使用双目相机识别追踪被试动物群体的三维平移位置(x,y,z)；并使用算法解算出动物群体的除滚转外的旋转姿态(θ,φ)；最后，将三维平移位置(x,y,z)及旋转姿态(θ,φ)传入虚拟现实场景生成模块。
5、（2）追踪算法
6、本专利技术的追踪算法能够自动对动物群体进行追踪，获取动物群体的三维坐标并按照当前帧进行保存。该算法首先对工业相机读取到的图像进行处理，将三通道灰度图转为单通道灰度图，便于后续进行处理。将摄像头捕捉的图像第一帧作为背景，以后的每一帧都减去背景帧，这样减去之后剩下的就是多出来的特征物体（要检测的物体）的部分。但是相减的部分也会对特征物体的灰度值产生影响，一般是设定相关阈值并进行判断。得到阈值化的图像之后需要检测图像的轮廓，以轮廓的(x,y)坐标的最值点作为轮廓的最小外接矩形框，并以该矩形框的中心点为目标的坐标点。
7、在本装置中，半球形鱼缸为高透明的亚克力材料，外球面使用背投投影布便于投影仪的成像，并且能保证成像的真实性与清晰度。摄像机采集的视频数据通过通信接口输入计算机，在考察目标的行为时，只需将单条的目标坐标看成一点，单独计算每一条目标的三维坐标即可。由于三维坐标的计算无法通过单目相机来获取，因此需先对图像中的目标分别计算在各个相机中的二维像素坐标，并根据最小距离来匹配各个相机中属于同一目标的序号（id），根据同一目标在各个摄像机中的二维像素坐标计算目标在水中的深度，从而得到目标的三维坐标。三维坐标的具体计算流程如下。
8、首先建立如附图3所示的空间坐标系，坐标原点选择为水平面上过鱼缸中心线的点，x方向和y方向分别对应水平面上的两个方向，z方向为垂直水平面向上的方向。其中工业相机固定安装在支架上，在空间坐标系下的坐标为。根据图像交会测量原理，物点的世界坐标(x,y,z)可由式1-1计算得到：
9、
10、
11、令参数矩阵m为：
12、
13、
14、联立可得：
15、
16、
17、对实际算法进行分析，图像的阈值化采用threshold方法，并选取固定阈值求得背景相减的二值图像，基本能保持以每秒25帧的速率进行图像的采集和处理。动物群体的轮廓提取使用的是findcontours方法，在提取到连通域轮廓数组后，对数组的第二列与第三列即相应的(x,y)坐标进行查找，以其最值作为最小外接矩形的顶点坐标，由于轮廓像素很少，因此运算时间很短。
18、本专利的虚拟现实场景生成系统使用虚幻引擎(unreal engine)实现，并投影至半球动物群体缸表面。首先，在虚幻引擎4中搭建半球形虚拟动物群体缸场景，动物群体在虚拟场景中的位置为三维追踪系统传入的平移坐标 ，旋转姿态为追踪系统传入的姿态角 。逐帧获取该平移坐标处的前、后、左、右、上、下六张环境贴图，形成全景立方，如附图4所示：
19、然后，将全景立方的像素投影至球面上。投影关系为：令待投影球的球心与全景立方体中心重合，从全景立方体中心发出一束射线，交立方体于点，交待投影球体于点，则将处像素的rgba值赋予球面上的位置的像素即可完成全景图像的构建。
20、最后，将球体的下半球面投影至实验装置壁面，即完成虚拟现实场景的部署。整个虚拟现实场景生成的流程图如附图5所示。
21、此外，虚拟现实场景生成系统还能根据接受到的动物群体的平移坐标(x,y,z)及旋转姿态角(θ,φ)生成动物群体在虚拟场景中的第一视角画面，以可视化动物群体在虚拟场景中对应的虚拟角色的视场。本新型实用的虚拟现实图像生成系统与追踪系统之间使用udp通讯。虚拟现实图像生成系统内嵌udp/tcp套接字部署模块，能建立udp/tcp接受端，接受外部发送的udp/tcp数据包。追踪系统也内嵌udp/tcp套接字部署模块，能建立udp/tcp发送端，将解算结果发送至虚拟现实图像生成系统。整体的通讯流程图如附图6所示。
本文档来自技高网...【技术保护点】
1.一种用于动物群体观测的虚拟现实沉浸交互式实验系统，包括（l）红外光单通相机阵列（2）相机支撑机构（3）图像投影装置（4）和光源汇聚器（5）其特征是设有由活动调节器（6）和支撑件（7）构成的成像位置调节系统，所述的活动调节器与图像投影装置固连，主要用于调整生成影像的成像位置，所述的支律件设在机构的底侧并附有防滑装置。
2.如权利要求书1所述的虚拟现实沉浸交互式实验系统，其特征是能够根据动物群体的位置，自适应地调节虚拟现实图源成像位置，生成高保真度的模拟自然环境，用于可视动物群体观测。
【技术特征摘要】
1.一种用于动物群体观测的虚拟现实沉浸交互式实验系统，包括（l）红外光单通相机阵列（2）相机支撑机构（3）图像投影装置（4）和光源汇聚器（5）其特征是设有由活动调节器（6）和支撑件（7）构成的成像位置调节系统，所述的活动调节器与图像投影装置固连，主要用...
【专利技术属性】
技术研发人员：胡天江，孙梓杰，陈伟文，黄子荣，朱波，王勇，张清瑞，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。