基于Kinect V2传感器三维点云环境实时重构方法技术

本发明专利技术公开基于Kinect V2传感器三维点云环境实时重构方法，属于虚拟现实技术领域，本发明专利技术采用Kinect V2采集图像数据及里程数据，然后进行数据的预处理和同步，通过Kinect V2采集的图像数据进行特征检测与匹配，并估算相机位姿，实现前端视觉里程计，回环检测主要是对相机当前位置与先前位置的关系做出判断，从而优化建模环境的精度，后端优化结合前端视觉里程计及回环检测数据，通过图优化的方式，实现三维点云的环境建模。

【技术实现步骤摘要】
基于KinectV2传感器三维点云环境实时重构方法
本专利技术涉及虚拟现实
，具体涉及基于KinectV2传感器三维点云环境实时重构方法。
技术介绍
科技的进步及时代的发展使人们周围的环境愈加复杂，在危险的环境下，通过远程无人车辆进行环境探索或者救援很有必要。与实际操作不同，远程操作过程中操作者对环境的感知功能与实际环境处于解耦状态，导致操作者无法对环境进行有效判断，进而降低操作的精确度。在远程操作中，当操作者只能通过传感器传回的环境信号远程感知观察时，人对环境的感知处理器官与被探测环境处于解耦状态，当知觉系统理解来自远程的视觉环境信息时，需要克服与在自然环境中直接进行观察的知觉模式的相关性问题。此外，操作者对环境的感知是主动进行的过程，操作者通过在环境中执行相关动作改变视觉环境信息。而在远程操作过程中，操作者无法直接与环境发生交互，因此无法对环境进行有效的判断，从而难以完成精确的远程控制，因此如何将远程环境呈现给操作者成为实现无人车远程精确控制的问题之一。传统的远程操作技术中，操作者通过相机传感器传回的视频图像画面来判断当前车辆所处的环境，做出相应决策对车辆进行姿态调整，实现对车辆的控制。视频二维图像信息不能全面反映车辆周围的环境，无法呈现车辆周围障碍物的大小、距离等信息，且操作者对于操纵驾驶车辆的自我感知程度较小，影响车辆的操作精度。随着传感器技术的发展，基于激光雷达、深度相机等传感器被广泛应用于自动驾驶、远程操作及虚拟现实等领域。由于三维深度信息能够捕获环境的深度信息，因此基于三维点云数据的环境呈现对于操作者理解车辆周围环境有很大的帮助。通过点云进行三维环境重构可以提高操作者对环境的感知能力，但由于点云数量庞大，使得实时数据传输及环境重建变得比较困难，且在点云环境中，操作者对环境中的物体可能会出现辨别困难的情况。虚拟现实技术具有沉浸性、交互性及想象性的特点。因此，急需结合利用虚拟现实技术将车辆周围环境进行三维重构技术研究，可以为操作者提供丰富的车辆周围环境信息，对于提升操作者对环境的感知能力、提高操作者对作业现场情况的判断力有重要意义。
技术实现思路
本专利技术的目的是提供基于KinectV2传感器三维点云环境实时重构方法，包括以下步骤：基于KinectV2传感器，采集图像数据，对KinectV2传感器进行位姿估计，获得KinectV2传感器的相机位姿数据；基于图像数据，依据K-means无监督机器学习聚类方法，构建特征词典树，其中，特征词典树用于对图像数据进行回环检测，获得回环信息，回环信息用于提高相机位姿数据的数据准确性；基于相机位姿数据，通过设置误差函数，并基于Gauss-Newton法进行迭代，构建三维点云环境；基于特征词词典树和三维点云环境，模拟三维点云环境场景。优选地，在对KinectV2传感器进行位姿估计的过程前，提取图像数据的特征数据，根据特征数据和图像数据，获得相机位姿数据。优选地，基于FAST关键点检测和BRIEF特征描述子算法，依据NNDR算法，提取特征数据。优选地，在对KinectV2传感器进行位姿估计的过程中，提取特征数据的空间坐标以及空间坐标对应的像素坐标，构建位姿矩阵；基于位姿矩阵，通过计算重投影误差，并依据Gauss-Newton算法进行迭代，获得相机位姿数据。优选地，在构建特征词典树的过程中，基于OpenCV，提取图像数据的特征点集合；根据K-means无监督机器学习聚类方法，对特征点集合进行聚类，获得特征词典树。优选地，在对特征点集合进行聚类的过程中，基于特征点集合，获得根节点和第一层聚类集合；基于第一层聚类集合，依据K-means无监督机器学习聚类方法，获得下一层聚类集合；基于第一层聚类集合，获得特征点单词；根据根节点、第一层聚类集合、下一层聚类集合、特征点单词，构建特征词典树。优选地，在构建特征词典树的过程后，提取图像数据的特征点，通过与特征词典树的聚类中心点进行比对，用于确定相机位姿数据的数据准确性，其中聚类中心点用于表示创建特征词典树时已建立的每个中心节点。优选地，在构建特征词典树的过程后，提取图像数据的第一图像数据和第二图像数据，获得第一图像数据的第一特征数据以及第二图像数据的第二特征数据；根据第一特征数据、第二特征数据、特征词典树，获得第一图像数据和第二图像数据的相似度。优选地，在构建三维点云环境的过程中，提取相机位姿数据的误差函数；基于相机位姿数据和误差函数，依据Gauss-Newton法，构建位姿数据优化矩阵模型，其中，位姿数据优化矩阵模型用于优化相机位姿数据；将优化后的相机位姿数据进行拼接，构建三维点云环境。优选地，在模拟三维点云环境场景的过程中，基于ROS的TCP/IP协议构建信息传输通道，并通过WebSocket实现数据交互，其中，信息传输通道用于KinectV2传感器实时捕捉环境信息，并通过信息传输通道，将环境信息生成三维点云环境场景的输入数据。本专利技术公开了以下技术效果：本专利技术提出基于KinectV2传感器三维点云环境实时重构方法，实现了点云环境的实时三维重构。(1)通过SLAM方法对点云数据进行采集处理，通过特征检测与处理实现视觉里程计，通过视觉词袋模型，实现对点云数据的回环检测，并采用PnP算法，并结合BA后端算法对点云数据进行优化。(2)基于ROS的通信协议及Socket，搭建了数据通信网络，使点云数据及车辆的位姿信息能够传输至虚拟环境中，并通过WebSocket传输对数据进行实时更新，实现ROS系统与虚拟环境Unity之间双向的数据通信。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。图1为本专利技术所述的方法流程示意图；图2为本专利技术所述的整体算法流程图；图3为本专利技术实施例所述的视觉里程计流程图；图4为本专利技术实施例所述的重投影误差示意图；图5为本专利技术实施例所述的特征词典树的基本结构示意图；图6为本专利技术实施例所述的ROS环境的数据同步化示意图；图7为本专利技术实施例所述的ROS-Unity之间的数据传输示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1-7所示，本专利技术提供了基于KinectV2传感器三维点云环境实时重构方法，包括以下步骤：基于KinectV2传感器，采集图像数据，对KinectV2本文档来自技高网...

【技术保护点】
1.基于Kinect V2传感器三维点云环境实时重构方法，其特征在于，包括以下步骤：/n基于Kinect V2传感器，采集图像数据，对所述Kinect V2传感器进行位姿估计，获得所述Kinect V2传感器的相机位姿数据；/n基于所述图像数据，依据K-means无监督机器学习聚类方法，构建特征词典树，其中，所述特征词典树用于对所述图像数据进行回环检测，获得回环信息，所述回环信息用于提高所述相机位姿数据的数据准确性；/n基于所述相机位姿数据，通过设置误差函数，并基于Gauss-Newton法进行迭代，构建三维点云环境；/n基于所述特征词词典树和所述三维点云环境，模拟三维点云环境场景。/n

【技术特征摘要】
1.基于KinectV2传感器三维点云环境实时重构方法，其特征在于，包括以下步骤：
基于KinectV2传感器，采集图像数据，对所述KinectV2传感器进行位姿估计，获得所述KinectV2传感器的相机位姿数据；
基于所述图像数据，依据K-means无监督机器学习聚类方法，构建特征词典树，其中，所述特征词典树用于对所述图像数据进行回环检测，获得回环信息，所述回环信息用于提高所述相机位姿数据的数据准确性；
基于所述相机位姿数据，通过设置误差函数，并基于Gauss-Newton法进行迭代，构建三维点云环境；
基于所述特征词词典树和所述三维点云环境，模拟三维点云环境场景。


2.根据权利要求1所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
在对所述KinectV2传感器进行位姿估计的过程前，提取所述图像数据的特征数据，根据所述特征数据和所述图像数据，获得所述相机位姿数据。


3.根据权利要求2所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
基于FAST关键点检测和BRIEF特征描述子算法，依据NNDR算法，提取所述特征数据。


4.根据权利要求3所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
在对所述KinectV2传感器进行位姿估计的过程中，提取所述特征数据的空间坐标以及所述空间坐标对应的像素坐标，构建位姿矩阵；
基于所述位姿矩阵，通过计算重投影误差，并依据Gauss-Newton算法进行迭代，获得所述相机位姿数据。


5.根据权利要求4所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
在构建所述特征词典树的过程中，基于OpenCV，提取所述图像数据的特征点集合；
根据所述K-means无监督机器学习聚类方法，对所述特征点集合进行聚类，获得所述特征词典树。


6.根据权利要求5所述的基于KinectV2传感器三维点云环境实时重构方法，其特征在于，
...

【专利技术属性】
技术研发人员：姚寿文，栗丽辉，孔若思，王瑀，常富祥，丁佳，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11