一种多源异构传感器特征深度融合的装置及方法制造方法及图纸

本发明专利技术提供一种多源异构传感器特征深度融合的装置及方法，涉及人工智能技术领域。其装置包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ‑7000平台、FLASH大型存储芯片。通过多源异构多种传感器获取目标的多维数据特征，在ZYNQ‑7000平台，通过不同的多源异构传感器的坐标特征变换，形成具有统一维度的特征空间，通过建立深度学习网络，将多源异构传感器进行融合，实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合。本发明专利技术为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。

【技术实现步骤摘要】
一种多源异构传感器特征深度融合的装置及方法
本专利技术涉及人工智能
，尤其涉及一种多源异构传感器特征深度融合的装置及方法。
技术介绍
当前，无人机器数量的持续增加使得各种事故频繁发生，造成严重的生命财产损失。其原因是无人机器所采用的单一传感器，如雷达、视觉等，并不能完整获取目标信息。针对信息的运动状态、距离状态、位置状态等特征状态，无法进行全面感知。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种多源异构传感器特征深度融合的装置及方法，基于深度学习技术，通过深度学习模型完成空间、时间特征信息融合算法，为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。为解决上述技术问题，本专利技术所采取的技术方案是：一方面，本专利技术提供一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARMCortexA9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARMCortexA9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块；目标识别及分类模块用于配合FLASH大型存储芯片实现目标识别以及特征库匹配建立及学习；空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系；信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。进一步地，所述多源异构传感器阵列中的激光雷达采用固态激光雷达LeddarVu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。另一方面，本专利技术还提供一种多源异构传感器特征深度融合的方法，采用上述的多源异构传感器特征深度融合的装置实现，该方法具体如下：通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；结合其他多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；其他多源传感器包括声学传感器、红外传感器、热成像传感器、GPS；利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。采用上述技术方案所产生的有益效果在于：本专利技术提供的多源异构传感器特征深度融合的装置及方法，通过安装于无人机、汽车、飞艇、卫星等装备的多源异构多种传感器，获取环境信息，通过激光雷达获取目标距离、轮廓特征，以及机器视觉获取目标像素特征，通过不同的多源异构传感器的坐标特征变换，形成具有统一维度的特征空间，通过建立深度学习网络，将多源异构传感器进行融合，实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，为装备的自主决策提供准确、可靠、具有鲁棒性的决策判决性能。本专利技术由于通过训练特征库加载校正，使得多传感器测量数据在时间上、空间上达到同步；利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测，能有效提高目标的识别速度，减小了图像检测、模式识别搜索范围，避免在整幅图像上进行遍历性搜索，提高检测系统的实时性；利用图像对障碍物进行存在性验证，增加了检测系统的准确性和鲁棒性。附图说明图1为本专利技术实施例提供的多源异构传感器特征深度融合的装置结构框图；图2为本专利技术实施例提供的多源异构传感器特征深度融合的方法的逻辑单元连接图；图3为本专利技术实施例提供的基于深度学习算法的机器视觉与激光融合决策网络示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台是一款全可编程片上系统(AllProgrammableSoC)，该芯片集成了ARMCortexA9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARMCortexA9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片。多源异构传感器阵列用于获取目标的多维数据特征，包括激光雷达的点云数据，以及机器视觉的像素数据。FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包本文档来自技高网...

【技术保护点】
1.一种多源异构传感器特征深度融合的装置，其特征在于：包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARMCortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；/n多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标的捕获、以及信息提取与特征分类及融合，包括特征的目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。/n...

【技术特征摘要】
1.一种多源异构传感器特征深度融合的装置，其特征在于：包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARMCortexA9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARMCortexA9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；
多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标的捕获、以及信息提取与特征分类及融合，包括特征的目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。


2.根据权利要求1所述的多源异构传感器特征深度融合的装置，其特征在于：所述多源异构传感器阵列中的激光雷达采用固态激光雷达LeddarVu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉...

【专利技术属性】
技术研发人员：关庆阳，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：辽宁;21