本发明专利技术涉及一种基于DVS的无人机实时视觉处理系统，包括：采集和预处理单元：用于获取无人机实时采集的图像数据，进行预处理，并获取事件流；目标检测与识别单元：用于基于预处理后的图像数据，采用DVS进行目标物体的检测和识别，获得包含识别结果的图像数据；事件预测单元：用于从事件流中提取动态特征，并结合包含识别结果的图像数据，得到事件数据，再预测未来事件流，获取目标物体的未来位置和未来运动轨迹；动态场景重构单元：用于根据事件数据实时重构动态场景；动态视觉SLAM单元：用于根据事件数据，采用SLAM算法对实现无人机的自我定位和环境地图构建。与现有技术相比，本发明专利技术在实时性、精确性、动态场景处理和SLAM能力等方面具备显著的提升，适用于复杂和动态的无人机应用场景。
1、目前，基于无人机的实时视觉处理系统在各种应用中发挥着重要作用。传统的视觉系统依赖于帧传感器捕获静态图像，这些图像随后通过处理算法进行分析。然而，这种方法在处理快速移动或动态环境中存在一些固有的限制，例如处理速度慢、能耗高、响应延迟等问题。
2、近年来，dobot vision studio(dvs)视觉算法平台的出现有效地解决了这些挑战。dobot vision studio采用先进的视觉算法处理动态场景，其核心是以高效的方式实时捕捉并分析场景的变化。与传统的帧传感器相比，这种平台能够更快速地响应动态场景中的变化，同时显著降低能耗。它能够在低光照条件下保持高度的灵敏度，这对于无人机在各种环境中的应用至关重要。
3、尽管dobot vision studio视觉算法平台在能效和响应速度上表现出色，但基于此平台的无人机实时视觉处理系统仍面临一些技术挑战。其中一个主要问题是如何有效处理动态场景，并实时预测移动物体的未来位置和轨迹。现有系统可能由于缺乏精确的环境模型而难以在复杂或未知的环境中进行精确的定位和导航。
>4、采集和预处理单元：用于获取无人机实时采集的图像数据，进行预处理，并基于预处理后的图像数据获取事件流；5、目标检测与识别单元：与所述采集和预处理单元连接，所述目标检测与识别单元用于基于所述预处理后的图像数据，采用dvs进行目标物体的检测和识别，获得包含识别结果的图像数据；
6、事件预测单元：与所述目标检测与识别单元和采集和预处理单元连接，所述事件预测单元用于从事件流中提取动态特征，并结合所述包含识别结果的图像数据，得到事件数据，根据所述事件数据对未来事件流进行预测，获取目标物体的未来位置和未来运动轨迹；
7、动态场景重构单元：与所述事件预测单元连接，所述动态场景重构单元用于根据所述事件数据实时重构动态场景；
8、动态视觉slam单元：与所述事件预测单元连接，所述动态视觉slam单元用于根据所述事件数据，采用slam算法对实现无人机的自我定位和环境地图构建。
9、进一步地，所述采集和预处理单元包括图像数据采集模块、图像数据预处理模块和事件流获取模块，
10、所述图像数据采集模块：用于获取无人机实时采集的图像数据；
11、所述图像数据预处理模块：用于对所述图像数据进行包括噪声过滤、时间戳同步和数据对齐在内的预处理操作；
12、所述事件流获取模块：用于基于预处理后的图像数据，进行动态变化分析转化为事件流。
13、进一步地，所述目标检测与识别单元包括：
14、分类特征提取模块：用于从预处理后的图像数据中提取目标物体的分类特征；
15、dvs分类器：用于根据分类特征采用dvs分类器进行目标物体的检测与识别，得到包含识别结果的图像数据；
16、目标跟踪模块：用于对目标物体进行实时跟踪。
17、进一步地，所述事件流预测单元包括：
18、动态特征提取模块：用于采用特征提取算法从事件流中提取动态特征；
19、数据转换模块：用于将所述包含识别结果的图像数据进行格式转换；
20、多模态数据融合模块：用于将格式转换后的包含识别结果的图像数据与动态特征进行数据融合，得到事件数据；
21、事件数据处理模块：用于对所述事件数据进行压缩和稀疏表示学习；
22、预测模块：用于基于压缩和稀疏表示学习后的事件数据预测未来事件流，获得目标物体的未来位置和未来运动轨迹。
23、进一步地，所述事件数据处理模块包括：
24、事件数据压缩子模块：用于基于所述事件数据，采用编码算法进行压缩；
25、稀疏表示学习子模块：用于采用稀疏表示学习技术对压缩后的事件数据进行数据转换。
26、进一步地，所述动态场景重构单元包括：
27、动态场景建模与地图更新模块：用于根据所述事件数据和无人机周围环境的动态信息，采用slam算法进行动态场景初步建模和地图更新；
28、加载模块：用于基于所述事件数据和未来事件流获取目标物体的状态和未来状态，并加载在动态场景中，得到最终的动态场景；
29、动态场景可视化与反馈模块：用于将所述最终的动态场景进行可视化，反馈给用户。
30、进一步地，所述动态视觉slam单元包括：
31、定位和地图构建模块：用于基于所述事件数据，采用slam算法进对无人机进行实时定位，并构建未知环境中的地图；
32、无人机可视化模块：用于实时显示无人机在地图中的定位。
33、进一步地，还包括事件数据流可视化模块，与所述事件预测单元连接，用于对预测的事件流进行可视化。
34、进一步地，还包括时间相关性分析模块，与所述事件预测单元连接，用于分析所述事件数据之间的时间关联性，以协助预测未来事件流。
35、进一步地，还包括事件驱动的自适应控制模块，与所述事件预测单元连接，用于根据所述事件数据，采用自适应控制算法调整无人机的控制策略，包括飞行路径、速度调整以及姿态控制。
36、与现有技术相比，本专利技术具有以下有益效果：
37、(1)本专利技术采用目标检测与识别单元中的dvs对目标物体进行检测和识别，以对图像中的各个目标进行判别，并通过事件预测单元从事件流中提取动态特征，再将识别结果结合起来，可以得到目标物体的事件数据，通过实时预测便可获取移动物体的未来位置和未来运动轨迹，且通过动态场景重构以及无人机的自我定位和环境地图构建，实现动态场景下的移动物体状态预测以及无人机预测。
38、(2)本专利技术事件流预测单元不断地提取物体的动态特征，与识别结果进行融合，并通过压缩和稀疏表示学习技术提取出最显著的特征或特征组合，有助于准确预测事件流，从而获得更准确的目标物体的未来位置和未来运动轨迹。
39、(3)本专利技术通过增设事件驱动的自适应控制模块和时间相关性分析模块，能够显著提升系统的响应速度、能耗效率、环境适应能力和系统安全性，使其在复杂和动态的现实场景中表现更为优异和可靠。
本文档来自技高网...
【技术保护点】
1.一种基于DVS的无人机实时视觉处理系统，其特征在于，包括：
2.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，所述采集和预处理单元(1)包括图像数据采集模块(11)、图像数据预处理模块(12)和事件流获取模块(13)，
3.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，所述目标检测与识别单元(2)包括：
4.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，所述事件流预测单元(3)包括：
5.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，所述事件数据处理模块(34)包括：
6.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，所述动态场景重构单元(4)包括：
7.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，所述动态视觉SLAM单元(5)包括：
8.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，还包括事件数据流可视化模块(6)，与所述事件预测单元(3)连接，用于对预测的事件流进行可视化。
9.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，还包括时间相关性分析模块(7)，与所述事件预测单元(3)连接，用于分析所述事件数据之间的时间关联性，以协助预测未来事件流。
10.根据权利要求1所述的一种基于DVS的无人机实时视觉处理系统，其特征在于，还包括事件驱动的自适应控制模块(8)，与所述事件预测单元(3)连接，用于根据所述事件数据，采用自适应控制算法调整无人机的控制策略，包括飞行路径、速度调整以及姿态控制。
...
【技术特征摘要】
1.一种基于dvs的无人机实时视觉处理系统，其特征在于，包括：
2.根据权利要求1所述的一种基于dvs的无人机实时视觉处理系统，其特征在于，所述采集和预处理单元(1)包括图像数据采集模块(11)、图像数据预处理模块(12)和事件流获取模块(13)，
3.根据权利要求1所述的一种基于dvs的无人机实时视觉处理系统，其特征在于，所述目标检测与识别单元(2)包括：
4.根据权利要求1所述的一种基于dvs的无人机实时视觉处理系统，其特征在于，所述事件流预测单元(3)包括：
5.根据权利要求1所述的一种基于dvs的无人机实时视觉处理系统，其特征在于，所述事件数据处理模块(34)包括：
6.根据权利要求1所述的一种基于dvs的无人机实时视觉处理系统，其特征在于，所述动态场景重构单元(4)包括：
7...
【专利技术属性】
技术研发人员：贾慈力，郭昊宇，李永平，沈龙，郝嘉诚，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。