【技术实现步骤摘要】
本专利技术属于模式识别领域技术，具体涉及一种基于zynq的校园巡逻无人机感知系统及方法。
技术介绍
1、随着人工智能(ai)技术的快速发展，边缘ai作为新兴技术取得了巨大进步，其发展能有效解决ai在行业应用面临的海量数据处理、实时响应、数据安全等问题。校园作为人员最密集的区域，其安全问题受到长期关注，对智能化的需求尤为突出。而实际校园管理中，长期以来的的校园巡逻任务由保安列队执勤，逐渐演变为通勤车、巡逻车、以及现在遍布校园的监控来完成，在花费大量人力财力的情况下，依旧存在监控死角、人流高峰期巡逻车难以通行、多视角监控眼花缭乱难以分析等现象。
2、无人机技术作为人工智能时代的新型技术，其具备主动出击、高空作业、视野广阔、速度快等优势，但是由于能够完成无人机航拍视频边缘分析能力的无人机载计算平台价格昂贵，一定程度上限制了无人机在校园感知监测任务中的应用。主流的无人机机载平台主要有英伟达的jet-son系列和英特尔的nuc系列，以及其他厂商提出的cpu+gpu的解决方案。专用的ai计算平台性能优越，功耗低，但是存在开发周期长、造价高的特点，而gpu作为图像通用处理器，具体高功耗的特点，对资源匮乏的无人机平台并不友好。随着嵌入式系统在各个行业的广泛应用，市场对高性能、低功耗、可编程的解决方案需求不断增加。赛灵思推出zynq soc将arm处理器与fpga集成在单一芯片中，实现了处理器的灵活性与fpga的高并行计算能力的结合。这种异构计算架构提供了显著的性能提升和更大的灵活性，适用于自动驾驶、工业自动化和5g通信等领域。通过整
3、深度学习技术的繁荣促进了各行各业的智能化水平，一些研究者将深度学习算法引入到视频分析中来提高校园的管理效率，例如车辆检测、车牌号识别、人脸识别门禁等，一定程度上促进了校园的智能化水平。但是，当下大部分深度学习算法是通用的目标监测算法，没有根据实际需求进行具体的定制。无法实现诸如异常活动分析、人群停留、侵入检测等分析功能，现有的视频监控分析系统监控能力比较薄弱。性能较好的算法通常也意味着大的计算量和参数量，其在嵌入式设备上进行推理的时间就越久，为了提高实用性和实时性，必须开发更加轻量化的深度学习算法。
技术实现思路
1、为了解决上述
技术介绍
中提出的问题，本专利技术提出了采用无人机代替人工执行校园巡逻，采用深度学习算法代替人工分析视频，通过arm+fpga的zynq平台实现对深度学习算法在边缘的并行计算。
2、为达到上述目的本专利技术采用了以下技术方案：
3、本专利技术提供了一种基于zynq的校园巡逻无人机感知系统，包括：zynq机载平台、电源模块、飞控平台和远程控制模块；
4、所述zynq机载平台包括pl端和ps端，所述pl端包括数据采集模块、卷积神经网络硬件加速器、数据传输模块和数据存储模块，所述数据采集模块、卷积神经网络硬件加速器、数据传输模块和数据存储模块均与ps端连接，所述电源模块与zynq机载平台、飞控平台连接，所述zynq机载平台与飞控平台通过串口通信，所述ps端通过数据传输模块与远程控制模块连接。
5、进一步，所述ps端包括视频处理单元，所述视频处理单元包括行人检测模块、行人轨迹跟踪模块、侵入检测模块和行人聚集分析模块；
6、所述视频处理单元：对数据采集模块采集的视频流进行分析处理；
7、所述行人检测模块：通过行人检测模型varkdnet从视频流中检测出行人的置信度和位置坐标，并且在图像上绘制行人检测框；
8、所述行人轨迹跟踪模块：采用deep sort算法实现行人跟踪，得到行人检测框后通过卡尔曼滤波器预测当前位置，获得预测框，再通过相似度计算得到前一帧和当前帧跟踪目标之间的匹配程度，通过匈牙利算法进行数据关联，为每个跟踪目标设定单独的id；
9、所述侵入检测模块：设定监控区域，根据检测行人的检测框和置信度，使用deepsort算法进行目标跟踪，在每一帧中绘制监控区域和检测框，同时记录运动数据，通过检测目标中心点是否位于监控区域内来判断是否发生入侵，并记录入侵事件；
10、所述行人聚集分析模块：读取之前保存的运动数据和视频数据，通过计算每个目标的运动轨迹来识别静止点，当一个目标在固定距离范围内静止超过设定时间时，就认为其处于静止状态，即属于静止点，使用不同颜色的线条绘制运动轨迹，并通过递减颜色值的方式实现颜色渐变，对于静止点，采用逐层绘制圆圈的方式生成热力图，圆圈的大小和颜色根据静止时间进行调整，颜色越深代表停留的时间越久。
11、再进一步，所述行人检测模型varkdnet，保证算法性能不明显下降的同时实现更快的推理速度，具体为：
12、1)具有三分支结构，包括一个由可变核卷积组成的主分支、不同尺度的特征提取分支、以及一个保持网络性能的恒等映射分支；当主分支的核大小为3时，特征提取分支的核大小为1x1，主要用于预提取更多局部信息；当主分支的核大小大于3x3时，特征提取分支设置为dw conv3x3；在通道数扩张的过程中，动态调整主干分支的卷积核大小；
13、2)通过结构重参数化技术，将训练时的多分支转化为单路结构，首先是批量归一化层和卷积层的融合，没有偏置项的卷积表达形式如式(1)所示，批量归一化层的计算方式如式(2)所示，卷积层之后进行批量归一化处理的运算结果如式(3)所示，其看作是带偏置的卷积计算，通过数学等价，将卷积层与批量归一化层进行融合；其次实现的是3x3卷积分支和恒等映射分支转化为特殊的7x7结构；最后根据卷积的可加性将三个分支融合成单路结构；
14、conx(x)＝wx(1)
15、
16、其中，x为输入数据；w为卷积核权重；μ为均值；σ为标准差；γ为缩放因子；β是偏移参数；
17、3)采用prelu激活函数，能够更加有效的拟合具有对称特性的行人姿态，在多个特征图上同时进行softmax分类和位置回归，从而得到行人置信度和其位置坐标。
18、进一步，所述卷积神经网络硬件加速器用于实现对人检测算法varkdnet的并行计算，具体为：
19、1)通过流水线操作加速卷积计算，当进行第一行卷积计算时，在第一个时钟周期，执行x(n,0)*w00；第二个时钟周期，执行x(n,1)*w01，并加上x(n,0)*w00的计算结果，此外，第一级流水线还会计算x(n,1)*w00，即下一个卷积窗口的第一个计算值；第三个时钟周期，第三级流水线执行x(n,2)*w02+x(n,1)*w01+x(n,0)*w00，第一级流水线执行x(n,2)*w00，第二级流水线执行x(n,1)*w00+x(n,2)*w01；以此类推加速后续卷积计算；
20、2)利用卷积神经网络权重共享的机制，同一个卷积核对一幅图像进行卷积，因此，设计卷积核复用，同一个卷积核同时对一幅图像的多个窗口同本文档来自技高网...
【技术保护点】
1.一种基于ZYNQ的校园巡逻无人机感知系统，其特征在于，包括：ZYNQ机载平台、电源模块、飞控平台和远程控制模块；
2.根据权利要求1所述的一种基于ZYNQ的校园巡逻无人机感知系统，其特征在于，所述PS端包括视频处理单元，所述视频处理单元包括行人检测模块、行人轨迹跟踪模块、侵入检测模块和行人聚集分析模块；
3.根据权利要求2所述的一种基于ZYNQ的校园巡逻无人机感知系统，其特征在于，所述行人检测模型VarKDnet，具体为：
4.根据权利要求1所述的一种基于ZYNQ的校园巡逻无人机感知系统，其特征在于，所述卷积神经网络硬件加速器用于实现对人检测算法VarKDnet的并行计算，具体为：
5.根据权利要求1-4任一项所述的一种基于ZYNQ的校园巡逻无人机感知系统，其特征在于，所述ZYNQ机载平台采用FPGA+ARM架构。
6.一种基于ZYNQ的校园巡逻无人机感知方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种基于zynq的校园巡逻无人机感知系统，其特征在于，包括：zynq机载平台、电源模块、飞控平台和远程控制模块；
2.根据权利要求1所述的一种基于zynq的校园巡逻无人机感知系统，其特征在于，所述ps端包括视频处理单元，所述视频处理单元包括行人检测模块、行人轨迹跟踪模块、侵入检测模块和行人聚集分析模块；
3.根据权利要求2所述的一种基于zynq的校园巡逻无人机感知系统，其特征在于，所述行人检测模型va...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。