基于Wi-Fi的远程目标跟踪系统及方法技术方案

基于Wi‑Fi的远程目标跟踪系统及方法，涉及目标跟踪和智能监控领域。本发明专利技术是为了实现在区域Wi‑Fi网络覆盖的范围内对指定目标进行稳定跟踪，以及提高网络带宽占有率和反应灵敏度。本发明专利技术分为目标跟踪机器人和远程服务器端，机器人定制了Linux系统并实现了通过USB摄像头采集到实时现场视频，将实时采集到的现场视频从YUV格式硬编码为H.264格式，再通过Wi‑Fi传出给远程服务器，服务器端在计算机的Windows系统中搭建，将接收到的H.264视频流利用FFmpeg库解码并对指定目标进行STC目标跟踪算法处理后控制移动机器人追踪目标。

【技术实现步骤摘要】

本专利技术涉及目标跟踪和智能监控领域，具体涉及一种远程目标跟踪技术。
技术介绍
在构建智慧城市，平安城市的大浪潮下，智能监控系统的身影出现在越来越多的领域。传统的远程安全监控系统往往基于单一摄像头或摄像头阵列，不够智能化，在某些监控目标行为动作规律的场合，完全可以通过机器学习，目标自动检测和跟踪等现代技术来减少人力的消耗。远程目标跟踪系统的概念，就是以特殊定制的移动机器人为基础对远程目标进行追踪并将目标信息实时反馈给服务器的一整套系统。远程目标跟踪系统对不便于人工参与的危险工作，节约不必要的人力成本，提高系统工作效率等方面有着重要的理论意义和应用价值。伴随着视频压缩等技术突飞猛进的发展，新一代的视频监控系统得以通过网络实时传输现场高清视频，为后端对实时视频进行各种处理奠定了基础；目标跟踪算法是当今计算机视觉领域众多相关技术中的重要一支，其在现实生活中应用受到的关注度也与日俱增；另一方面，移动机器人在社会上越发成熟的使用也为各种相关的智能应用提供了稳定可靠的载体。
技术实现思路
本专利技术是为了实现在区域Wi-Fi网络覆盖的范围内对指定目标进行稳定跟踪，以及提高网络带宽占有率和反应灵敏度，从而提供一种基于Wi-Fi的远程目标跟踪系统及方法。基于Wi-Fi的远程目标跟踪系统，它包括目标跟踪机器人和Windows操作系统环境下的流媒体服务器；所述目标跟踪机器人包括机器人运动控制模块和Linux环境下的视频流控制客户端模块；Windows操作系统环境下的流媒体服务器中内嵌Windows操作系统环境下的流媒体服务模块；Linux环境下的视频流控制客户端模块包括串口信号发送模块、基于V4L2框架的视频采集模块、S5PV210MFC硬件编码模块和基于jrtlib库的视频发送模块；Windows操作系统环境下的流媒体服务模块包括基于OpenCV的STC目标跟踪算法模块、基于FFmpeg库的视频解压模块和基于jrtlib库的视频接收模块；基于V4L2框架的视频采集模块：用于设定采集图像的分辨率、帧率和质量参数；还用于将摄像头采集到的yuv420p格式的视频流转换为NV12格式视频流，并发送给S5PV210MFC硬件编码模块；S5PV210MFC硬件编码模块：用于将NV12格式的视频流利用硬件压缩模块压缩为H.264格式的视频流，并发送给基于jrtlib库的视频传输模块；基于jrtlib库的视频发送模块：用于将H.264视频流的NALU单元按照rtp协议拆分，再通过jrtplib的API函数将拆分后的NALU单元封装为RTP网络包发送给Windows操作系统环境下的流媒体服务器；基于jrtlib库的视频接收模块：用于接收来自基于jrtlib库的视频发送模块的RTP网络包，校验后重组为完整的H.264的NALU单元，并发送给基于FFmpeg库的视频解压模块；FFmpeg库的视频解压模块：用于将接收到的H.264视频流解码为BGR888视频流，并发送给基于OpenCV的STC目标跟踪算法模块；基于OpenCV的STC目标跟踪算法模块：用于利用OpenCV库编写STC目标跟踪算法并对视频流进行运算，生成机器人控制信号后发送给串口信号发送模块；串口信号发送模块：用于接收来自基于OpenCV的STC目标跟踪算法模块的机器人控制信号，以及将控制信号发送给机器人运动控制模块；机器人运动控制模块：用于控制目标跟踪机器人跟踪目标。基于Wi-Fi的远程目标跟踪方法，它包括：用于设定采集图像的分辨率、帧率和质量参数；还用于将摄像头采集到的yuv420p格式的视频流转换为NV12格式视频流，并发送给S5PV210MFC硬件编码模块的步骤；S5PV210MFC硬件编码模块：用于将NV12格式的视频流利用硬件压缩模块压缩为H.264格式的视频流，并发送给基于jrtlib库的视频传输模块的步骤；基于jrtlib库的视频发送模块：用于将H.264视频流的NALU单元按照rtp协议拆分，再通过jrtplib的API函数将拆分后的NALU单元封装为RTP网络包发送给Windows操作系统环境下的流媒体服务器的步骤；基于jrtlib库的视频接收模块：用于接收来自基于jrtlib库的视频发送模块的RTP网络包，校验后重组为完整的H.264的NALU单元，并发送给基于FFmpeg库的视频解压模块的步骤；FFmpeg库的视频解压模块：用于将接收到的H.264视频流解码为BGR888视频流，并发送给基于OpenCV的STC目标跟踪算法模块的步骤；基于OpenCV的STC目标跟踪算法模块：用于利用OpenCV库编写STC目标跟踪算法并对视频流进行运算，生成机器人控制信号后发送给串口信号发送模块的步骤；串口信号发送模块：用于接收来自基于OpenCV的STC目标跟踪算法模块的机器人控制信号，以及将控制信号发送给机器人运动控制模块的步骤；机器人运动控制模块：用于控制目标跟踪机器人跟踪目标的步骤。本专利技术在区域WiFi网络覆盖的范围内，实现了对指定目标进行稳定跟踪，网络带宽占有率低，反应灵敏。且本专利技术具有以下的优势：1、从网络环境要求上看，本专利技术传输的是高度压缩的H.264格式的视频，仅占用极小的网速，无论是局域网或校内网都可以满足本专利技术的通信环境；2、多线程机制使得程序的多种功能可以分开降低各功能间的耦合度，使得程序模块化，并大大地提升了程序的工作效率，更合理地运用系统资源；3、本专利技术的运算核心为S5PV210的arm，内部集成有多媒体驱动单元MFC，可以采用硬件编码的方式将视频流编码压缩为H.264格式，大大加快了程序运行速度，减轻了arm的运算负担；4、数据发送与接收、解码和显示均采用第三方库设计，利于多平台拓展。5、从服务器端软件的处理速度上来看，在光线充足时服务器的处理速度达到了19.6帧每秒，在光线不足时处理速度仍达到15帧每秒。本专利技术具有远程网络监控和运动目标跟踪两大核心功能，可扩展性强，和传统安防监控系统配合可以应用于更多场合。附图说明图1是本专利技术的基于Wi-Fi的远程目标跟踪系统的功能构架示意图；图2是视频采集工作循环示意图；图3是基于MFC的多媒体应用程序软件结构图；图4是流媒体服务器软件界面图；图5是机器人工作演示图；图6是机器人视野区域划分示意图；图7是STC算法空间上下文学习流程示意图。图8是STC算法目标位置检测流程示意图。具体实施方式具体实施方式一、结合本文档来自技高网...

【技术保护点】
基于Wi‑Fi的远程目标跟踪系统，其特征是：它包括目标跟踪机器人和Windows操作系统环境下的流媒体服务器；所述目标跟踪机器人包括机器人运动控制模块和Linux环境下的视频流控制客户端模块；Windows操作系统环境下的流媒体服务器中内嵌Windows操作系统环境下的流媒体服务模块；Linux环境下的视频流控制客户端模块包括串口信号发送模块、基于V4L2框架的视频采集模块、S5PV210MFC硬件编码模块和基于jrtlib库的视频发送模块；Windows操作系统环境下的流媒体服务模块包括基于OpenCV的STC目标跟踪算法模块、基于FFmpeg库的视频解压模块和基于jrtlib库的视频接收模块；基于V4L2框架的视频采集模块：用于设定采集图像的分辨率、帧率和质量参数；还用于将摄像头采集到的yuv420p格式的视频流转换为NV12格式视频流，并发送给S5PV210MFC硬件编码模块；S5PV210MFC硬件编码模块：用于将NV12格式的视频流利用硬件压缩模块压缩为H.264格式的视频流，并发送给基于jrtlib库的视频传输模块；基于jrtlib库的视频发送模块：用于将H.264视频流的NALU单元按照rtp协议拆分，再通过jrtplib的API函数将拆分后的NALU单元封装为RTP网络包发送给Windows操作系统环境下的流媒体服务器；基于jrtlib库的视频接收模块：用于接收来自基于jrtlib库的视频发送模块的RTP网络包，校验后重组为完整的H.264的NALU单元，并发送给基于FFmpeg库的视频解压模块；FFmpeg库的视频解压模块：用于将接收到的H.264视频流解码为BGR888视频流，并发送给基于OpenCV的STC目标跟踪算法模块；基于OpenCV的STC目标跟踪算法模块：用于利用OpenCV库编写STC目标跟踪算法并对视频流进行运算，生成机器人控制信号后发送给串口信号发送模块；串口信号发送模块：用于接收来自基于OpenCV的STC目标跟踪算法模块的机器人控制信号，以及将控制信号发送给机器人运动控制模块；机器人运动控制模块：用于控制目标跟踪机器人跟踪目标。...

【技术特征摘要】
1.基于Wi-Fi的远程目标跟踪系统，其特征是：它包括目标跟踪机器人和Windows
操作系统环境下的流媒体服务器；
所述目标跟踪机器人包括机器人运动控制模块和Linux环境下的视频流控制客户端模
块；
Windows操作系统环境下的流媒体服务器中内嵌Windows操作系统环境下的流媒体服
务模块；
Linux环境下的视频流控制客户端模块包括串口信号发送模块、基于V4L2框架的视频
采集模块、S5PV210MFC硬件编码模块和基于jrtlib库的视频发送模块；
Windows操作系统环境下的流媒体服务模块包括基于OpenCV的STC目标跟踪算法模
块、基于FFmpeg库的视频解压模块和基于jrtlib库的视频接收模块；
基于V4L2框架的视频采集模块：用于设定采集图像的分辨率、帧率和质量参数；还
用于将摄像头采集到的yuv420p格式的视频流转换为NV12格式视频流，并发送给S5PV210
MFC硬件编码模块；
S5PV210MFC硬件编码模块：用于将NV12格式的视频流利用硬件压缩模块压缩为
H.264格式的视频流，并发送给基于jrtlib库的视频传输模块；
基于jrtlib库的视频发送模块：用于将H.264视频流的NALU单元按照rtp协议拆分，
再通过jrtplib的API函数将拆分后的NALU单元封装为RTP网络包发送给Windows操作
系统环境下的流媒体服务器；
基于jrtlib库的视频接收模块：用于接收来自基于jrtlib库的视频发送模块的RTP网络
包，校验后重组为完整的H.264的NALU单元，并发送给基于FFmpeg库的视频解压模块；
FFmpeg库的视频解压模块：用于将接收到的H.264视频流解码为BGR888视频流，并
发送给基于OpenCV的STC目标跟踪算法模块；
基于OpenCV的STC目标跟踪算法模块：用于利用OpenCV库编写STC目标跟踪算
法并对视频流进行运算，生成机器人控制信号后发送给串口信号发送模块；
串口信号发送模块：用于接收来自基于OpenCV的STC目标跟踪算法模块的机器人控
制信号，以及将控制信号发送给机器人运动控制模块；
机器人运动控制模块：用于控制目标跟踪机器人跟踪目标。
2.根据权利要求1所述的基于Wi...

【专利技术属性】
技术研发人员：管凤旭，赵拓，杜俊琪，徐健，严浙平，张西磊，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23