一种基于联邦学习的多模态数据分析方法及系统技术方案

本发明专利技术公开了一种基于联邦学习的多模态数据分析方法及系统。所述基于联邦学习的多模态数据分析方法包括：获取环境图像及音频信息；获取运动轨迹分类器；获取可疑移动物体运动轨迹；提取可疑物体运动轨迹的轨迹特征；获取拍摄到可疑物体运动轨迹的时间段中的音频信息；提取音频信息中的音频特征；对轨迹特征及音频特征进行融合从而获取融合特征；将融合特征输入至运动轨迹分类器从而获取分类标签；当分类标签为危险分类标签时，生成报警信号。本申请可以将各个通信铁塔所具有的数据集在不进行汇总至中心云服务器的情况下，通过联邦学习的方式对运动轨迹分类器进行学习，从而实现在每个通信铁塔所具有的数据集较少的情况下实现分类器的准确分类。下实现分类器的准确分类。下实现分类器的准确分类。

【技术实现步骤摘要】
一种基于联邦学习的多模态数据分析方法及系统


[0001]本申请涉及视频监控
，具体涉及一种基于联邦学习的多模态数据分析方法以及通信铁塔系统。

技术介绍

[0002]大部分通信铁塔均放置在开阔地带，这些地带可能会有各种人员或者动物来回游荡，此时，有些人员可能是通信铁塔的维护者，过来对通信铁塔进行维护，有些人员可能是在通信铁塔附近闲逛或者对通信铁塔好奇从而靠近通信铁塔，例如小孩，而有些人员可能是想偷窃通信铁塔的设备，此时，则需要对通信铁塔周围的情况进行监控，从而根据不同的情况进行不同的处理。
[0003]现有技术中，通信铁塔大部分安装有摄像装置，但是摄像装置仅仅能够进行视频监控，而无法自动判断各种情况以及每种情况出现时的处理方式，只能将视频信息传递给中控室，由使用者来进行人力判断，但是，一方面，浪费了人力，需要一直有使用者进行监控，另一方面，很多情况下，使用者一个人需要监控很多视频，无法集中精力看一个通信铁塔附近的情况，而当注意到有情况时，可能已经出现危险。
[0004]然而，很多情况下，通信铁塔附近的行人或者动物很可能仅仅是闲逛，而并非是带有任何目的的，而另一些情况，可能会出现偷盗者想要偷取通信铁塔上的设备，这种情况下，就需要一种方法来进行报警。
[0005]而现有技术中，经常会出现误报警现象，即没有识别出行为人的真实意图，或者误将动物判断为行人，从而进行报警。
[0006]且现有技术中，各个铁塔的数据互相独立，而分类器在进行训练时，通常需要大量的训练集，每个单独的铁塔无法实现足够的训练集，尤其是一些具有危险标签的训练集，因为大多数情况下每个铁塔可能出现危险的情况不多，导致训练集缺乏。
[0007]因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。

技术实现思路

[0008]本专利技术的目的在于提供一种基于联邦学习的多模态数据分析方法来克服或至少减轻现有技术的至少一个上述缺陷。
[0009]本专利技术的一个方面，提供一种基于联邦学习的多模态数据分析方法，用于通信铁塔系统监控，所述通信铁塔系统包括至少两个通信铁塔以及一个中心云服务器，每个通信铁塔上设置有一个边缘服务器、至少一个摄像装置以及至少一个声音拾取装置，边缘服务器与设置在同一个通信铁塔上的各个摄像装置连接且与设置在同一个通信铁塔上的各个声音拾取装置连接，所述基于联邦学习的多模态数据分析方法包括：
[0010]分别为每个边缘服务器进行如下操作：
[0011]边缘服务器获取与其自身连接的各个摄像装置所拍摄的环境图像以及各个声音拾取装置所传递的音频信息；
[0012]边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器；
[0013]边缘服务器根据各个摄像装置所拍摄的环境图像获取可疑移动物体运动轨迹；
[0014]边缘服务器提取所述可疑物体运动轨迹的轨迹特征；
[0015]边缘服务器获取拍摄到可疑物体运动轨迹的时间段中各个所述声音拾取装置所传递的音频信息；
[0016]边缘服务器提取所述音频信息中的音频特征；
[0017]边缘服务器对所述轨迹特征以及所述音频特征进行融合，从而获取融合特征；
[0018]边缘服务器将所述融合特征输入至经过训练的所述基于联邦学习的运动轨迹分类器，从而获取分类标签，所述分类标签包括危险分类标签；
[0019]当所述分类标签为危险分类标签时，边缘服务器生成报警信号。
[0020]可选地，在所述边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器之前，所述基于联邦学习的多模态数据分析方法进一步包括：
[0021]对基于联邦学习的运动轨迹分类器进行训练。
[0022]可选地，所述边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器包括：
[0023]中心云服务器分别获取每个边缘服务器所传递的参数信息；
[0024]中心云服务器根据每个边缘服务器所传递的参数信息对全局模型进行训练，从而获取经过中心服务器训练的反馈参数信息；
[0025]中心服务器将反馈参数信息传递给各个边缘服务器；
[0026]各个边缘服务器通过获取的反馈参数信息对自身所具有的运动轨迹分类器进行更新，从而获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器。
[0027]可选地，所述边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器进一步包括：
[0028]获取通信铁塔地形数据库，所述通信铁塔地形数据库包括至少两个通信铁塔以及预设人行路线，一个通信铁塔对应一个或多个预设人行路线；
[0029]获取各个通信铁塔的各个预设人行路线组成轨迹路线集合；
[0030]对轨迹路线集合进行聚类，从而获取聚类结果，所述聚类结果包括至少一个聚类集群；
[0031]所述经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器的数量与聚类集群的数量相同，一个经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器的数量用于一个聚类集群；
[0032]所述边缘服务器将所述融合特征输入至经过训练的所述基于联邦学习的运动轨迹分类器包括：
[0033]边缘服务器获取自身提取的所述可疑物体运动轨迹；
[0034]边缘服务器根据所述可疑物体运动轨迹获取该次可疑物体运动所使用的预设人行路线；
[0035]边缘服务器根据该次可疑物体运动所使用的预设人行路线判断所使用的预设人行路线所属聚类集群；
[0036]边缘服务器获取该所属聚类集群所对应的经过中心云服务器进行训练的基于联
邦学习的运动轨迹分类器；
[0037]所述边缘服务器将所述融合特征输入至该所属聚类集群所对应的经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器。
[0038]可选地，所述通信铁塔包括多个距离传感器以及报警装置，所述基于联邦学习的多模态数据分析方法进一步包括：
[0039]所述边缘服务器获取所述报警信号后，获取各个距离传感器的距离信息；
[0040]判断是否有至少一个距离传感器所传递的距离信息在预设时间范围内持续变小，若是，则
[0041]将所述报警信号传递给所述报警装置。
[0042]可选地，在所述边缘服务器生成报警信号之前，所述基于联邦学习的多模态数据分析方法进一步包括：
[0043]所述边缘服务器根据各个环境图像判断所述运动目标是否为人类，若是，则
[0044]边缘服务器生成报警信号。
[0045]可选地，所述边缘服务器根据各个环境图像判断所述运动目标是否为人类包括：
[0046]边缘服务器获取经过中心云服务器进行训练的基于联邦学习的图像分类器；
[0047]边缘服务器提取环境图像的运动目标的图像特征；
[0048]将所述运动目标的图像特征输入至所述经过中心云服务器进行训练的基于联邦学习的图像分类器，从而获取经过中心云服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的多模态数据分析方法，用于通信铁塔系统监控，所述通信铁塔系统包括至少两个通信铁塔以及一个中心云服务器，每个通信铁塔上设置有一个边缘服务器、至少一个摄像装置以及至少一个声音拾取装置，边缘服务器与设置在同一个通信铁塔上的各个摄像装置连接且与设置在同一个通信铁塔上的各个声音拾取装置连接，其特征在于，所述基于联邦学习的多模态数据分析方法包括：分别为每个边缘服务器进行如下操作：边缘服务器获取与其自身连接的各个摄像装置所拍摄的环境图像以及各个声音拾取装置所传递的音频信息；边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器；边缘服务器根据各个摄像装置所拍摄的环境图像获取可疑移动物体运动轨迹；边缘服务器提取所述可疑物体运动轨迹的轨迹特征；边缘服务器获取拍摄到可疑物体运动轨迹的时间段中各个所述声音拾取装置所传递的音频信息；边缘服务器提取所述音频信息中的音频特征；边缘服务器对所述轨迹特征以及所述音频特征进行融合，从而获取融合特征；边缘服务器将所述融合特征输入至经过训练的所述基于联邦学习的运动轨迹分类器，从而获取分类标签，所述分类标签包括危险分类标签；当所述分类标签为危险分类标签时，边缘服务器生成报警信号。2.如权利要求1所述的基于联邦学习的多模态数据分析方法，其特征在于，在所述边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器之前，所述基于联邦学习的多模态数据分析方法进一步包括：对基于联邦学习的运动轨迹分类器进行训练。3.如权利要求2所述的基于联邦学习的多模态数据分析方法，其特征在于，所述边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器包括：中心云服务器分别获取每个边缘服务器所传递的参数信息；中心云服务器根据每个边缘服务器所传递的参数信息对全局模型进行训练，从而获取经过中心服务器训练的反馈参数信息；中心服务器将反馈参数信息传递给各个边缘服务器；各个边缘服务器通过获取的反馈参数信息对自身所具有的运动轨迹分类器进行更新，从而获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器。4.如权利要求3所述的基于联邦学习的多模态数据分析方法，其特征在于，所述边缘服务器获取经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器进一步包括：获取通信铁塔地形数据库，所述通信铁塔地形数据库包括至少两个通信铁塔以及预设人行路线，一个通信铁塔对应一个或多个预设人行路线；获取各个通信铁塔的各个预设人行路线组成轨迹路线集合；对轨迹路线集合进行聚类，从而获取聚类结果，所述聚类结果包括至少一个聚类集群；所述经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器的数量与聚类集群的数量相同，一个经过中心云服务器进行训练的基于联邦学习的运动轨迹分类器的数量用于一个聚类...

【专利技术属性】
技术研发人员：刘春凤，平晓林，白琳，高珊旎，孟祚，
申请(专利权)人：北京北投智慧城市科技有限公司，
类型：发明
国别省市：