一种运行在边缘设备上的视频隐私数据模糊化方法技术

本发明专利技术公开了一种运行在边缘设备上的视频隐私数据模糊化方法，包括算法模型设计及算法模型搭建、模型优化、模型量化及加速、模型迁移至移动端设备运行；本发明专利技术的有益效果是：提供一种运算资源需求低，运算速度快，可以在移动端上运行，不依赖其他服务器资源的隐私自动模糊系统，保护公开视频中他人的隐私；采用多目标跟踪算法跟踪对象，可以实现指定模糊对象或记录指定目标的运动轨迹；使用TensorRT对算法模型进行量化及优化加速，降低部署难度，同时算法运行时，采用三个线程分别处理预处理、模型推理和后处理三个部分，以提高运行效率。以提高运行效率。以提高运行效率。

【技术实现步骤摘要】
一种运行在边缘设备上的视频隐私数据模糊化方法


[0001]本专利技术属于计算机视觉
，具体涉及一种运行在边缘设备上的视频隐私数据模糊化方法。

技术介绍

[0002]监控及其他摄像设备的应用范围越来越广泛，如小区的监控设备、或厨房环境通过摄像头公开、或者需要通过摄像采集视频然后上传网上公布；与此同时，人们对隐私保护也日益重视，厨房的监控公开虽然能帮助人们对厨房卫生环境进行监督，但同时也导致了厨师们的隐私泄露；将视频发布在网上是一种高效的传播途径，同时网络数据的高效传播性和可搜索性也更加容易造成视频中他人的隐私泄露。
[0003]现有的处理方式主要为后期脱敏处理，而后期脱敏需要耗费人力处理，而且后期处理不适用于在线监控设备，同时其处理方式大多为逐帧处理，效率较低。
[0004]计算机视觉技术中分割技术能较快速的得出视频中所有人的掩膜，分割技术可以分为语义分割技术与实例分割技术；但语义分割与实例分割不同的是，语义分割是指像素级的分类，将图像中每一个像素点进行分类，以人为例，即判断每个像素点是否是人的一部分；实例分割是在语义分割的基础上进一步的区分，不仅区分人与背景，同时能区分人与人；因此语义分割可以做到快速的分割，但不够灵活，且当目标对象相对图像占比不大时，其分割精度较低，实例分割技术较为灵活，但其计算量也更大，需要做更多的处理才能在低算力设备上运行；同时实例级别的处理可以方便的加入目标跟踪技术。
[0005]卷积神经网络能实现较高精度的实例分割，但实例分割其运算量巨大，大多只能在服务器端运行，很难直接部署到移动端设备上；而随着社会的高速发展，摄像设备的数目也呈爆发性增长；很难单靠服务器来处理大规模的实例分割算法，同时采用服务器处理在视频数据上传的过程中本身就存在隐私泄漏的风险，因此需要一种能在边缘设备上进行边缘计算的方法，来实时的处理这些数据，其中边缘计算，是指在靠近物或数据源头的一侧，其应用程序在边缘设备上运行，产生更快的服务响应，满足实时业务。
[0006]为了降低运算资源需求，不依赖其他服务器资源，保护公开视频中他人的隐私，实现指定模糊对象或记录指定目标的运动轨迹，为此我们提出一种运行在边缘设备上的视频隐私数据模糊化方法。

技术实现思路

[0007]本专利技术的目的在于提供一种运行在边缘设备上的视频隐私数据模糊化方法，降低运算资源需求，不依赖其他服务器资源，保护公开视频中他人的隐私，实现指定模糊对象或记录指定目标的运动轨迹。
[0008]为实现上述目的，本专利技术提供如下技术方案：一种运行在边缘设备上的视频隐私数据模糊化方法，包括算法模型搭建和模型运行，所述方法如下：
[0009]步骤一：模型初始化，包括根据配置文件搭建模型、对训练好的模型优化加速、初
始化跟踪器；
[0010]步骤二：获取视频序列，并导入到运行平台中；
[0011]步骤三：采用轻量型网络及FPN结构进行特征提取；
[0012]步骤四：通过实例分割算法获取图像的检测结果和实例掩膜；
[0013]步骤五：通过多目标跟踪算法为检测到的每个对象分配一个ID；
[0014]步骤六：通过ID控制对象是否进行模糊处理。
[0015]作为本专利技术的一种优选的技术方案，所述步骤一中，优化加速方法为：先将PyTorch模型转为中间格式文件ONNX后，再由TensorRT优化加速。
[0016]作为本专利技术的一种优选的技术方案，所述步骤二中，运行平台为支持C++或Python的运行平台或应用于NVIDIA Jetson设备。
[0017]作为本专利技术的一种优选的技术方案，所述步骤三中，特征提取网络选用轻量型特征提取网络ShuffleNet V2或MobileNet。
[0018]作为本专利技术的一种优选的技术方案，所述步骤四中，实例分割算法包含2个子任务，分别为目标检测与掩膜生成。
[0019]作为本专利技术的一种优选的技术方案，所述目标检测是指对于输入的图像，通过算法在图像中找出所有的人，其结果为用包围框将人框选出来表示，目标检测的输出结果包括分类和回归。
[0020]作为本专利技术的一种优选的技术方案，所述掩膜生成方式为一种原始掩膜与掩膜系数组合的方式；其中原始掩膜无关图像中具体的人，掩膜系数与具体的人相关，每个人生成一组掩膜系数。
[0021]作为本专利技术的一种优选的技术方案，所述步骤五中，多目标跟踪算法为SORT算法。
[0022]作为本专利技术的一种优选的技术方案，所述步骤六中，通过ID针对性的对部分人进行模糊处理，且在不同时间段可更改ID来更改模糊对象，以防跟踪算法跟错对象。
[0023]作为本专利技术的一种优选的技术方案，视频输入可从文件中读取视频或直接读取相机视频进行处理，视频读取库为OpenCV。
[0024]作为本专利技术的一种优选的技术方案，使用TensorRT对算法模型进行量化及优化加速，降低部署难度，同时算法运行时，采用三个线程分别处理预处理、模型推理和后处理三个部分。
[0025]与现有技术相比，本专利技术的有益效果是：
[0026](1)提供一种运算资源需求低，可以在移动端上运行，不依赖其他服务器资源的隐私自动模糊系统，保护公开视频中他人的隐私；采用跟踪算法跟踪对象，可以实现指定模糊对象或记录指定目标的运动轨迹；
[0027](2)使用TensorRT对算法模型进行量化及优化加速，降低部署难度，同时算法运行时，采用三个线程分别处理预处理、模型推理和后处理三个部分，以提高运行效率。
附图说明
[0028]图1为本专利技术的方法流程图；
[0029]图2为本专利技术的模型运行流程图；
[0030]图3为本专利技术的实例分割算法模型图；
[0031]图4为本专利技术的模型转换流程图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]请参阅图1、图2、图3和图4，本专利技术提供一种技术方案：一种运行在边缘设备上的视频隐私数据模糊化方法，包括算法模型搭建和模型运行，方法如下：
[0034]步骤一：模型初始化，包括根据配置文件搭建模型、对训练好的模型优化加速、初始化跟踪器；模型初始化，包括根据配置文件搭建模型、通过神经网络加速对训练好的模型进行优化加速及初始化跟踪器，其中神经网络加速是为了进一步提高模型的运行速度，使用TensorRT进行推理加速，TensorRT是一个针对NVIDIA GPU的高性能深度学习推理加速优化器，深度学习框架PyTorch实现的模型不能直接由TensorRT优化，因此采用先将PyTorch模型转为中间格式文件ONNX后，再由TensorRT优化加速；
[0035]步骤二：将获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运行在边缘设备上的视频隐私数据模糊化方法，其特征在于：包括算法模型搭建和模型运行，所述方法如下：步骤一：模型初始化，包括根据配置文件搭建模型、对训练好的模型优化加速、初始化跟踪器；步骤二：获取视频序列，并导入到运行平台中；步骤三：采用轻量型网络及FPN结构进行特征提取；步骤四：通过实例分割算法获取图像的检测结果和实例掩膜；步骤五：通过多目标跟踪算法为检测到的每个对象分配一个ID；步骤六：通过ID控制对象是否进行模糊处理。2.根据权利要求1所述的一种运行在边缘设备上的视频隐私数据模糊化方法，其特征在于：所述步骤一中，优化加速方法为：先将PyTorch模型转为中间格式文件ONNX后，再由TensorRT优化加速。3.根据权利要求1所述的一种运行在边缘设备上的视频隐私数据模糊化方法，其特征在于：所述步骤二中，运行平台为支持C++或Python的运行平台或应用于NVIDIA Jetson设备。4.根据权利要求1所述的一种运行在边缘设备上的视频隐私数据模糊化方法，其特征在于：所述步骤三中，特征提取网络选用轻量型特征提取网络ShuffleNet V2或MobileNet。5.根据权利要求1所述的一种运行在边缘设备上的视频隐私数据模糊化方法，其特征在于：所述步骤四中，实例分割算法包含2个子任务，分别为目标检测与掩膜生成。6.根...

【专利技术属性】
技术研发人员：张泽华，李向阳，高焕丽，罗家祥，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：