视频会议内容和质量检测设备及检测方法技术

本发明专利技术公开了一种视频会议内容和质量检测设备及检测方法，检测设备的电路板包括四核A57 ARM CPU和256个CUDA核心的NVIDIA Maxwell GPU，以及分别与四核A57 ARM CPU和256个CUDA核心的NVIDIA Maxwell GPU连接的存储器，CSI接口、千兆以太网接口、AUDIO接口和GPIOs接口。本发明专利技术使用基于NVIDIA Jetson TX1的视频会议检测设备，通过内置的多任务卷积神经网络算法对所输入的视频图像中的参会人脸进行检测，然后根据视频图像上叠加的会场字幕名称实现对会场参会人数的记录；最终从参会人数和视频质量两个方面达到保障和提升视频会议效果的目的。

【技术实现步骤摘要】
视频会议内容和质量检测设备及检测方法
本专利技术涉及一种视频会议内容和质量检测设备及检测方法。
技术介绍
视频会议系统可以提供高清晰度、高效率的远程会议和办公服务，能够有效提升企业沟通效率、缩减差旅费用、提高管理成效，同时视频会议还可在内部的远程教育和培训等多个方面助力企业降低成本提高效率。但目前视频会议中的视频图像质量等均缺乏有效的自动化检测手段，通常都是通过人工方式完成。典型的视频会议场景如图1所示，视频会议举行时通过电视墙服务器对视频会议各分会场的视频图像进行解码，然后将需要监控的各会场视频信号通过监控电视播放出来，会议服务人员在会议举行期间观察监控电视屏幕的分会场图像情况，当出现某个会场图像质量劣化甚至丢失时，会议服务人员手动将出现问题的会场图像从视频会议轮询队列中剔除；在需要观察的分会场数量较多或服务人员出现异常时很难保证及时发现和剔除图像质量出现问题的分会场视频。
技术实现思路
为了克服现有技术的缺点，本专利技术提供了一种视频会议内容和质量检测设备及检测方法，基于视频会议中各会场的视频图像数据流实现对视频会议参会人员的检测并监测图像质量的变化情况，对各会场的参会人数进行统计并在检测到有会场出现图像质量问题时通过声光提供异常状态报告，提示会议服务人员及时作出处置和响应。本专利技术所采用的技术方案是：一种视频会议内容和质量检测设备，包括金属壳体和设置在金属壳体内的电路板，所述电路板包括四核A57ARMCPU和256个CUDA核心的NVIDIAMaxwellGPU，以及分别与四核A57ARMCPU和256个CUDA核心的NVIDIAMaxwellGPU连接的存储器，CSI接口、千兆以太网接口、AUDIO接口和GPIOs接口。本专利技术还提供了一种视频会议内容和质量检测方法，包括如下步骤：步骤一、通过高清视频采集卡实现对视频会议目标分会场的视频图像采集，得到待检测的会议视频流；步骤二、检测会议视频流的图像质量是否为重大异常：若是，则提示异常记录，并在图像质量满足特定异常情况时将检测出现视频图像异常的分会场从轮询队列中剔除；反之，则进入步骤三；步骤三、检测图像质量是否满足参会人数的要求：若否，则提示异常记录；若是，则进入步骤四；步骤四、对当前视频信号进行人脸检测，并将检测结果写入数据库。与现有技术相比，本专利技术的积极效果是：本专利技术通过使用基于NVIDIAJetsonTX1的视频会议检测设备，视频会议服务人员无需在会议期间对各分会场的图像随时进行实时观察，极大的降低了会议服务人员的工作强度，减少了由于人工干预可能带来错检、漏检等误操作影响，加快了对异常情况的响应处理速度；且检测设备通过内置的多任务卷积神经网络算法对所输入的视频图像中的参会人脸进行检测，然后根据视频图像上叠加的会场字幕名称实现对会场参会人数的记录；最终从参会人数和视频质量两个方面达到保障和提升视频会议效果的目的。附图说明本专利技术将通过例子并参照附图的方式说明，其中：图1是典型的视频会议场景示意图；图2是本检测设备的电路板的结构原理框图；图3为本检测设备的外形结构示意图：(1)为设备正面；(2)为设备背面；图4为使用本检测设备时视频会议的场景示意图；图5为使用本检测设备工作时的检测流程图。具体实施方式一种视频会议内容和质量检测设备，外形为一个高度较矮的金属外壳长方体，内部安装有基于NVIDIAJetsonTX1套件的电路板。NVIDIAJetsonTX1套件配置了4GBLPDDR4和16GB的eMMC存储器；套件的电路结构原理框图如图2所示。JetsonTX1套件自身即带有大量丰富的外部接口，本检测设备中主要使用了其中的CSI接口、千兆以太网接口、AUDIO接口和少量GPIOs接口。具体来说检测设备通过Toshiba的TC358840XBG芯片将输入的视频流信号由HDMI流转换为CSI视频，然后通过JetsonTX1套件的CSI接口完成输入；相关视频流信号经JetsonTX1套件中的四核A57ARMCPU和256个CUDA核心的NVIDIAMaxwellGPU处理完成视频叠加字符识别、视频质量和参会人数检测；千兆以太网用于提供与外部设备的通讯服务；AUDIO接口用于输出声音信号；GPIOs用于控制设备状态显示灯。本检测设备的外形结构如图3所示，设备正面外部有一个状态指示灯1用于展示检测系统当前的工作状态，有一个喇叭2用于输出声音信号；设备背面有一个HDMI接口3用于输入待检测的视频流，一个RJ45接口4用于和外界进行数据通讯，一个直流插座5用于为检测设备提供电源。设备在工作时直接通过后面的HDMI接口输入待检测的视频会议图像信号完成对应会场的参会人数和视频质量检测工作。当设备检测到HDMI接口中没有视频信号输入时设备将进入低功耗状态；当设备检测到视频信号时将在视频图像的正下方约定区域搜索代表会场名称的数字字幕并进行识别，随后每间隔10秒进行一次图像质量和参会人数检测，相关检测结果与系统时间、会场名称编码绑定后保存在检测设备本地，并通过TCP/IP协议在指定端口为外界终端提供相关数据的查询服务。视频质量检测以动态背景建模为基础，通过一定时间的会场画面建立正常会议视频信号的模型，通过融入帧间差分，对视频前后帧的运动目标进行分析，并结合视频图像的颜色和亮度分布数据，对视频图像的信号丢失、亮度偏色、模糊抖动、雪花噪点、纵横条纹问题进行实时自动监测；参会人数统计则是通过MTCNN多任务卷积神经网络完成。使用基于NVIDIAJetsonTX1的视频会议图像检测设备时视频会议的场景如图4所示，在进行视频会议服务时通过电视墙服务器将视频会议图像输出到检测设备上，检测设备可以对输入的视频会议会场图像进行参会人数检测和视频质量检测，相关检测结果保存在设备本地并可通过网络接口进行数据交互和通讯。本专利技术还提供了一种视频会议内容和质量的检测方法，包括如下内容：在部署本视频会议辅助系统之前视频会议运维服务人员通过电视墙服务器对视频会议各分会场的数据进行解码并通过显示屏进行显示输出，然后由服务人员肉眼对需要关注的会场进行监测。部署本系统之后检测服务器可以取代原来的显示屏接收电视墙服务器的显示输出，具体来说是通过检测服务器上安装的高清视频采集卡完成，本系统选定的高清视频采集卡上拥有与电视墙服务器显示输出端口对应的DVI接口，将原来接到显示器的DVI线缆连到高清视频采集卡上，调用高清视频采集卡的驱动程序即可实现对视频会议目标分会场的视频图像采集。然后基于这些视频图像流数据完成视频会议各分会场的参会人数统计和分会场视频质量监测功能。如图5所示，本专利技术的检测方法包括如下步骤：具体来说系统首先对采集到的视频流进行质量检测，判断视频图像质量是否达到正常举行视频会议的需要以及是否会影响对参会人员人数的统计。主要针对聚焦测度、灰度值、L亮度通道、A彩色通道、B彩色通道、抖动间隙、X偏移量、Y偏移量、噪点容度等进行图像质量判断。其中图像的偏色不仅与图像色度的平均值有直接关系，还与图像的色度分布特性有关。如果在a-b色度坐标平面上的二维直方图中色度分布基本上为单峰值，或者分布较为集中，而色度平均值又较大时，一般都存在偏色，而且色度平均值越大，偏色越严重。因此引入等效圆的概念，采用图像平均色度D和色本文档来自技高网...

【技术保护点】
1.一种视频会议内容和质量检测设备，其特征在于：包括金属壳体和设置在金属壳体内的电路板，所述电路板包括四核A57 ARM CPU和256个CUDA核心的NVIDIA Maxwell GPU，以及分别与四核A57 ARM CPU和256个CUDA核心的NVIDIA Maxwell GPU连接的存储器，CSI接口、千兆以太网接口、AUDIO接口和GPIOs接口。

【技术特征摘要】
1.一种视频会议内容和质量检测设备，其特征在于：包括金属壳体和设置在金属壳体内的电路板，所述电路板包括四核A57ARMCPU和256个CUDA核心的NVIDIAMaxwellGPU，以及分别与四核A57ARMCPU和256个CUDA核心的NVIDIAMaxwellGPU连接的存储器，CSI接口、千兆以太网接口、AUDIO接口和GPIOs接口。2.根据权利要求1所述的视频会议内容和质量检测设备，其特征在于：所述四核A57ARMCPU和256个CUDA核心的NVIDIAMaxwellGPU用于完成视频叠加字符识别、视频质量和参会人数检测；所述CSI接口用于完成视频流信号的输入、所述千兆以太网接口用于提供与外部设备的通讯服务；所述AUDIO接口用于输出声音信号；所述GPIOs用于控制设备状态显示灯。3.根据权利要求2所述的视频会议内容和质量检测设备，其特征在于：在金属壳体正面外部设置有一个与GPIOs接口对应的状态指示灯和一个与AUDIO接口对应的喇叭。4.根据权利要求2所述的视频会议内容和质量检测设备，其特征在于：在金属壳体背面设置有一个与CSI接口对应的HDMI接口和一个与千兆以太网接口对应的RJ45接口。5.根据权利要求1所述的视频会议内容和质量检测设备，其特征在于：所述存储器为4GBLPDDR4和16GB的eMMC。6.一种视频会议内容和质量检测方法，其特征在于：包括如下步骤：步骤一、...

【专利技术属性】
技术研发人员：吴强，凌志祥，李辉，刘宇明，李科，裴广，张衡，何清，张俊酉，余楚才，
申请(专利权)人：云南电网有限责任公司，
类型：发明
国别省市：云南,53