面向高清高速视频的多通道多模态背景建模方法技术

本发明专利技术提供了一种面向高清高速视频的多通道多模态背景建模方法，包括：步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。通过构建的多通道多模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。

Multi-channel and multimodal background modeling method for high-speed HD video

【技术实现步骤摘要】
面向高清高速视频的多通道多模态背景建模方法
本专利技术涉及视频数据挖掘
，特别涉及面向高清高速视频的多通道多模态背景建模方法。
技术介绍
高清高速视频拍摄技术是科研领域和高精尖工业产品研发领域中，观察分析高速运动目标物体时空变化细节的一种常用技术手段。由于高清高速视频的时空信息量十分巨大，很难凭靠人工进行量化分析，因此必须依赖于自动化分析手段对此类视频数据进行挖掘。视频背景建模是一种最常用的视频数据挖掘技术，该技术的实质是通过对已有视频数据的学习，实现对视频中每个像素点特定视觉特征动态变化范围的数学建模。视频背景建模技术通常被用于自动检测新输入视频帧中的显著性异常变化，即当新输入视频帧中某个像素点的特定视觉特征值明显不符合该像素点对应的数学模型时，该异常像素点将被计算机自动辨识出来并做进一步分析处理。因此，高清高速视频背景建模技术可被用于自动检测高速运动目标物体的多种异常时空微变化。目前，最常用的视频背景建模技术是逐点式实时建模法，该类方法需要为视频中每一个像素点分别构建一套独立的数学模型，并逐帧对所有像素点的数学模型进行迭代更新。对于具有高帧率(每秒数百帧以上)、高分辨率(每帧数百万像素点)的高清高速视频而言，逐点式实时建模法不仅需要构建并存储数百万个独立的数学模型，并且需要在一秒钟内对数百万个数学模型进行数百次以上地迭代更新，这显然需要极高的计算性能和内存资源，普通计算机设备难以满足如此苛刻的性能要求。因此，在实际应用中传统的逐点式实时建模法往往不适用于面向高清高速视频的背景建模。专利(ZL201610072455.3)提出了一种非逐点式的实时建模方法，该专利的核心方法是对视频中处于同一个灰度(或称亮度)等级上的所有像素点统一建模，以此替代对每一个像素点进行单独建模。由于视频中灰度等级的数量远远少于像素点的数量，因此所需构建的数学模型的数量也大幅度减少。该专利方法的优点是：提供了一种适用于高分辨率视频的高效背景建模方法，能够在不增加任何软硬件计算资源的条件下，高效地实现对固定场景的高分辨率视频的背景建模，显著降低建模运算量，提高计算效率，减小存储资源的消耗，克服了传统逐点式实时建模法不适用于高分辨率视频背景建模的问题。然而，上述专利(ZL201610072455.3)也存在以下几方面的不足：1)一律将彩色视频转换为灰度视频，未充分利用视频中的彩色信息；2)未充分利用不同视频通道中的不同视觉特征；3)所构建的单模态背景模型无法足够精确地描述具有复杂动态性的像素点；4)所用的训练样本不能实时更新，导致模型精度会随着时间的增长而下降；5)只适合处理正常帧率的高清视频，在处理高速的高清视频时计算效率仍然明显不足。综上所述，上述专利方法用于对包含复杂动态性场景的高清高速视频背景建模时，会存在准确性不足、精度衰减快，计算效率不足等突出问题。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种面向高清高速视频的多通道多模态背景建模方法，该方法属于非逐点式的实时建模方法，所构建的多通道多模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。本专利方法不仅克服了传统逐点式实时建模方法存在严重计算冗余和存储冗余的固有缺陷，也克服了现有类似专利中存在视频信息利用不充分、单模态模型准确性不足、模型精度随时间退化，以及不适用于高速视频等不足，提供了一种适用于高清高速视频的背景建模方法。本专利技术实施例提供一种面向高清高速视频的多通道多模态背景建模方法，包括：步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。在一种可能实现的方式中，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：步骤S01:将所述第一视频从RGB颜色空间转换为HSI颜色空间；其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；步骤S02:将所述色调H、所述饱和度S和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述饱和度S的值域从[0,1]线性映射为[1,360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值、饱和度S值、强度I值为隶属于[1,360]的自然数。在一种可能实现的方式中，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。在一种可能实现的方式中，构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型的步骤包括：步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；步骤S24：根据所述步骤S22-S23，计算所述A1区域在S通道上的实时更新的背景模型，且包含：在S通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值以及在S通道上的n+g帧时刻所有像素点共享的背景模型学习率步骤S25：根据所述步骤S22-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率步骤S26：根据所述步骤S22-S25，构建所述A1区域对应的HSI三通道多模态实时背景模型。在一种可能实现的方式中，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数、均值、众数，将所述中位数、均值、众数的数据集合作为所述像素点A1(i,j)在第n帧时的多本文档来自技高网...

【技术保护点】
1.面向高清高速视频的多通道多模态背景建模方法，其特征在于，包括：/n步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；/n步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；/n步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；/n步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。/n

【技术特征摘要】
1.面向高清高速视频的多通道多模态背景建模方法，其特征在于，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。


2.如权利要求1所述的方法，其特征在于，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
步骤S02:将所述色调H、所述饱和度S和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述饱和度S的值域从[0,1]线性映射为[1,360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值、饱和度S值、强度I值为隶属于[1,360]的自然数。


3.如权利要求1所述的方法，其特征在于，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。


4.如权利要求1所述的方法，其特征在于，构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S22-S23，计算所述A1区域在S通道上的实时更新的背景模型，且包含：在S通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值以及在S通道上的n+g帧时刻所有像素点共享的背景模型学习率
步骤S25：根据所述步骤S22-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
步骤S26：根据所述步骤S22-S25，构建所述A1区域对应的HSI三通道多模态实时背景模型。


5.如权利要求4所述的方法，其特征在于，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数、均值、众数，将所述中位数、均值、众数的数据集合作为所述像素点A1(i,j)在第n帧时的多模态背景估计值
步骤S2...

【专利技术属性】
技术研发人员：欧英典，童玉娟，张睿，
申请(专利权)人：衢州学院，
类型：发明
国别省市：浙江;33