数字视网膜视频流和特征流联合编解码方法、装置及系统制造方法及图纸

本申请涉及数字视网膜视频流和特征流联合编解码方法、装置及系统。所述编码方法包括：获取数字视网膜视频；在数字视网膜视频中基于视频分割得到当前帧图像；将当前帧图像输入训练好的基于深度学习的特征提取模型中，获得当前帧图像对应的原始特征数据；基于当前帧图像生成的运动矢量数据和参考帧，生成当前帧图像的运动补偿帧图像；将运动补偿帧图像输入至训练好的基于深度学习的特征提取模型中，得到运动补偿帧图像对应的补偿特征数据；计算补偿特征数据和原始特征数据的特征差值，并基于特征差值进行编码。本申请实现了视频流和特征流联合编码方法，能节省较多的带宽和存储空间，且能提升编码效率。能提升编码效率。能提升编码效率。

【技术实现步骤摘要】
数字视网膜视频流和特征流联合编解码方法、装置及系统


[0001]本申请涉及自适应识别
，更为具体来说，本申请涉及数字视网膜视频流和特征流联合编解码方法、装置及系统。

技术介绍

[0002]自从数字视网膜概念提出以来，在视频编解码、视频监控等领域引起了较大的关注。在传统的图像处理领域，视频压缩和视频分析分属不同的两个领域，但数字视网膜技术受人类视网膜的生物学功能启发，率先提出了视频压缩、视频分析一体化的智能图像传感器。具体而言，数字视网膜的特点在于能够同时获得视频压缩数据和视频特征数据，并通过数据流传送至云端，便于后期的回放和检索。
[0003]在当前的视频流压缩方面，普遍使用了基于分块预测的方法，这种方法能够大幅度压缩视频数据中的时空冗余信息，并使用熵编码的方法压缩信息中的统计冗余。特征流是基于图像分析技术分析出的图像复杂特征，数字视网膜将同时发送压缩视频流和特征流到云端或存储器。然而，这意味着特征数据由于没有使用压缩技术导致特征流数据量大于压缩视频流，这是在各种应用场景中不希望看到的，会使用较多的带宽和存储空间。

技术实现思路

[0004]基于上述技术问题，本申请实施例提供了数字视网膜视频流和特征流联合编解码方法、装置及系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0005]本专利技术第一方面提供了一种数字视网膜视频流和特征流联合编码方法，包括：获取数字视网膜视频；在所述数字视网膜视频中基于视频分割得到当前帧图像；将所述当前帧图像输入训练好的基于深度学习的特征提取模型中，获得所述当前帧图像对应的原始特征数据；基于运动矢量数据和参考帧，生成所述当前帧图像的运动补偿帧图像；将所述运动补偿帧图像输入至所述训练好的基于深度学习的特征提取模型中，得到所述运动补偿帧图像对应的补偿特征数据；计算所述补偿特征数据和所述原始特征数据的差值，并基于所述特征差值进行编码。
[0006]具体地，所述参考帧至少包括第一参考帧和第二参考帧，所述运动矢量数据至少包括第一运动矢量数据和第二运动矢量数据，所述基于所述当前帧图像生成的运动矢量数据和参考帧，生成所述当前帧图像的运动补偿帧图像，包括：所述当前帧图像中第一编码单元基于所述第一参考帧与所述第一运动矢量数据生成第一运动补偿帧；
所述当前帧图像中第二编码单元基于所述第二参考帧与所述第二运动矢量数据生成第二运动补偿帧。
[0007]进一步地，所述基于所述当前帧图像生成的运动矢量数据和参考帧，生成所述当前帧图像的运动补偿帧图像，还包括：按照生成第一运动补偿帧和第二运动补偿帧的生成方法生成所述当前帧图像除第一运动补偿帧和第二运动补偿帧之外的其他运动补偿帧，并将所述第一运动补偿帧和第二运动补偿帧及其他运动补偿帧合成为所述运动补偿帧图像。
[0008]优选地，所述参考帧通过帧内预测方式得到，所述运动矢量数据为指示编码树单元与所述参考帧之间的空间关系的数据。
[0009]优选地，所述基于所述特征差值进行编码之前，还包括将所述特征差值进行域变换。
[0010]本专利技术第二方面提供了一种数字视网膜视频流和特征流联合编码装置，所述装置包括：第一获取模块，用于获取数字视网膜视频；分割模块，用于在所述数字视网膜视频中基于视频分割得到当前帧图像；第一特征提取模块，用于将所述当前帧图像输入训练好的基于深度学习的特征提取模型中，获得所述当前帧图像对应的原始特征数据；运动补偿模块，用于基于运动矢量数据和参考帧，生成所述当前帧图像的运动补偿帧图像；第二特征提取模块，用于将所述运动补偿帧图像输入至所述训练好的基于深度学习的特征提取模型中，得到所述运动补偿帧图像对应的补偿特征数据；计算编码模块，用于计算所述补偿特征数据和所述原始特征数据的特征差值，并基于所述特征差值进行编码。
[0011]优选地，所述编码装置还包括变换模块，用于将所述特征差值进行域变换。
[0012]本专利技术第三方面提供了一种数字视网膜视频流和特征流联合解码方法，包括：获取欲解码图像；对所述欲解码图像进行解码，得到特征差值；基于运动矢量数据和参考帧，生成所述欲解码图像的运动补偿帧图像；将所述运动补偿帧图像输入训练好的基于深度学习的特征提取模型中，得到所述运动补偿帧图像对应的补偿特征数据；基于所述补偿特征数据和所述特征差值得到原始特征数据。
[0013]本专利技术第四方面提供了一种数字视网膜视频流和特征流联合解码装置，包括：第二获取模块，用于获取欲解码图像；特征差值提取模块，用于对所述欲解码图像进行解码，得到特征差值；补偿帧生成模块，用于基于运动矢量数据和参考帧，生成所述欲解码图像的运动补偿帧图像；补偿特征取得模块，用于将所述运动补偿帧图像输入训练好的基于深度学习的特征提取模型中，得到所述运动补偿帧图像对应的补偿特征数据；原始特征取得模块，用于基于所述补偿特征数据和所述特征差值得到原始特征数
据。
[0014]优选地，所述解码装置还包括原始图像获得模块，用于基于所述原始特征数据得到原始图像数据。
[0015]本专利技术第五方面提供了一种数字视网膜视频流和特征流联合编解码系统，所述系统包括本申请各实施方式中所述的数字视网膜视频流和特征流联合编码装置和本申请各实施方式中所述的数字视网膜视频流和特征流联合解码装置。
[0016]本申请的有益效果为：本申请所述方法与装置实现了视频流和特征流联合编码；基于运动矢量数据和参考帧生成当前帧图像的运动补偿帧图像，利用训练好的基于深度学习的特征提取模型得到当前帧图像对应的原始特征数据和补偿特征数据，使二者特征数据平滑匹配，解决了特征数据由于没有使用压缩技术导致特征流数据大于压缩数据的问题；通过计算补偿特征数据和原始特征数据的差值，并基于所述特征差值进行编码，节省了较多的带宽和存储空间，大大提升了编码效率。同样地，将所述运动补偿帧图像输入训练好的基于深度学习的特征提取模型中，得到所述运动补偿帧图像对应的补偿特征数据，基于所述补偿特征数据和所述特征差值得到原始特征数据，这一与本申请编码过程对应的解码过程也大大提升了解码效率。
附图说明
[0017]构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
[0018]参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：图1示出了本申请一示例性实施例的方法流程示意图；图2示出了传统的基于运动预测和补偿在视频压缩示意图；图3示出了本申请一示例性实施例中视频帧划分示意图；图4示出了本申请一示例性实施例中数字视网膜原理示意图；图5示出了本申请一示例性实施例中运动补偿帧生成示意图；图6示出了本申请一示例性实施例中运动补偿帧与当前帧的对比示意图；图7示出了本申请一示例性实施例中真实的视频流中的编码图像数据；图8示出了本申请一示例性实施例中数字视网膜视频流和特征流联合编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字视网膜视频流和特征流联合编码方法，其特征在于，包括：获取数字视网膜视频；在所述数字视网膜视频中基于视频分割得到当前帧图像；将所述当前帧图像输入训练好的基于深度学习的特征提取模型中，获得所述当前帧图像对应的原始特征数据；基于运动矢量数据和参考帧，生成所述当前帧图像的运动补偿帧图像；将所述运动补偿帧图像输入至所述训练好的基于深度学习的特征提取模型中，得到所述运动补偿帧图像对应的补偿特征数据；计算所述补偿特征数据和所述原始特征数据的特征差值，并基于所述特征差值进行编码。2.根据权利要求1所述的数字视网膜视频流和特征流联合编码方法，其特征在于，所述参考帧至少包括第一参考帧和第二参考帧，所述运动矢量数据至少包括第一运动矢量数据和第二运动矢量数据，所述基于所述当前帧图像生成的运动矢量数据和参考帧，包括：所述当前帧图像中第一编码单元基于所述第一参考帧与所述第一运动矢量数据生成第一运动补偿帧；所述当前帧图像中第二编码单元基于所述第二参考帧与所述第二运动矢量数据生成第二运动补偿帧。3.根据权利要求2所述的数字视网膜视频流和特征流联合编码方法，其特征在于，所述方法还包括：按照生成第一运动补偿帧和第二运动补偿帧的方法生成所述当前帧图像除第一运动补偿帧和第二运动补偿帧之外的其他运动补偿帧；将所述第一运动补偿帧和第二运动补偿帧及其他运动补偿帧合成为所述运动补偿帧图像。4.根据权利要求1
‑
3任一所述的数字视网膜视频流和特征流联合编码方法，其特征在于，所述基于所述特征差值进行编码之前，还包括将所述特征差值进行域变换。5.一种数字视网膜视频流和特征流联合编码装置，其特征在于，所述装置包括：第一获取模块，用于获取数字视网膜视频；分割模块，用于在所述数字视网膜视频中基于视频分割得到当前帧图像；第一特征提取模块，用于将所述当前帧图像输入训练好的基于深度学习的特征提取模型中...

【专利技术属性】
技术研发人员：滕波，王琪，向国庆，周东东，洪一帆，张羿，焦立欣，
申请(专利权)人：浙江智慧视频安防创新中心有限公司，
类型：发明
国别省市：