本申请提供了一种基于感知模型的视频编解码方法及系统，涉及视频处理技术领域，具体为：摄像头采集直播图像，将原始视频帧流发送至采集服务器；采集服务器根据终端设备反馈的主观评测结果对编码目标参数进行更新；基于对抗网络结构化编码模型和更新的编码目标参数对原始视频帧流进行压缩编码，将压缩编码后的数据发送至控制中心；控制中心基于对抗网络结构化解码模型对压缩编码后的数据进行还原解码，将还原解码得到的视频帧流发送至终端设备；终端设备播放视频流，采集观看用户的主观评测结果，将主观评测结果上传至控制中心；控制中心基于感知模型对主观评测结果进行合理性校验。本申请能够显著降低编码复杂度，提升用户体验感。用户体验感。用户体验感。
【技术实现步骤摘要】
一种基于感知模型的视频编解码方法及系统
[0001]本申请涉及视频处理
，尤其是涉及一种基于感知模型的视频编解码方法及系统。
技术介绍
[0002]近年来，随着智能终端的发展以及在线视频等新型业务的普及，网络中传输的视频数据量呈爆炸式增长态势。超高清视频和全景视频的快速发展进一步激化了带宽的供需矛盾。伴随着5G等新兴通信技术的变革，以及4K、8K视频需求增长趋势，沉浸式通信成为了未来无线多媒体通信的重要发展方向，可提供身临其境的沉浸式用户体验，为未来5G网络提供全新的多媒体业务。近年来以全景视频为代表的新型沉浸式通信业务已经开始逐步普及；全景视频覆盖区域为360
×
180度，需超高分辨率像素的支持，将激增未来通信系统传输数据量。
[0003]与观看普通视频不同，用户观看全景视频的视场约110
×
60度，因此360
×
180度覆盖范围下的全景视频大部分区域不会被看到、存在极大的感知冗余，可通过大幅减少全景视频压缩的感知冗余，显著提升其传输效率与用户体验，目前缺乏一种解决该问题的有效的技术方案。
技术实现思路
[0004]有鉴于此，本申请提供了一种基于感知模型的视频编解码方法及系统，以解决现有技术存在的沉浸式用户体验需求与无线通信带宽受限之间的矛盾。
[0005]第一方面，本申请实施例提供了一种基于感知模型的视频编解码方法，应用于摄像头、采集服务器、控制中心和终端设备，包括：所述摄像头采集直播图像，将原始视频帧流发送至采集服务器；所述采集服务器确定编码目标参数，根据终端设备反馈的主观评测结果对编码目标参数进行更新；基于预先训练完成的对抗网络结构化编码模型和更新的编码目标参数对原始视频帧流进行压缩编码，将压缩编码后的数据发送至控制中心；所述控制中心基于预先训练完成的对抗网络结构化解码模型对压缩编码后的数据进行还原解码，将还原解码得到的视频帧流发送至终端设备；所述终端设备播放视频流，采集观看用户的主观评测结果，将主观评测结果上传至控制中心；所述控制中心基于预先训练完成的感知模型对主观评测结果进行合理性校验，将校验通过的主观评测结果发送至所述采集服务器。
[0006]进一步的，所述采集服务器确定编码目标参数，包括：所述采集服务器获取视频帧固有参数、网络参数和终端设备参数，所述视频帧固有参数包括：分辨率、帧率、比特率和画面元素特征；所述网络参数包括：视频传输速率、网络延迟和卡顿时间；终端设备参数包括：屏幕尺寸、CPU以及GPU的内存、频率和型号；根据网络参数和终端设备参数对视频帧固有参数进行更新，确定编码目标参数；
所述编码目标参数包括：分辨率、帧率、比特率和画面元素特征。
[0007]进一步的，所述主观评测结果为主观评测分数；根据终端设备反馈的主观评测结果对编码目标参数进行更新，包括：判断主观评测分数是否小于设定的阈值，若为是，则依次对分辨率、帧率、比特率和画面元素特征进行调整；否则，不更新编码目标参数。
[0008]进一步的，所述对抗网络结构化编码模型为TCN模型；基于预先训练完成的对抗网络结构化编码模型和更新的编码目标参数对摄像头采集的视频帧进行压缩编码；包括：根据预设时间间隔或帧数间隔，从摄像头采集的原始视频帧流中选取关键帧；将更新的编码目标参数作为每个关键帧的特征信息；对于一个关键帧之后的每个非关键帧，提取与关键帧相比发生变化区域的特征轮廓；形成非关键帧的“素描图”；将每个关键帧和其对应的多个“素描图”与传输到控制中心。
[0009]进一步的，所述控制中心基于预先建立的对抗网络结构化解码模型对压缩编码后的数据进行还原解码，包括：所述控制中心接收采集服务器发送的压缩编码后的数据包；以关键帧为模板，基于AI算法利用“素描图”还原出每个非关键帧，并结合特征轮廓还原上色，生成动态视频帧；对动态视频帧按照终端设备能识别的编码格式进行编码。
[0010]进一步的，所述主观评测结果为主观评测分数；所述控制中心基于预先训练完成的感知模型对主观评测结果进行合理性校验，包括：接收终端设备发送的主观评测分数；获取动态视频帧的分辨率、比特率、帧率、画面特征、初始缓冲时延、卡顿次数和卡顿时长；将动态视频帧的分辨率、比特率、帧率、画面元素特征、初始缓冲时延、卡顿次数和卡顿时长，输入预先训练完成的感知模型，得到动态视频帧的视频质量评分；若主观评测分数和视频质量评分差的绝对值大于阈值，则主观评测分数未通过合理性检验，否则，通过合理性检验；将通过合理性检验的主观评测分数发送至采集服务器。
[0011]进一步的，所述感知模型的训练步骤包括：获取包括多个视频的视频集；获取多个被试观看视频的人工打分和脑电响应测试实验结果；对脑电响应测试实验结果进行预处理，得到预处理后的脑电响应测试实验结果；所述预处理包括：去伪迹成分、去眼电成分、去心电成分和去肌电成分；利用预处理后的脑电响应测试实验结果对人工打分进行筛选和修正，得到视频质量评分标签；将播放视频的分辨率、比特率、帧率、画面元素特征、初始缓冲时延、卡顿次数和卡顿时长，输入感知模型，得到预测视频质量评分；利用预测视频质量评分和视频质量评分标签，确定损失函数值；
基于损失函数值，对感知模型的参数进行调整。
[0012]进一步的，所述方法还包括：训练对抗网络结构化编码模型的步骤。
[0013]进一步的，所述方法还包括：训练对抗网络结构化解码模型的步骤。
[0014]第二方面，本申请实施例提供了一种基于感知模型的视频编解码系统，包括：摄像头、采集服务器、控制中心和终端设备；所述摄像头：用于采集直播图像，将原始视频帧流发送至采集服务器；所述采集服务器，用于确定编码目标参数，根据终端设备反馈的主观评测结果对编码目标参数进行更新；基于预先训练完成的对抗网络结构化编码模型和更新的编码目标参数对原始视频帧流进行压缩编码，将压缩编码后的数据发送至控制中心；所述控制中心，用于基于预先建立的对抗网络结构化解码模型对压缩编码后的数据进行还原解码，将还原解码得到的视频帧发送至终端设备；还用于基于预先训练完成的感知模型对主观评测结果进行合理性校验，将校验通过的主观评测结果发送至所述采集服务器；所述终端设备，用于对视频帧进行播放，在播放过程中，采集观看用户的主观评测结果，将主观评测结果上传至所述控制中心。
[0015]本申请利用终端用户对视频质量的主观评测结果对视频编码参数进行动态调整，而且通过感知模型对主观评测结果进行合理性校验，提高了主观评测结果的可靠性，由此提升压缩图像/视频的主、客观质量，显著降低编码复杂度，提升用户体验感。
附图说明
[0016]为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本申请实施例提供的基于感知模型本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于感知模型的视频编解码方法，其特征在于，应用于摄像头、采集服务器、控制中心和终端设备，包括：所述摄像头采集直播图像，将原始视频帧流发送至采集服务器；所述采集服务器确定编码目标参数，根据终端设备反馈的主观评测结果对编码目标参数进行更新；基于预先训练完成的对抗网络结构化编码模型和更新的编码目标参数对原始视频帧流进行压缩编码，将压缩编码后的数据发送至控制中心；所述控制中心基于预先训练完成的对抗网络结构化解码模型对压缩编码后的数据进行还原解码，将还原解码得到的视频帧流发送至终端设备；所述终端设备播放视频流，采集观看用户的主观评测结果，将主观评测结果上传至控制中心；所述控制中心基于预先训练完成的感知模型对主观评测结果进行合理性校验，将校验通过的主观评测结果发送至所述采集服务器。2.根据权利要求1所述的基于感知模型的视频编解码方法，其特征在于，所述采集服务器确定编码目标参数，包括：所述采集服务器获取视频帧固有参数、网络参数和终端设备参数，所述视频帧固有参数包括：分辨率、帧率、比特率和画面元素特征；所述网络参数包括：视频传输速率、网络延迟和卡顿时间；终端设备参数包括：屏幕尺寸、CPU以及GPU的内存、频率和型号；根据网络参数和终端设备参数对视频帧固有参数进行更新，确定编码目标参数；所述编码目标参数包括：分辨率、帧率、比特率和画面元素特征。3.根据权利要求2所述的基于感知模型的视频编解码方法，其特征在于，所述主观评测结果为主观评测分数；根据终端设备反馈的主观评测结果对编码目标参数进行更新，包括：判断主观评测分数是否小于设定的阈值，若为是，则依次对分辨率、帧率、比特率和画面元素特征进行调整；否则，不更新编码目标参数。4.根据权利要求2所述的基于感知模型的视频编解码方法，其特征在于，所述对抗网络结构化编码模型为TCN模型；基于预先训练完成的对抗网络结构化编码模型和更新的编码目标参数对摄像头采集的视频帧进行压缩编码；包括：根据预设时间间隔或帧数间隔，从摄像头采集的原始视频帧流中选取关键帧；将更新的编码目标参数作为每个关键帧的特征信息；对于一个关键帧之后的每个非关键帧，提取与关键帧相比发生变化区域的特征轮廓；形成非关键帧的“素描图”；将每个关键帧和其对应的多个“素描图”与传输到控制中心。5.根据权利要求4所述的基于感知模型的视频编解码方法，其特征在于，所述控制中心基于预先建立的对抗网络结构化解码模型对压缩编码后的数据进行还原解码，包括：所述控制中心接收采集服务器发送的压缩编码后的数据包；以关键帧为模板，基于AI算法利用“素描图”还原出每个非关键帧，并结合特征轮廓还原上色，生...
【专利技术属性】
技术研发人员：宋奇蔚，秦良山，
申请(专利权)人：致讯科技天津有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。