一种基于图像超分辨率的移动AR应用上传能耗优化方法技术

一种基于图像超分辨率的移动AR应用上传能耗优化方法，该方法通过上传低分辨率视频，在服务器端根据采集到的视频复杂度信息，相隔一定的距离使用视频编码技术去插入高清视频帧，以达到减小上传视频体积的目的，从而减小上传能耗。本文使用图片超分辨率技术对需要替换的帧解码，然后进行超分辨率，最后再重新编码到视频流中；替换帧之间的距离使用SRD（super

【技术实现步骤摘要】
一种基于图像超分辨率的移动AR应用上传能耗优化方法


[0001]本专利技术属于移动计算
，具体涉及一种基于图像超分辨率的移动AR应用上传能耗优化方法。

技术介绍

[0002]近年来，随着硬件平台的性能不断的提升，增强现实（AR）的应用也有着广阔的前景。随着苹果AR Kit和谷歌AR Core的发布，会有越来越多的开发者参与到移动AR应用的开发中来，支持AR功能的移动设备会进一步扩大内容生态。迄今为止，市场上已经出现了很多成熟的AR应用，如：医学建模、智慧城市以及文物展示等。中国市场AR/VR技术的相关投资预计将在2020年达到57.6亿美元，占比将超过全球市场份额的30%。
[0003]相对于普通的移动应用，移动AR应用的高能耗对于移动设备的电池来说是一个巨大的考验。视频的传输与渲染是该类应用主要的能耗来源，工业及学术界通常将渲染任务卸载到服务器端进行以降低对移动设备的能耗负担，但由于AR应用的实时性，高质量的用户体验需要传输海量的视频数据到服务器端进行处理，从而严重增加了移动设备的通讯开销。
[0004]在如今的移动AR应用中，无论是Vision based AR还是LBS based AR，为了节省移动设备能耗，都需要将移动设备端采集视频信息上传到服务器进行数字视频信息叠加渲染。随着硬件的迅速发展，人们日常所接触到的视频的分辨率变的越来越高，频繁地上传高质量的视频会导致电量过度消耗，这对于移动设备的续航是一个巨大的挑战。

技术实现思路

[0005]为了克服上述现有技术的不足，本专利技术的目的是提供一种基于图像超分辨率的移动AR应用上传能耗优化方法，针对移动MAR应用中视频上传所涉及到的能效问题，选择上传低分辨率视频，然后在服务器端将部分帧输入到超分辨率模型高清还原，其余帧利用帧间相似性进行直接放大处理，从而达到降低上传延迟及能耗的目标。具体来说，在服务器端通过机器学习模型，构建预测还原帧模型，该模型用于选择视频高清还原中的需要还原的帧的间隔，从而保证高质量的用户观感。最终实现在降低上传开销的同时，不会额外增加服务器处理负担的目标。
[0006]为了实现上述目的，本专利技术采用的技术方案是：一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，包括以下步骤：1）对于输入的视频提取其描述视频时空复杂性的特征；2）使用多媒体视频处理工具ffmpeg实现在视频中插入或替换一帧的功能，对于步骤1）输入的每一个视频按照一定的间隔插入高清的视频帧，视频的间隔选择（1，3，5，7，9，11，13，15），并分别计算这些视频与原始高清视频的峰值信噪比PSNR；4）选择合适的还原间隔作为标签，选择步骤1）中提取到的时空复杂度作为特征来训练机器学习的模型，用于预测还原中替换帧的间隔；
5）设计服务器端视频还原的解决方案，将步骤4采集到的训练数据作为优化模型的输入值，为建立一个通用模型，对不同用户的数据计算平均值后作为训练数据，使用python设置的参数后进行利用数据集按照5:1的比例交叉训练并生成分类器，根据预测结果，网络延迟以及带宽计算还原间隔，从而调整视频上传。
[0007]进一步，步骤1）中所使用的数据集来源于vimeo和Pexels视频网站，考虑到视频的时空复杂度信息，共选择了289个不同类型的视频用于实验，将这些视频经过统一的处理得到统一时长3秒，帧率30和分辨率1280*720的原始高清视频，使用downsample下采样方法获取到320*180的视频作为低分辨率原始视频，对320*180的原始视频进行特征提取，时空复杂度使用ITU-R BT.1788建议使用的时间信息（TI，Temporal perceptual Information，也可以称时间复杂度）和空间信息（SI，Spatial perceptual Information，也可以称空间复杂度）来衡量视频的特性。
[0008]进一步，步骤2）中所述的视频帧的插入与替换是ffmpeg来实现的，主要是通过将需要处理的视频帧在预编码中将其调整为I帧，然后将该帧对应的高清图片编码到视频中替换原来的帧，这里使用的高清图片是通过EDVR超分辨率技术获得的。
[0009]进一步，步骤3）所述的不同的还原间隔是为了得到不同视频对应的最优还原间隔，是作为机器学习中的标签的特征，选择方法为：通过对不同用户的数据采集，选择出用户能接受的最低PSNR视频所对应的还原间隔作为该类视频在还原过程中所采用的策略。
[0010]本专利技术的有益效果是：MAR在使用过程中，视频上传的能耗是非常显著的一个部分，同时在使用MAR的过程中，用户对于视频的质量接受程度是不同的，并且现有的商业AR基于云的识别依然不成熟，且并未针对延迟与能耗进行优化。针对上述问题，设计优化方法，在满足用户浏览时视觉需求的同时保证较低的传输能耗，从软硬件级别降低移动AR应用能耗。优化能耗比例高达50以上。
附图说明
[0011]图1为本专利技术方法的工作流程图。
[0012]图2为本专利技术方法的实施流程图。
具体实施方式
[0013]以下结合附图对本专利技术进一步叙述，但本专利技术不局限于以下实施例。
[0014]一种基于机器学习与超分辨率的移动增强现实能耗优化模型，其特征在于，包括以下步骤：1）对于输入的视频提取其描述视频时空复杂性的特征；2）使用多媒体视频处理工具ffmpeg实现在视频中插入或替换一帧的功能，对于步骤1）输入的每一个视频按照一定的间隔插入高清的视频帧，视频的间隔选择（1，3，5，7，9，11，13，15），并分别计算这些视频与原始高清视频的峰值信噪比PSNR；4）选择合适的还原间隔作为标签，选择步骤1）中提取到的时空复杂度作为特征来训练机器学习的模型，用于预测还原中替换帧的间隔；5）设计服务器端视频还原的解决方案，将步骤4采集到的训练数据作为优化模型的输
入值，为建立一个通用模型，对不同用户的数据计算平均值后作为训练数据，使用python设置的参数后进行利用数据集按照5:1的比例交叉训练并生成分类器，根据预测结果，网络延迟以及带宽计算还原间隔，从而调整视频上传。
[0015]进一步，步骤1）中所使用的数据集来源于vimeo和Pexels视频网站，考虑到视频的时空复杂度信息，共选择了289个不同类型的视频用于实验，将这些视频经过统一的处理得到统一时长3秒，帧率30和分辨率1280*720的原始高清视频，使用downsample下采样方法获取到320*180的视频作为低分辨率原始视频，对320*180的原始视频进行特征提取，时空复杂度使用ITU-R BT.1788建议使用的时间信息（TI，Temporal perceptual Information，也可以称时间复杂度）和空间信息（SI，Spatial perceptual Information，也可以称空间复杂度）来衡量视频的特性。
[0016]进一步，步骤2）中所述的视频帧的插入与替换是ffmpeg来实现的，主要是通过将需要处理的视频帧在预编码中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，包括以下步骤：1）对于输入的视频提取其描述视频时空复杂性的特征；2）使用多媒体视频处理工具ffmpeg实现在视频中插入或替换一帧的功能，对于步骤1）输入的每一个视频按照一定的间隔插入高清的视频帧，视频的间隔选择（1，3，5，7，9，11，13，15），并分别计算这些视频与原始高清视频的峰值信噪比PSNR；4）选择合适的还原间隔作为标签，选择步骤1）中提取到的时空复杂度作为特征来训练机器学习的模型，用于预测还原中替换帧的间隔；5）设计服务器端视频还原的解决方案，将步骤4采集到的训练数据作为优化模型的输入值，为建立一个通用模型，对不同用户的数据计算平均值后作为训练数据，使用python设置的参数后进行利用数据集按照5:1的比例交叉训练并生成分类器，根据预测结果，网络延迟以及带宽计算还原间隔，从而调整视频上传。2.根据权利要求1所述的一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，步骤1）中所使用的数据集来源于vimeo和Pexels视频网站，考虑到视频的时空复杂度信息，共选择了289个不同类型的视频用于实验，将这些视频经过统一的处理得到统一时长3秒，帧率30和...

【专利技术属性】
技术研发人员：王海，党鑫，陈乐，王祎昊，蔡璐，郝旋，周冰，
申请(专利权)人：西北大学，
类型：发明
国别省市：