用于对图像执行人工智能编码和人工智能解码的设备和方法技术

一种人工智能(AI)解码设备，包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令，以进行以下操作：获得与被编码的第一图像对应的图像数据，通过对所获得的图像数据进行解码来获得与第一图像对应的第二图像，确定是否执行对所获得的第二图像的AI放大，基于确定执行对所获得的第二图像的AI放大，通过经由放大深度神经网络(DNN)执行对所获得的第二图像的AI放大来获得第三图像，并输出所获得的第三图像，并且基于确定不执行对所获得的第二图像的AI放大，输出所获得的第二图像。

【技术实现步骤摘要】
【国外来华专利技术】用于对图像执行人工智能编码和人工智能解码的设备和方法
本公开涉及对图像进行编码和解码。更具体地，本公开涉及用于基于人工智能(AI)对图像进行编码和解码的设备和方法。
技术介绍
图像在经由遵循数据压缩标准(诸如运动图像专家组(MPEG)标准)的编解码器而被编码之后以比特流的形式被存储在记录介质中或者经由通信信道被发送。随着能够再现和存储高分辨率和高质量图像的硬件的发展和供应，对能够有效地对这样的高分辨率和高质量图像进行编码和解码的编解码器的需求增加。
技术实现思路
技术方案根据实施例，一种人工智能(AI)解码设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令，以进行以下操作：获得与被编码的第一图像对应的图像数据，通过对所获得的图像数据进行解码来获得与第一图像对应的第二图像，确定是否执行所获得的第二图像的AI放大，基于确定执行所获得的第二图像的AI放大，通过经由放大深度神经网络(DNN)执行所获得的第二图像的AI放大来获得第三图像，并输出所获得的第三图像，并且基于确定不执行所获得的第二图像的AI放大，输出所获得的第二图像。有益效果提供了用于对图像执行人工智能(AI)编码和AI解码的设备和方法，其中，基于AI对图像进行编码和解码以实现低比特率。另外的方面将部分地在下面的描述中被阐述，并且部分地将从描述中显而易见，或者可通过本公开的所提供的实施例的实践而被获知。附图说明从结合附图的以下描述，本公开的实施例的以上和其他方面、特征和优点将更加显而易见，其中：图1a是用于描述根据实施例的人工智能(AI)编码处理和AI解码处理的示图；图1b是用于描述根据本公开的实施例的AI编码处理和一般解码处理的示图；图1c是用于描述根据本公开的实施例的一般编码处理和AI解码处理的示图；图2是根据本公开的实施例的AI解码设备的配置的框图；图3是示出用于对第二图像执行AI放大的第二深度神经网络(DNN)的示图；图4是用于描述由卷积层执行的卷积运算的示图；图5是示出若干条图像相关信息与若干条DNN设置信息之间的映射关系的表；图6是示出包括多个帧的第二图像的示图；图7是用于描述根据本公开的实施例的用于对第二图像执行AI放大的第二DNN的结构的示图；图8是用于描述用于对与第一放大目标对应的第二图像执行AI放大的第二DNN的结构的示图；图9是用于描述用于对与第二放大目标对应的第二图像执行AI放大的第二DNN的结构的示图；图10是用于描述用于对与第三放大目标对应的第二图像执行AI放大的第二DNN的结构的示图；图11是用于描述用于对与第四放大目标对应的第二图像执行AI放大的第二DNN的结构的示图；图12是根据本公开的实施例的AI解码方法的流程图；图13是根据本公开的实施例的AI编码设备的配置的框图；图14是示出用于对原始图像执行AI缩小的第一DNN的示图；图15是示出根据本公开的实施例的用于对原始图像执行AI缩小的第一DNN的结构的示图；图16是示出根据本公开的实施例的用于对原始图像执行AI缩小的第一DNN的结构的示图；图17是根据本公开的实施例的AI编码方法的流程图；以及图18是用于描述训练第一DNN和第二DNN的方法的示图。图19是用于描述训练设备对第一DNN和第二DNN的训练处理的示图。图20是用于对原始图像执行AI缩小的设备和用于对第二图像执行AI放大的设备的示图。最佳模式根据实施例，一种人工智能(AI)解码设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：获得与被编码的第一图像对应的图像数据，通过对所获得的图像数据进行解码来获得与第一图像对应的第二图像，确定是否执行对所获得的第二图像的AI放大，基于确定执行对所获得的第二图像的AI放大，通过经由放大深度神经网络(DNN)执行对所获得的第二图像的AI放大来获得第三图像，并输出所获得的第三图像，并且基于确定不执行对所获得的第二图像的AI放大，输出所获得的第二图像。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：获得与通过缩小DNN将原始图像AI缩小为第一图像的操作相关的AI数据，并且基于所获得的AI数据来确定是否执行对所获得的第二图像的AI放大。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：基于所获得的AI数据验证第一图像是否是通过执行对原始图像的AI缩小而获得的，并且基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，确定执行对所获得的第二图像的AI放大。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：基于所获得的AI数据来验证第一图像是否是通过执行对原始图像的AI缩小而获得的，并验证放大DNN是否可用，并且基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，并基于验证了放大DNN可用，确定执行对所获得的第二图像的AI放大。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：确定放大DNN是否被存储在AI解码设备中以及用于运算放大DNN的DNN设置信息是否被存储在AI解码设备中，并且基于放大DNN被确定为未被存储在AI解码设备中或者DNN设置信息被确定为未被存储在AI解码设备中，确定放大DNN不可用。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，并基于验证了放大DNN不可用，输出所获得的第二图像。输出的第二图像可由显示设备来放大。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，并基于验证了放大DNN不可用，确定执行对所获得的第二图像的传统放大。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：基于所获得的AI数据来获得多个DNN设置信息中的用于执行对所获得的第二图像的AI放大的DNN设置信息，并且通过基于所获得的DNN设置信息的放大DNN运算执行对所获得的第二图像的AI放大来获得第三图像。可基于与将从放大DNN输出的训练图像和原始训练图像进行比较的结果对应的质量损失信息来训练放大DNN。处理器还可被配置为执行所存储的一个或更多个指令以进行以下操作：通过将所获得的第二图像和与所获得的第二图像相关的信息输入到放大DNN来获得第三图像。与所获得的第二图像相关的信息可包括所获得的第二图像的像素的位置信息和编码参数信息中的一个或两者。放大DNN可包括多个卷积层和旁路缩放器，其中，所述多个卷积层被配置为对所获得的第二图像依次执行多个卷积运算，所述旁路缩放器被配置为对所获得的第二图像执行缩放处理。可基于对所述多个卷积层的输出和旁路缩放器的输出进行组合的结果来获得第三图像。根据实施例，本文档来自技高网...

【技术保护点】
1.一种人工智能AI解码设备，包括：/n存储器，存储一个或更多个指令；以及/n处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：/n获得与被编码的第一图像对应的图像数据；/n通过对所获得的图像数据进行解码来获得与第一图像对应的第二图像；/n确定是否执行对所获得的第二图像的AI放大；/n基于确定执行对所获得的第二图像的AI放大，通过经由放大深度神经网络DNN执行对所获得的第二图像的AI放大来获得第三图像，并输出所获得的第三图像；并且/n基于确定不执行对所获得的第二图像的AI放大，输出所获得的第二图像。/n

【技术特征摘要】
【国外来华专利技术】20181019 KR 10-2018-0125406;20190408 KR 10-2019-001.一种人工智能AI解码设备，包括：
存储器，存储一个或更多个指令；以及
处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：
获得与被编码的第一图像对应的图像数据；
通过对所获得的图像数据进行解码来获得与第一图像对应的第二图像；
确定是否执行对所获得的第二图像的AI放大；
基于确定执行对所获得的第二图像的AI放大，通过经由放大深度神经网络DNN执行对所获得的第二图像的AI放大来获得第三图像，并输出所获得的第三图像；并且
基于确定不执行对所获得的第二图像的AI放大，输出所获得的第二图像。


2.如权利要求1所述的AI解码设备，其中，处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
获得与通过缩小DNN将原始图像AI缩小为第一图像的操作相关的AI数据；并且
基于所获得的AI数据来确定是否执行对所获得的第二图像的AI放大。


3.如权利要求2所述的AI解码设备，其中，处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
基于所获得的AI数据验证第一图像是否是通过执行对原始图像的AI缩小而获得的；并且
基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，确定执行对所获得的第二图像的AI放大。


4.如权利要求2所述的AI解码设备，其中，处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
基于所获得的AI数据来验证第一图像是否是通过执行对原始图像的AI缩小而获得的，并验证放大DNN是否可用；并且
基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，并基于验证了放大DNN可用，确定执行对所获得的第二图像的AI放大。


5.如权利要求4所述的AI解码设备，其中，处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
确定放大DNN是否被存储在AI解码设备中以及用于运算放大DNN的DNN设置信息是否被存储在AI解码设备中；并且
基于确定放大DNN未被存储在AI解码设备中或者确定DNN设置信息未被存储在AI解码设备中，确定放大DNN不可用。


6.如权利要求4所述的AI解码设备，其中，处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，并基于验证了放大DNN不可用，输出所获得的第二图像，并且
其中，输出的第二图像由显示设备放大。


7.如权利要求4所述的AI解码设备，其中，处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：基于验证了第一图像是通过执行对原始图像的AI缩小而获得的，并基于验证了放大DNN不可用，确定执行对所获得的第二图像的传统放大。<...

【专利技术属性】
技术研发人员：金载丸，李钟硕，全善暎，崔光杓，崔珉硕，趋可卡纳哈·迪娜，朴永五，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR