一种人工智能(AI)解码方法，包括：获得通过对第一图像执行第一编码而生成的图像数据以及与至少一个原始图像的AI缩小相关的AI数据，其中，所述至少一个原始图像与第一图像相关；通过对所述图像数据执行第一解码来获得与第一图像相应的第二图像；基于所述AI数据获得用于执行第二图像的AI放大的深度神经网络(DNN)设置信息；以及通过经由根据获得的DNN设置信息操作的放大DNN对第二图像执行AI放大来生成第三图像。所述DNN设置信息是经由放大DNN和用于AI缩小的缩小DNN的联合训练而被更新以用于执行至少一个第二图像的AI放大的DNN信息。息。息。
【技术实现步骤摘要】
【国外来华专利技术】对图像执行人工智能(AI)编码和AI解码的设备和方法
[0001]本公开涉及图像处理领域，并且更具体地，涉及用于基于人工智能(AI)对图像进行编码和解码的方法和设备。
技术介绍
[0002]使用符合预定义数据压缩标准(诸如运动图像专家组(MPEG)标准)的编解码器对图像进行编码，然后将编码后的图像存储在记录介质中或通过通信信道以比特流的形式发送。
[0003]随着能够再现和存储高分辨率/高清晰度图像的硬件的开发和传播，对能够有效地编码和解码高分辨率/高清晰度图像的编解码器的需求日益增加。
技术实现思路
[0004]技术方案
[0005]根据本公开的实施例，提供了用于对图像执行人工智能(AI)编码和AI解码的方法和设备，由此可以通过基于AI对图像进行编码和解码来实现低比特率。
[0006]此外，根据本公开的实施例，提供了一种用于对图像执行AI编码和AI解码的方法和设备，由此可通过在周期性地或在必要时更新针对原始图像优化的放大DNN设置信息之后执行放大来改善图像质量。
[0007]此外，根据本公开的实施例，提供了一种用于对图像执行AI编码和AI解码的方法和设备，由此可通过周期性地或在必要时有效地用信号通知DNN设置信息以用于更新放大DNN的针对原始图像优化的DNN设置信息来有效地减少要编码/解码的信息量。
[0008]另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践本公开的所呈现的实施例来学习。
[0009]根据本公开的实施例，一种AI解码设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的所述一个或更多个指令以执行以下操作：获得通过对第一图像执行第一编码而生成的图像数据以及与至少一个原始图像的AI缩小相关的AI数据，其中，所述至少一个原始图像与第一图像相关；通过对所述图像数据执行第一解码来获得与第一图像相应的第二图像；基于所述AI数据获得用于执行第二图像的AI放大的DNN设置信息；以及通过经由根据获得的DNN设置信息操作的放大DNN对第二图像执行AI放大来生成第三图像，其中，DNN设置信息是经由放大DNN和用于所述至少一个原始图像的AI缩小的缩小DNN的联合训练而被更新以用于执行与所述至少一个原始图像相应的至少一个第二图像的AI放大的DNN信息，所述联合训练是使用至少一个原始图像执行的。
[0010]所述获得的DNN设置信息可包括放大DNN的至少一个卷积层中的滤波器核的权重和偏置。
[0011]所述处理器还可被配置为：通过使用所述至少一个原始图像经由缩小DNN生成第一训练图像，通过使用第一训练图像经由放大DNN生成第二训练图像，并且基于第一损失信
息和第三损失信息、以及第二损失信息更新放大DNN和缩小DNN，其中，第一损失信息和第三损失信息与将第二训练图像与至少一个原始图像中尚未经历AI缩小的原始图像进行比较的结果相应，第二损失信息是基于第一训练图像生成的。
[0012]可基于将第二训练图像的质量参数与所述至少一个原始图像的质量参数进行比较的结果来生成第一损失信息。
[0013]可基于将第二训练图像的特征相关参数与所述至少一个原始图像的特征相关参数进行比较的结果来生成第三损失信息。
[0014]第二损失信息可与第一训练图像的空间复杂度有关。
[0015]所述处理器还可被配置为：通过使用所述至少一个原始图像经由缩小DNN生成第一训练图像，对第一训练图像执行第一编码，通过使用已经经历第一编码的第一训练图像经由放大DNN生成第二训练图像，以及基于第一损失信息和第三损失信息更新放大DNN，其中，第一损失信息和第三损失信息与将第二训练图像与所述至少一个原始图像中的尚未经历AI缩小的原始图像进行比较的结果相应。
[0016]放大DNN的更新的DNN设置信息可包括权重残差信息/偏置残差信息，其中，权重残差信息/偏置残差信息指示在更新权重/偏置之前放大DNN中的所有或一些卷积层中的所有或一些滤波器核的权重/偏置与在更新权重/偏置之后放大DNN中的所述所有或一些卷积层中的所述所有或一些滤波器核的权重/偏置之间的差。
[0017]放大DNN的更新的DNN设置信息可包括关于通过执行频率变换获得的权重残差/偏置残差的信息，关于权重残差/偏置残差的所述信息指示在更新权重/偏置之前放大DNN中的所有或一些卷积层中的所有或一些滤波器核的权重/偏置与在更新权重/偏置之后放大DNN中的所述所有或一些卷积层中的所述所有或一些滤波器核的权重/偏置之间的差。
[0018]权重残差信息/偏置残差信息可以是使用差分脉冲编码调制(DPCM)、游程长度编码(RLC)和霍夫曼编码技术中的一种编码的信息。
[0019]权重残差信息/偏置残差信息可以是关于经由模型压缩生成的权重残差/偏置残差的信息。
[0020]模型压缩可包括修剪或量化中的至少一个。
[0021]放大DNN的更新的DNN设置信息可以是被更新以用于执行AI放大的信息，所述用于执行AI放大的信息是通过基于与在更新权重/偏置之前放大DNN中的所有或一些卷积层中的所有或一些滤波器核的权重/偏置有关的上下文模型信息，对在更新权重/偏置之后放大DNN中的所有或一些卷积层中的所有或一些滤波器核的权重/偏置进行熵编码而获得的。
[0022]DNN设置信息可包括标志信息，所述标志信息指示是通过使用预定DNN中的卷积层的滤波器核来执行AI放大，还是通过使用经由放大DNN和用于所述至少一个原始图像的AI缩小的缩小DNN的联合训练而被更新以用于执行与所述至少一个原始图像相应的所述至少一个第二图像的AI放大的DNN中的卷积层的滤波器核来执行AI放大，所述联合训练是使用所述至少一个原始图像执行的。
[0023]根据本公开的另一实施例，一种AI编码设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的一个或更多个指令以执行以下操作：通过经由缩小DNN对至少一个原始图像执行AI缩小来获得第一图像；生成包括所述图像数据和AI数据的AI编码数据，其中，所述AI数据包括与所述AI缩小相关的信息，其中，所述AI数据
包括用于对第二图像执行AI放大的放大DNN的DNN设置信息，并且第二图像是通过对所述图像数据执行第一解码而生成的，并且通过对所述图像数据执行第一解码来生成第二图像，并且其中所述DNN设置信息是经由放大DNN和用于所述至少一个原始图像的AI缩小的缩小DNN的联合训练而被更新以用于执行与所述至少一个原始图像相应的至少一个第二图像的AI放大的DNN信息，所述联合训练是使用所述至少一个原始图像执行的。
[0024]根据本公开的另一实施例，一种AI解码方法包括：获得通过对第一图像执行第一编码而生成的图像数据以及与至少一个原始图像的AI缩小相关的AI数据，其中，所述至少一个原始图像与第一图像相关；通过对所述图像数据执行第一解码来获得与第一图像相应的第二图像；基于所述AI数据获得用于执行第二图本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种人工智能(AI)解码设备，包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的所述一个或更多个指令以执行以下操作：获得通过对第一图像执行第一编码而生成的图像数据以及与至少一个原始图像的AI缩小相关的AI数据，其中，所述至少一个原始图像与第一图像相关；通过对所述图像数据执行第一解码来获得与第一图像相应的第二图像；基于所述AI数据获得用于执行第二图像的AI放大的深度神经网络DNN设置信息；以及通过经由根据所述DNN设置信息操作的放大DNN对第二图像执行AI放大来生成第三图像，其中，所述DNN设置信息是经由放大DNN和用于所述至少一个原始图像的AI缩小的缩小DNN的联合训练而被更新以用于执行与所述至少一个原始图像相应的至少一个第二图像的AI放大的DNN信息，所述联合训练是使用所述至少一个原始图像执行的。2.根据权利要求1所述的AI解码设备，其中，所述DNN设置信息包括放大DNN的至少一个卷积层中的滤波器核的权重和偏置。3.根据权利要求1所述的AI解码设备，其中，所述处理器还被配置为：通过使用所述至少一个原始图像经由缩小DNN生成第一训练图像，通过使用第一训练图像经由放大DNN生成第二训练图像，以及基于第一损失信息和第三损失信息、以及第二损失信息来更新放大DNN和缩小DNN，其中，第一损失信息和第三损失信息与将第二训练图像与所述至少一个原始图像中的尚未经历AI缩小的原始图像进行比较的结果相应，第二损失信息是基于第一训练图像生成的。4.根据权利要求3所述的AI解码设备，其中，第一损失信息是基于将第二训练图像的质量参数与所述至少一个原始图像的质量参数进行比较的结果而生成的。5.根据权利要求4所述的AI解码设备，其中，第三损失信息是基于将第二训练图像的特征相关参数与所述至少一个原始图像的特征相关参数进行比较的结果而生成的。6.根据权利要求4所述的AI解码设备，其中，第二损失信息与第一训练图像的空间复杂度有关。7.根据权利要求1所述的AI解码设备，其中，所述处理器还被配置为：通过使用所述至少一个原始图像经由缩小DNN生成第一训练图像，对第一训练图像执行第一编码，通过使用已经经历第一编码的第一训练图像，经由放大DNN生成第二训练图像，以及基于第一损失信息和第三损失信息更新放大DNN，其中，第一损失信息和第三损失信息与将第二训练图像与所述至少一个原始图像中的尚未经历AI缩小的原始图像进行比较的结果相应。8.根据权利要求1所述的AI解码设备，其中，被更新以用于执行AI放大的DNN设置信息包括权重残差信息和偏置残差信息，其中，权重残差信息和偏置残差信息指示在更新权重和偏置之前放大DNN中的所有或一些卷积层中的所有或一些滤波器核的权重和偏置与在更新权重和偏置之后放大DNN中的所述所有或一些卷积层中的所述所有或一些滤波器核的权重和偏置之间的差。9.根据权利要求8所述的AI解码设备，其中，权重残差信息和偏置残差信息是使用差分
脉冲编码调制DPCM、行程编码RLC和霍夫曼编码方案中的一个编码的信息。10.根据权利要求8所述的AI解码设备...
【专利技术属性】
技术研发人员：李钟硕，金载丸，朴永五，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。