用于流传输数据的方法和设备技术

提供了一种与设备相应的终端。终端接收不同质量的多个图像数据的信息；基于所述信息请求服务器向终端发送所述多个图像数据中的图像数据，接收与所述请求相应的图像数据和人工智能(AI)数据，基于所述AI数据确定是否对所接收到的图像数据执行AI放大，并且基于所述确定的结果，通过与所述服务器的缩小深度神经网络(DNN)联合训练的放大DNN，对所接收到的图像数据执行AI放大，确认所述终端和所述服务器之间的网络的状态，并基于所述网络的状态请求图像数据。

【技术实现步骤摘要】
【国外来华专利技术】用于流传输数据的方法和设备
本公开涉及数据流传输技术。更具体地，本公开涉及一种用于自适应地流传输通过使用深度神经网络(DNN)进行人工智能(AI)编码的图像数据的方法和设备。
技术介绍
用于通过网络发送图像数据的方案包括下载方案和流传输方案。流传输方案表示由服务器实时发送图像数据并由终端实时再现接收到的图像数据的方案。与在完全收发(即，完全发送和接收)图像数据之后开始图像数据的再现的下载方案不同，根据流传输方案，经由在服务器和终端之间建立的逻辑信道实时收发和再现图像数据，因此可以在反映流传输环境的变化的同时保持图像数据再现的服务质量(QoS)。人工智能(AI)系统是用于实现人类水平智能的计算机系统。与一般的基于规则的智能系统不同，AI系统自主学习和做出决策，从而提高它们的能力。AI系统被使用的越多，AI系统的识别率增加的越多，并且AI系统越准确地理解用户偏好。这样，一般的基于规则的智能系统可以由基于深度学习的AI系统代替。
技术实现思路
技术问题随着对AI系统的兴趣增加，正在积极地进行许多尝试以将AI系统应用于各种
例如，正在进行研究以使AI系统与包括图像处理、数据处理等的
相融合。技术方案提供了一种与设备相应的终端。终端接收不同质量的多个图像数据的信息；基于所述信息请求服务器向终端发送所述多个图像数据中的图像数据，接收与所述请求相应的图像数据和人工智能AI数据，基于所述AI数据确定是否对所接收到的图像数据执行AI放大，并且基于所述确定的结果，通过与所述服务器的缩小深度神经网络(DNN)联合训练的放大DNN，对所接收到的图像数据执行AI放大，确认所述终端和所述服务器之间的网络的状态，并基于所述网络的状态请求图像数据。附图说明通过以下结合附图的描述，本公开的某些实施例的以上和其它方面、特征和优点将更加清楚，其中：提供每个附图的简要描述以更全面地理解本说明书中所引用的附图。图1是用于描述根据实施例的人工智能(AI)编码过程和AI解码过程的示图；图2是根据实施例的AI解码设备的配置的框图；图3是示出用于对第二图像执行AI放大的第二深度神经网络(DNN)的示图；图4是用于描述由卷积层进行的卷积操作的示图；图5是示出多条图像相关信息和多条DNN设置信息之间的映射关系的表；图6是示出包括多个帧的第二图像的示图；图7是根据实施例的AI编码设备的配置的框图；图8是示出用于对原始图像执行AI缩小的第一DNN的示图；图9是用于描述训练第一DNN和第二DNN的方法的示图；图10是用于描述通过训练设备的第一DNN和第二DNN的训练过程的示图；图11是用于对原始图像执行AI缩小的设备和用于对第二图像执行AI放大的设备的示图；图12是用于描述根据本公开的实施例的流传输系统的概念的示图；图13A是用于描述根据本公开的实施例的由服务器执行的流传输数据的方法的流程图；图13B是用于描述根据本公开的实施例的由终端执行的流传输数据的方法的流程图；图14A是用于描述根据本公开的实施例的由服务器执行的流传输数据的方法的流程图；图14B是用于描述根据本公开的实施例的由终端执行的流传输数据的方法的流程图；图15A是用于描述根据本公开的实施例的由服务器执行的流传输数据的方法的流程图；图15B是用于描述根据本公开的实施例的由终端执行的流传输数据的方法的流程图；图16是用于描述根据本公开的实施例的根据第一终端是否支持AI放大在服务器与第一终端之间执行流传输的方法的示图；图17是用于描述根据本公开的实施例的根据第一终端是否支持AI放大在服务器与第一终端之间执行流传输的方法的示图；图18是用于描述根据本公开的实施例的由服务器执行的根据终端的能力流传输图像数据的方法的示图；图19是用于描述根据本公开的实施例的由服务器执行的根据网络的状态和终端的能力来流传输图像数据的方法的示图；图20是用于描述根据本公开的实施例的由终端执行的基于附加信息和能力来流传输与网络的状态相应的图像数据的方法的示图；图21是用于描述根据本公开的实施例的被提供用于流传输的附加信息的示图；图22是用于描述根据本公开的实施例的附加信息的详细配置的示图；图23是用于描述根据本公开的实施例的附加信息的详细配置的示图；图24是用于描述根据本公开的实施例的附加信息的详细配置的示图；图25是用于描述根据本公开的实施例的从服务器流传输到终端的AI数据和图像数据的示图；图26是用于描述根据本公开的实施例的流传输系统的示图；图27是示出根据本公开的实施例的服务器的配置的框图；以及图28是示出根据本公开的实施例的终端的配置的框图。具体实施方式最佳方式提供了一种用于流传输通过使用深度神经网络(DNN)进行了人工智能(AI)编码的数据的方法和装置。另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践本公开的所呈现的实施例来得知。根据本公开的实施例，提供了一种流传输数据的方法，包括：接收不同质量的多个图像数据的信息；基于所述信息，请求服务器向终端发送不同质量的所述多个图像数据中的图像数据；接收与所述请求相应的图像数据和人工智能(AI)数据；基于所述AI数据确定是否对所接收到的图像数据执行AI放大；基于所述确定是否执行AI放大的结果，通过与所述服务器的缩小深度神经网络(DNN)联合训练的放大DNN对所接收到的图像数据执行AI放大；确认所述终端和所述服务器之间的网络的状态；以及根据不同质量的所述多个图像数据的信息和所述网络的状态，请求所述服务器发送不同质量的所述多个图像数据中的不同质量的图像数据。所述方法还可以包括：基于AI数据，确定是否已经通过服务器的缩小DNN对接收到的图像数据执行了AI缩小，并且其中，当确认已经对接收到的图像数据执行了AI缩小时，确定是否已经执行了AI缩小的步骤包括确定对接收到的图像数据执行AI放大。所述多个图像数据的信息包括所述多个图像数据的质量信息和AI缩放转换信息，并且其中，请求所述服务器发送不同质量的图像数据的步骤包括基于所述质量信息和所述AI缩放转换信息中的一个或两个来请求与所述网络的状态相应的图像数据。所述方法还可以包括：基于包括指示所述终端是否支持AI放大的信息以及关于所述终端能够支持的AI放大等级的信息的能力信息来确定与所述网络的状态相应的图像数据。服务器可以是内容提供商服务器，其中，所述方法还包括向服务服务器请求所述多个图像数据的信息，并且其中，接收所述多个图像数据的信息的步骤包括从所述服务服务器接收所述多个图像数据的信息和内容提供商服务器的标识符。根据本公开的实施例，提供了一种流传输数据的方法，包括：从终端接收对服务器的不同质量的多个图像数据中的图像数据的请求本文档来自技高网...

【技术保护点】
1.一种流传输数据的方法，所述方法包括：/n接收不同质量的多个图像数据的信息；/n基于所述信息，请求服务器向终端发送不同质量的所述多个图像数据中的图像数据；/n接收与所述请求相应的图像数据和人工智能AI数据；/n基于所述AI数据确定是否对所接收到的图像数据执行AI放大；/n基于所述确定是否执行AI放大的结果，通过与所述服务器的缩小深度神经网络DNN联合训练的放大DNN对所接收到的图像数据执行AI放大；/n确认所述终端和所述服务器之间的网络的状态；以及/n根据不同质量的所述多个图像数据的信息和所述网络的状态，请求所述服务器发送不同质量的所述多个图像数据中的不同质量的图像数据。/n

【技术特征摘要】
【国外来华专利技术】20181019 KR 10-2018-0125406;20190408 KR 10-2019-001.一种流传输数据的方法，所述方法包括：
接收不同质量的多个图像数据的信息；
基于所述信息，请求服务器向终端发送不同质量的所述多个图像数据中的图像数据；
接收与所述请求相应的图像数据和人工智能AI数据；
基于所述AI数据确定是否对所接收到的图像数据执行AI放大；
基于所述确定是否执行AI放大的结果，通过与所述服务器的缩小深度神经网络DNN联合训练的放大DNN对所接收到的图像数据执行AI放大；
确认所述终端和所述服务器之间的网络的状态；以及
根据不同质量的所述多个图像数据的信息和所述网络的状态，请求所述服务器发送不同质量的所述多个图像数据中的不同质量的图像数据。


2.如要求1所述的方法，还包括：基于所述AI数据，确定是否已经通过所述服务器的缩小DNN对所接收到的图像数据执行了AI缩小，以及
其中，当确认已经对所接收到的图像数据执行了AI缩小时，确定是否已经执行了AI缩小的步骤包括：确定对所接收到的图像数据执行AI放大。


3.如权利要求1所述的方法，其中，所述多个图像数据的信息包括所述多个图像数据的质量信息和AI缩放转换信息，以及
其中，请求所述服务器发送不同质量的图像数据的步骤包括：基于所述质量信息和所述AI缩放转换信息中的一个或两个，请求与所述网络的状态相应的图像数据。


4.如权利要求1所述的方法，还包括：基于包括指示所述终端是否支持AI放大的信息和关于所述终端能够支持的AI放大等级的信息的能力信息来确定与所述网络的状态相应的图像数据。


5.如权利要求1所述的方法，其中，所述服务器是内容提供商服务器，
其中，所述方法还包括向服务服务器请求所述多个图像数据的信息，以及
其中，接收所述多个图像数据的信息的步骤包括：从所述服务服务器接收所述多个图像数据的信息和所述内容提供商服务器的标识符。


6.一种流传输数据的方法，所述方法包括：
从终端接收对服务器的不同质量的多个图像数据中的图像数据的请求；
响应于所述请求，向所述终端发送人工智能AI数据和已经通过所述服务器的与所述终端的放大DNN联合训练的缩小DNN进行了AI编码的图像数据；以及
根据所述终端和所述服务器之间的网络的状态，从所述终端接收对不同质量的所述多个图像数据中的不同质量的图像数据的请求。


7.一种用于流传输数据的终端，所述终端包括：
存储器，存储一个或更多个指令；以及
至少一个处理器，被配置为执行所述一个或更多个指令以：
接收不同质量的多个图像数据的信息；
基于所述信息，请求服务器向终端发送不同质量的所述多个图像数据中的图像数据；
接收请求的图像数据和与请求的图像数据相应的人工智能AI数据；
基于所述AI数据确定是否对所接收到的图...

【专利技术属性】
技术研发人员：朴永五，孙有美，严明镇，崔光杓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR