图像发送方法、程序、以及装置制造方法及图纸

本发明专利技术提供图像发送方法、程序、以及装置，其目的在于在图像发送装置向图像接收装置发送图像数据时实现高效的发送。作为图像发送装置的服务器装置(1)的操作数据接收部(11)经由网络(3)而接收在作为图像接收装置的客户端装置(2)发生的操作事件，发送控制部(17)在基于规定的发送间隔的发送控制中，基于向客户端装置(2)发送的图像数据的发送数据量、发送图像数据的网络(3)的带宽、以及从前一次发送时到进行图像数据的发送的时点为止接收到的操作事件的事件数，来计算图像数据的判定用时刻(t)，并比较表示进行图像数据的发送的时点的发送时刻(tnow)与判定用时刻(t)，在判定用时刻(t)比发送时刻(tnow)晚的情况下，抑制图像数据的发送。

【技术实现步骤摘要】
【国外来华专利技术】图像发送方法、以及装置
本专利技术涉及经由网络而将图像数据向其他的装置发送的图像发送方法、图像发送程序、以及图像发送装置。
技术介绍
近年来，通过在服务器装置侧执行包含应用程序的几乎所有的处理，并经由网络向客户端装置侧发送桌面画面、执行结果，以使得在用户使用的客户端侧仅进行所需最小限度的处理的被称为精简型客户端系统的系统架构正在普及。在精简型客户端系统中，经由网络实时地向客户端装置发送服务器装置执行的应用程序等的处理结果、桌面画面等的存放于帧缓冲区的图像数据。通过图像数据的实时发送，客户端装置能够立即显示在服务器装置生成的图像数据(帧缓冲区的数据)。在精简型客户端系统中，服务器装置作为发送图像数据的图像发送装发挥作用，客户端装置作为接收图像数据的图像接收装置发挥作用，但是根据进行发送的网络的状态的不同，在向客户端装置的数据通信中产生延迟。因此，提出有降低服务器-客户端间的通信延迟的影响的发送方法。作为一个1个现有方法，已知有如下方法，即，发送图像数据的发送装置向接收图像数据的接收装置发送寄送包，并从接收装置接收包含寄送包的发送时刻的受领响应的返送，根据由寄送包的发送时刻计算出的响应时间与规定的阈值之间的关系，来增减图像数据的发送时的包个数，由此能够避免发送延迟。此外，作为其他的现有方法，已知有如下方法，即，发送图像数据的发送侧装置以将网络上的予想的包丢失率作为基础而设定的编码率对发送对象的图像数据进行冗余编码，并经由网络而向接收侧装置发送，在接收侧装置中，使用接收到的被冗余编码的编码数据来对原来的图像数据进行解码处理，由此能够不等待响应而发送图像数据。专利文献1:日本特开2006-254383号公报专利文献2:日本特开2007-251737号公报
技术实现思路
在精简型客户端系统中，需要迅速地检测存放于服务器装置侧的帧缓冲区的图像数据，使客户端装置以尽可能不受网络状态的影响的方式接收检测到的图像数据。但是，在服务器装置生成的图像数据与在客户端装置发生的用户操作关联。因此，根据服务器装置将表示根据用户操作而执行的结果的图像数据(桌面画面、执行结果等)向客户端装置发送的定时的不同，有可能导致在客户端装置发生的用户操作与在客户端装置显示的图像数据之间的关系变得不自然。在从服务器装置向客户端装置发送图像数据的情况下，具有以固定的帧速率发送的方式、等待来自接收侧的响应而发送的方式等。但是，即使是这些发送方式也产生发送延迟。图10是用于说明以固定的帧速率发送的方式的情况下的延迟的图。图10的左侧表示精简型客户端系统的服务器装置侧，右侧表示客户端装置侧。客户端装置若通过用户发生了鼠标操作事件，则将各鼠标操作op1、op2、op3、op4、…按照发生顺序发送至服务器装置。服务器装置以固定的发送间隔，将作为桌面画面的帧数据的全部或者一部分的帧fr1、fr2、fr3、fr4、…发送至客户端装置。根据基于应用程序的用户操作的执行结果来更新桌面画面。在服务器装置的发送间隔较长的情况下(帧速率较低的情况下)，存在因在客户端装置的接收间隔也变得较长而使画面更新不能顺利地进行这样的问题。例如，在客户端装置中，有时即使进行用户的鼠标操作op1、op2，也显示未与鼠标操作op2对应的桌面画面(帧fr1)，或者进行了鼠标操作op3、op4后，经过了一会儿才显示帧fr2、fr3、fr4。因此，存在有用户虽然自己终止了操作但是仍更新桌面画面的不协调感的情况。在服务器装置的发送间隔较短的情况下(帧速率较高的情况下)，有可能导致服务器装置超过进行发送的网络的能够发送的带宽而进行发送，结果，有可能导致在客户端装置侧的图像数据(帧fr)的接收延迟，从而使桌面画面的更新延迟这样的情况。图11是用于说明等待来自接收侧的响应而发送的方式的情况下的延迟的图。图11的左侧表示精简型客户端系统的服务器装置侧，右侧表示客户端装置侧。与图10所示的情况相同地，客户端装置将鼠标操作op按照发生顺序而发送至服务器装置，服务器装置确认来自客户端装置的接收响应而将桌面画面的图像数据(帧fr)发送至客户端装置。网络中，例如在RTT(RoundTripTime：循环时间)延迟较大的情况下，在服务器装置的接收响应也延迟，因此有可能根据接收响应的定时的不同而产生发送被跳过的帧fr。例如，若来自客户端装置的帧fr1的接收响应延迟，则在服务器装置，在接收响应的接收时发送存放于帧缓冲区的数据(帧fr3)，所以有可能根据定时的不同而导致跳过帧fr2，在客户端装置，由于按照帧fr1、fr3的顺序来更新画面，所以无法顺利地更新画面。在由服务器装置发送的图像数据是桌面画面、表示应用程序的执行结果的画面的情况下，按照在客户端装置发生的操作事件来更新画面，所以服务器装置需要尽可能早地发送与操作事件对应的图像数据。但是，在客户端装置侧，在短时间发生多个操作事件这样的情况下，若将所更新的画面全部向客户端装置发送，则由于网络的条件的不同而使发送时间变长，产生发送延迟。这里，在短时间发生多个操作事件的状况能够被看作用户进行一系列操作。对用户来说，相比表示一系列用户操作的中途的处理结果的画面，表示最终的处理结果的画面更为重要。此外，由于在包含一系列用户操作的中途的画面更新中耗费较长的时间，所以若即使省略一系列用户操作的中途的显示更新而显示最终的画面，也在显示更新中难以有不协调感。另外，若到最终的画面的显示更新为止的时间不长，则难以有响应延迟的感觉。本专利技术正是鉴于这样的问题而完成的，其目的在于，实现一种在从服务器装置向客户端装置经由网络而发送图像数据时，即使在客户端装置发生的操作事件较多的情况下，也进行高效地发送画面数据的控制，而且，用户难以有对显示更新的不协调感、响应的延迟感的远程环境。作为本专利技术的一个方式所公开的图像发送方法，执行如下处理：上述图像发送装置经由网络而接收在上述图像接收装置发生的操作事件，在基于预先决定的发送间隔的发送控制中，基于向上述图像接收装置发送的图像数据的发送数据量，与发送该图像数据的网络相关的信息、以及从前一次发送时到进行该图像数据的发送的时间点为止接收到的上述操作事件的事件数，来计算该图像数据的判定用时刻，并比较表示进行上述图像数据的发送的时间点的发送时刻与上述判定用时刻，当上述判定用时刻超过上述发送时刻而为该发送时刻后的情况下，抑制上述图像数据的发送。根据所公开的图像发送方法，在将提供用户使用的应用程序等的服务器装置作为图像发送装置、将用户操作的客户端装置作为图像接收装置来实施的情况下，图像发送装置能够实现与图像接收装置中的操作事件量对应的最优的图像数据更新的响应，能够对用户提供更顺利的操作环境。附图说明图1是表示实施作为本专利技术的一个方式而公开的图像发送方法、图像发送装置、图像发送程序的图像发送系统的构成例的图。图2是表示由服务器装置和客户端装置执行的发送处理例的图。图3是用于说明服务器装置执行的图像数据的发送控制的图。图4是表示服务器装置的一实施例中的功能块构成例的图。图5是表示客户端装置的一实施例中的功能块构成例的图。图6是表示服务器装置中的操作数据处理的处理流程例的图。图7是表示服务器装置的图像数据取得处理的处理流程例的图。图8是表示服务器装置的图像数据发送处理的处本文档来自技高网...

【技术保护点】
一种图像发送方法，是图像发送装置向图像接收装置发送图像数据的方法，其特征在于，所述图像发送装置执行如下处理：经由网络而接收在所述图像接收装置发生的操作事件，在基于预先设定的发送间隔的发送的控制中，基于向所述图像接收装置发送的图像数据的发送数据量、与发送该图像数据的网络相关的信息、以及从前一次发送时到进行该图像数据的发送的时间点为止接收到的所述操作事件的事件数，来计算该图像数据的判定用时刻，并比较表示进行所述图像数据的发送的时间点的发送时刻与所述判定用时刻，在所述判定用时刻超过所述发送时刻而为该发送时刻后的情况下，抑制所述图像数据的发送。

【技术特征摘要】
【国外来华专利技术】1.一种图像发送方法，是图像发送装置向图像接收装置发送图像数据的方法，其特征在于，所述图像发送装置执行如下处理：经由网络而接收在所述图像接收装置发生的操作事件，在基于预先设定的发送间隔的发送的控制中，基于向所述图像接收装置发送的图像数据的发送数据量、与发送该图像数据的网络相关的信息、以及从前一次发送时到进行该图像数据的发送的时间点为止接收到的所述操作事件的事件数，来计算该图像数据的判定用时刻，并比较表示进行所述图像数据的发送的时间点的发送时刻与所述判定用时刻，在所述判定用时刻超过所述发送时刻而为该发送时刻后的情况下，抑制所述图像数据的发送。2.根据权利要求1所述的图像发送方法，其特征在于，所述图像发送装置执行如下处理：在执行了所述图像数据的发送的情况下，取得从所述图像接收装置接收到的响应信息所包含的所述网络的带宽和所述图像数据的丢失率，在计算所述判定用...

【专利技术属性】
技术研发人员：佐沢真一，佐藤裕一，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP