图像处理装置、图像处理方法和程序制造方法及图纸

在本发明专利技术中，为了在运动图像中实现不会感到违和的图像效果等，使图像处理装置包括：附加图像生成单元，其用于生成要被添加到运动图像数据的附加图像；以及图像编辑处理单元，其用于执行图像编辑处理，在该图像编辑处理中针对要被添加附加图像的运动图像数据中的像素的深度信息被用于执行向运动图像数据添加附加图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和程序
本专利技术涉及用于对运动图像执行图像编辑的图像处理装置、图像处理方法和程序。
技术介绍
用于执行各种类型的图像编辑的图像处理技术是已知的。专利文献1描述了执行在布置和合成多个图像时考虑位置关系来确定布局的处理。引用列表专利文献专利文献1：日本专利申请特许公开No.2010-79570
技术实现思路
本专利技术要解决的问题在作为电影、戏剧等内容的运动图像中，改变背景和增加图像效果是常见的，但是这些处理常常是通过使用特殊的成像技术或编辑软件来实现的。那么这样的运动图像编辑工作不仅复杂且费时，而且需要工人的高水平技能。此外，图像效果对于体育视频等也是有效的。然后，动作捕捉(motioncapture)的应用是实时地实现图像效果的主流，但这并不容易，因为需要诸如使用标记之类的高级处理。因此，本公开旨在通过使用深度信息来实现简单有效的运动图像编辑。问题的解决方案根据本技术的一种图像处理装置包括：附加图像生成单元，其被配置为生成要被添加到运动图像数据的附加图像；以及图像编辑处理单元，其被配置为执行使用要被添加该附加图像的运动图像数据中的像素的深度信息来向运动图像数据添加该附加图像的图像编辑处理。在这种情况下，作为是运动图像的多个帧的图像数据，具有作为相对于像素到被摄体的距离(深度)的值的深度信息的图像数据被设置为要处理的图像数据。注意的是，深度信息可以被添加到构成图像数据的每个像素，或者可以被添加到作为彩色像素的每个像素块(例如，包括R像素、G像素和B像素的三个像素的单元)。可替代地，深度信息可以被添加到每个像素块，诸如四个像素或九个像素。图像处理装置执行使用深度信息针对每个这样的像素(像素块)向运动图像添加附加图像的图像编辑。在根据本技术的图像处理装置中，可以想到图像编辑处理单元使用运动图像数据中的被摄体的深度信息和针对附加图像设置的深度信息来执行反映被摄体与附加图像之间的前后关系的图像编辑。即，根据针对附加图像设置的深度信息和被摄体的深度信息(运动图像数据的每一帧的像素)来定义附加图像与被摄体之间的前后关系。在根据本技术的图像处理装置中，可以想到根据运动图像数据中的附加图像的插入位置处的深度信息来调整附加图像的大小并且将附加图像与运动图像数据进行合成。即，附加图像生成单元或图像编辑处理单元基于深度信息来调整附加图像的大小。由此，附加图像本身以根据插入位置的透视的大小(在根据透视法的状态下)来表现。在根据本技术的图像处理装置中，可以想到附加图像是使用运动图像数据中的移动体检测结果生成的效果图像。例如，表现移动体在运动图像中的移动跟踪、移动轨迹等的效果图像被生成作为附加图像，并且将该效果图像与运动图像进行合成。在根据本技术的图像处理装置中，可以想到针对效果图像设置与移动体相应的深度信息，并且图像编辑处理单元执行使用运动图像数据中的被摄体的深度信息和针对效果图像设置的深度信息从而反映被摄体与附加图像之间的前后关系的图像编辑。针对效果图像设置与移动体的移动相应的深度信息，使得效果图像成为与移动体的深度对应的图像。在根据本技术的图像处理装置中，可以想到针对效果图像设置与移动体相应的深度信息，并且根据深度信息来调整效果图像的大小并且将该效果图像与运动图像数据进行合成。即，附加图像生成单元或图像编辑处理单元基于深度信息来调整效果图像的大小。由此，效果图像本身以根据插入位置(即，每一帧中移动体的位置)的透视的大小(在根据透视法的状态下)来表现。在根据本技术的图像处理装置中，可以想到附加图像是表示运动图像数据中的移动体的轨迹的效果图像。例如，表现移动体在运动图像中的移动轨迹的效果图像被生成作为附加图像，并且将该效果图像与运动图像进行合成。在根据本技术的图像处理装置中，可以想到附加图像是表示运动图像数据中的移动体的动作形态或动作类型的效果图像。移动体在运动图像中的动作存在各种形态和类型。表示该各种形态和类型的效果图像被生成作为附加图像，并且将该效果图像与运动图像进行合成。在根据本技术的图像处理装置中，可以想到附加图像是使用运动图像数据中的声音检测结果生成的字幕图像。检测运动图像中人的话语等，生成其字幕图像作为附加图像，并且将该字幕图像与运动图像进行合成。在根据本技术的图像处理装置中，可以想到字幕图像是基于来自运动图像数据的声音识别显示文本数据的图像。识别在运动图像中话语的声音并且获取文本数据。然后，文本数据被显示为字幕。在根据本技术的图像处理装置中，可以想到字幕图像是根据从运动图像数据识别的声音的音量而不同的形态的图像。例如，字幕图像具有不同显示形态，诸如取决于所识别的声音的声音音量和语音音量的不同大小和字体。在根据本技术的图像处理装置中，可以想到字幕图像是根据运动图像数据中说话者的情绪信息而不同的形态的图像。例如，从所识别的声音中估计说话者的情绪。然后，根据情绪(生气、喜悦或惊讶)等来设置诸如不同大小和字体之类的不同显示模式。在根据本技术的图像处理装置中，可以想到附加图像是使用所获取的信息生成的信息呈现图像。从信息源获取关于运动图像的信息，并且生成呈现该信息的图像作为附加图像。然后，使用深度信息将附加图像与运动图像进行合成。在根据本技术的图像处理装置中，可以想到包括编辑操作图像生成单元，该编辑操作图像生成单元被配置为生成编辑操作图像作为用于编辑被添加到运动图像数据的附加图像的用户界面图像，在该编辑操作图像中表现了运动图像的时间轴和深度轴。在编辑附加图像的合成状态的情况下，生成并显示要被用户用于编辑的编辑操作图像。在这种情况下，经编辑的图像表示运动图像的时间轴和深度轴。在根据本技术的图像处理装置中，可以想到编辑操作图像包括具有作为时间轴的一个轴和作为深度轴的另一个轴的显示区域。例如，作为一个区域，提供具有水平方向上的时间轴和垂直方向上的深度轴的区域以形成编辑画面。在根据本技术的图像处理装置中，可以想到编辑操作图像是其中在时间轴方向上的信息和在特定时间点的图像被同时显示的图像。例如，在时间轴方向上的信息被显示作为时间线时，在一些时间点的图像被同时显示。在根据本技术的图像处理装置中，可以想到编辑操作图像是其中通过在指示时间轴方向上的信息的图像上指定特定时间点来使在所述特定时间点处的图像与时间轴方向上的信息被同时显示的图像。例如，通过在将时间轴方向上的信息显示作为时间线的同时指定特定时间点，在保持呈现关于时间线的信息的同时显示该时间点的图像。在根据本技术的图像处理装置中，可以想到编辑操作图像是其中将在时间轴方向上的特定时间点的图像显示为立体图像的图像。例如，在将时间轴方向上的信息显示为时间线的同时，将时间线上指定的时间点的图像显示为立体图像。根据该实施例的图像处理方法是一种由信息处理本文档来自技高网...

【技术保护点】
1.一种图像处理装置，所述图像处理装置包括：/n附加图像生成单元，所述附加图像生成单元被配置为生成要被添加到运动图像数据的附加图像；以及/n图像编辑处理单元，所述图像编辑处理单元被配置为执行使用要被添加所述附加图像的所述运动图像数据中的像素的深度信息来向所述运动图像数据添加所述附加图像的图像编辑处理。/n

【技术特征摘要】
【国外来华专利技术】20180529 JP 2018-1020281.一种图像处理装置，所述图像处理装置包括：
附加图像生成单元，所述附加图像生成单元被配置为生成要被添加到运动图像数据的附加图像；以及
图像编辑处理单元，所述图像编辑处理单元被配置为执行使用要被添加所述附加图像的所述运动图像数据中的像素的深度信息来向所述运动图像数据添加所述附加图像的图像编辑处理。


2.根据权利要求1所述的图像处理装置，其中，
所述图像编辑处理单元执行图像编辑，所述执行图像编辑使用所述运动图像数据中的被摄体的深度信息和针对所述附加图像设置的深度信息来反映所述被摄体与所述附加图像之间的前后关系。


3.根据权利要求1所述的图像处理装置，其中，
根据所述运动图像数据中的所述附加图像的插入位置处的深度信息来调整所述附加图像的大小并且将所述附加图像与所述运动图像数据进行合成。


4.根据权利要求1所述的图像处理装置，其中，
所述附加图像是使用所述运动图像数据中的移动体检测结果生成的效果图像。


5.根据权利要求4所述的图像处理装置，其中，
针对所述效果图像设置与移动体相应的深度信息，并且
所述图像编辑处理单元执行图像编辑，所述执行图像编辑使用所述运动图像数据中的被摄体的深度信息和针对所述效果图像设置的深度信息从而反映所述被摄体与所述附加图像之间的前后关系。


6.根据权利要求4所述的图像处理装置，其中，
针对所述效果图像设置与移动体相应的深度信息，并且根据所述深度信息来调整所述效果图像的大小并且将所述效果图像与所述运动图像数据进行合成。


7.根据权利要求1所述的图像处理装置，其中，
所述附加图像是表示所述运动图像数据中的移动体的轨迹的效果图像。


8.根据权利要求1所述的图像处理装置，其中，
所述附加图像是表示所述运动图像数据中的移动体的动作形态或动作类型的效果图像。


9.根据权利要求1所述的图像处理装置，其中，
所述附加图像是使用所述运动图像数据中的声音检测结果生成的字幕图像。


10.根据权利要求9所述的图像处理装置...

【专利技术属性】
技术研发人员：高桥正宏，柘植隆弘，浅井聪，野野山阳，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP