视频再现设备和视频再现方法技术

本发明专利技术涉及视频再现设备和视频再现方法。实现了在再现由数码相机摄取的视频时对横向摇晃的防止，并且使得在大画面电视机上进行观看变得舒适。在图像摄取记录时，脸部检测位置中心坐标数据被记录在流的属性信息单元中，作为以0.5秒为单位的每个VOBU(GOP)的ARI数据。在再现时，在再现包括在脸部中心位置坐标的检测数据中的视频时以RUV为单位集体地提前读取GOP流的ARI数据，以预先读取大量VOBU，相对于脸部中心位置坐标以GOP为单位对缺少的时间执行插值，并且以帧为单位通过时间移动平均计算来对画面位移量进行时间轴平滑计算。

【技术实现步骤摘要】

本专利技术涉及用于将视频记录在记录介质上的诸如数字摄像机之类的，特别地，涉及例如用于再现以个人水平摄取的视频同时防止诸如视频摇晃之类的不利影响的。此外，具体地，本专利技术涉及用于进行再现同时抑制包括在所摄取视频中的横向摇晃以防止观看者出现类似于晕船的症状的，特别地，涉及用于通过利用图像摄取记录时的脸部检测位置信息来抑制视频再现时脸部的横向摇晃的。
技术介绍
近来，替代通过利用胶卷或照相底片来执行图像摄取的银盐相机，使图像经过数字编码处理以供保存的数码相机已广泛普及。这种类型的数码相机通过固态图像摄取元件来摄取图像，在固态图像摄取元件中，用于执行光电转换和累积的像素阵列的光接收单元是由光电二极管构成的。固态图像摄取元件的例子例如可以是CCD(电荷耦合器件)、CMOS(互不金属氧化物半导体)等。由数码相机摄取的图像例如按照诸如MPEG (运动图像专家组)之类的预定编码格式被编码，并且此后被记录在记录介质中。此外，可以通过解码来再现并输出这种被记录的图像。例如，这种被记录的图像可以通过安装在数码相机上的诸如LCD(液晶显示器)之类的显示设备被再现，并且当记录介质被取出并被装载到另一再现设备中时则被进一步显示和再现。或者，随着近来网络技术的发展，通过将数码相机连接到个人计算机或其它信息装备，即使不对记录介质执行更换操作，也能够对从记录介质读出以被显示或再现的图像执行数据传送。顺便提及，对图像摄取技术缺乏经验的个人常常由于操作不熟练而剧烈地移动相机(例如，大幅度的相机摇晃)，这变成在摄取运动图像时会被记录的视频摇晃。当然，大量数码相机配备有相机摇晃校正功能，例如用于利用光学透镜执行校正的机械类型的相机摇晃校正装置或者用于通过图像传感器上的图像处理来执行校正的电子类型的相机摇晃校正装置。然而，不可能移除对较大摇晃的校正，并且所摄取视频的整体大幅地摇晃。如果观看包括摇晃的视频,贝U会出现导致晕视频(video sickness)的危险。当视频摇晃被分类为横向摇晃和纵向摇晃时，横向摇晃是类似于晕船的现象。近来，即使在一般的家庭中，也流行大画面的电视机，并且特别地，当观看大画面上的视频摇晃时，观看者往 往由于视频摇晃而晕视频。在摇晃特别严重的情况中，对人的身体产生了诸如呕吐或头痛疾病之类的影响，这也是有关于视频安全的问题。在广播制作场合，准备了用于应对这种晕视频的视频创作手册。即，在广播站等中的先前被控制的视频内容的情况中，提出了一种机构来作为广播系统，其中，在发送侧和接收侧，通过经由指示不利影响视频的元信息来控制视频信号从而防止不利影响。就此而言，难以对以个人水平摄取的视频进行调整，并且当以个人水平摄取的视频被再现并输出时，会出现导致晕视频的危险。例如，已提出了一种图像摄取记录再现设备，其中，当所摄取的运动图像被编码并被记录时，添加用于控制的再现控制信息，以便通过检测所摄取运动图像中的大幅摇晃来减少当再现与大幅摇晃相对应的运动图像时的摇晃，并且当再现运动图像时，基于再现控制信息来控制再现(例如，参见专利文献I)。然而，上述图像摄取记录再现设备被配置为由于大幅摇晃被停止并变为静止而预先防止晕视频，而未被配置为在运动图像再现时从再现画面校正视频摇晃本身。此外，已提出了一种运动图像记录设备和运动图像再现设备，其中，在记录运动图像数据时，通过已知的图像处理来检测当前帧与前一帧之间的偏离量(包括偏离方向)，该偏离量被记录在一段运动图像数据的子头部(sub header)中作为相机摇晃信息，当再现运 动图像数据时，比原始运动图像数据的整体区域A小的用于相机摇晃校正的区域B被预先设置，并且用于相机摇晃校正的区域B中的运动图像数据被从原始运动图像数据中切出以被重新调整为预定图像大小(例如，参见专利文献2)。根据这种运动图像记录设备和运动图像再现设备，在当前帧与前一帧之间的偏离量被检测作为图像偏离量时，即使可以从运动图像数据中移除相机摇晃，也认为不能充分地移除脸部的水平摇晃。专利文献I :日本未实审专利申请公报No. 2007-134822专利文献2 :日本未实审专利申请公报No. 2004-24817
技术实现思路
技术问题本专利技术的一个目的例如是提供优异的，其中，在防止诸如视频摇晃之类的不利影响的同时来再现以个人水平摄取的视频。本专利技术的另一目的是提供优异的，其中，在对包括在所摄取视频中的横向摇晃进行抑制的同时执行再现，以使得可以防止观看者出现类似于晕船的症状。技术方案本专利技术是鉴于上面的问题而作出的，并且是一种视频再现设备，用于再现与按照预定运动图像格式伴随的属性信息一起被记录在记录介质上的视频流，由从视频流检测到的脸部的中心位置坐标构成的脸部检测位置信息作为属性信息被记录在记录介质上，该视频再现设备的特征在于包括读取装置，被配置为从记录介质读取所记录的视频流以及属性信息；解码装置，被配置为对所读取的视频流进行解码；脸部摇晃校正装置，被配置为基于包括在属性信息中的脸部检测位置信息来预测画面位移量，并且校正包括在视频流中的脸部摇晃；以及输出装置，被配置为输出脸部摇晃被校正之后的视频流。例如，常常由于操作缺乏经验等而在以个人水平摄取的视频中包括有视频摇晃。在数字摄像机所摄取的视频由大画面电视机等再现的情况中，当摇晃得厉害的视频被观看时，很容易因视频摇晃产生晕视频，并且对人的身体产生了诸如呕吐或头痛疾病之类的影响，这也是有关于视频安全的问题。已提出了几种图像摄取记录再现设备，用于在存在不能通过相机摇晃校正功能充分移除的大幅视频摇晃的情况中预先防止晕视频，然而，不存在用于防止由于脸部的横向摇晃引起的晕视频的再现设备或再现方法。与此相比，根据本专利技术，通过脸部检测技术来检测包括在视频中的脸部，由脸部的中心位置坐标构成的脸部检测位置信息作为属性信息与所摄取的运动图像一起被记录，并且在视频再现时通过利用所记录的脸部检测位置信息来校正脸部的横向摇晃。结果，即使在用户在大画面电视机等上观看再现视频的情况中，也可以防止晕视频的发生。根据本专利技术的视频再现设备再现例如以MPEG格式进行了编码的、记录在记录介质上的视频数据。在MPEG格式中，当基于多个帧的图像生成一个画面时，将由多个帧构成的、称为GOP的组作为一个单位来对待(众所周知的)。然后，由包括在所摄取视频中的被摄体的所检测脸部的中心位置坐标构成的脸部检测位置信息被记录为GOP的属性信息。例如，对于以0. 5秒为单位的每个G0P，由所检测脸部的中心位置坐标构成的脸部检测位置信息作为属性信息被记录在流的属性信息单元中。此外，在视频再现时，根据本专利技术的视频再现设备对被记录作为属性信息的脸部检测位置信息执行提前读取，以便以时间连续方式使其经过插值平均，并且对视频的再现脸部摇晃校正执行控制。此时，再现图像在脸部中心坐标处被放大并被再现。如果所记录视频是高清晰(HD)图像，则当放大到一定程度时，图像质量的恶化并不明显。当在再现时读取被记录作为属性信息的脸部检测位置信息时，实现了较长时间的提前读取。因此，由于随时间流逝的横坐标位置改变数据的时段长，可以通过读取来执行处理，使得以满意的精确度来实现对脸部的横向摇晃校正。在再现开始时，获得图像精细质量模式和图像长宽比(aspect)模式。当再现包括了所记录的脸部检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
2007.10.23 JP 2007-2747021.一种视频再现设备，用于再现视频流，所述视频再现设备的特征在于包括 脸部摇晃校正装置，被配置为基于与所述视频流有关的属性信息来校正所述视频流所包含的脸部摇晃，其中，所述属性信息包括由从所述视频流检测到的脸部的中心位置坐标构成的脸部检测位置信息， 其中，所述视频流被进行编码，其中，多个帧的画面组被设为一个单位，并且，与每个画面组的导入帧有关的脸部检测位置信息被附加到所述属性信息。2.根据权利要求I所述的视频再现设备，特征在于包括 读取装置，被配置为从记录介质读取所记录的视频流以及所述属性信息；以及 解码装置，被配置为对所读取的视频流进行解码。3.根据权利要求I所述的视频再现设备，特征在于包括 输出装置，被配置为输出所述脸部摇晃被校正之后的视频流。4.根据权利要求I所述的视频再现设备，特征在于 所述视频流与按照预定运动图像格式伴随的属性信息一起被记录在记录介质上。5.根据权利要求I所述的视频再现设备，特征在于 所述脸部摇晃校正装置被配置为基于包括在所述属性信息中的脸部检测位置信息来预测画面位移量，并且校正所述视频流所包含的脸部摇晃。6.根据权利要求2所述的视频再现设备，特征在于 所述读取装置在视频再现时提前读取多个画面组的视频流以及脸部检测位置信息。7.根据权利要求5所述的视频再现设备，特征在于 所述脸部摇晃校正装置通过对脸部检测位置以时间连续方式进行插值平均来预测所述画面位移量，并且对视频的再现脸部摇晃校正执行控制。8.根据权利要求I所述的视频再现设备，特征在于 脸部检测中心位置坐标被作为视频流的属性信息而记录在记录介质上，并且 所述脸部摇晃校正装置消除所述脸部检测中心位置坐标相对于画面中心位置的偏移，并且通过中心偏移放大处理来校正脸部摇晃，所述中心偏移放大处理在所述脸部检测中心位置坐标处以预定放大率来放大供再现的图像。9.根据权利要求2所述的视频再现设备，特征在于 所述读取装置仅提前读取多个画面组，并且 所述脸部摇晃校正装置以场为单位创建帧再现显示时间与脸部检测位置信息的对应关系表，从每个画面组单位的脸部检测位置信息计算每场的脸部检测位置的位移量，还通过对可在最大位移限制量的范围内进行分割的个数的场集合的移动平均来校正脸部检测位置坐标。10.根据权利要求2所述的视频再现设备，特征在于 所述读取装置在对所述视频再现设备的用于视频流的再现流缓冲器的读取更新请求被生成时，集体地提前读取脸部检测位置信息以及视频流。11.根据权利要求I所述的视频再现设备，特征在于 所述脸部摇晃校正装置通过消除脸部检测中心位置坐标相对于画面中心位置的水平方向上的偏移来校正横向摇晃，并且还通过消除背景的风景水平检测位置坐标相对于画面中心位置的偏移来校正纵向摇晃。12.根据权利要求8所述的视频再现设备，特征在于 所述脸部摇晃校正装置在供再现的图像以预定放大率被放大时脸部检测区域部分地从画面区域中伸出的情况中，提供左右校正宽度限制，用...

【专利技术属性】
技术研发人员：冈田俊二，有留宪一郎，矶部幸雄，
申请(专利权)人：索尼公司，
类型：发明
国别省市：