从原影像流生成有用影像流的程序、装置以及方法制造方法及图纸

本发明专利技术的有用影像流生成程序使计算机作为如下单元发挥如下功能：编码参数提取单元，从原影像流针对每帧提取各宏块的编码参数；宏块筛选单元，将具有满足预先设定的条件的编码参数的宏块筛选为有用的宏块；以及有用影像流生成单元，生成将与有用的宏块中的编码参数的帧在时间上同步的原影像流的多个帧按时间序列结合而得到的有用影像流。列结合而得到的有用影像流。列结合而得到的有用影像流。

【技术实现步骤摘要】
【国外来华专利技术】从原影像流生成有用影像流的程序、装置以及方法


[0001]本专利技术涉及从由摄像机拍摄的影像流生成削减容量后的有用的影像流的技术。
[0002]本申请基于2019年5月15日在日本申请的日本特愿2019
‑
91895号并主张其优先权，并将其内容援引至本申请。

技术介绍

[0003]作为影像流的编码技术，已知代表性的MPEG(Moving Picture Experts Group)。根据该技术，为了对影像流提高压缩效率，使用基于前和/或后帧来生成当前帧的预测图像，将输入图像与预测图像的差异(误差)图像进行编码的“帧间预测”方式。
[0004]作为影像流，可以是由用户通过家庭拥有的摄像机进行拍摄的影像流，也可以是由固定设置的监控摄像机进行拍摄的影像流。近年来，作为生成影像流的设备，有搭载有对从车辆看到的视野进行拍摄的摄像机的车载记录仪。车载记录仪持续存储车辆的行驶中拍摄到的影像流。
[0005]图1是具有作为设置于车辆的车载记录仪的终端装置的系统结构图。
[0006]如图1所示，作为车载记录仪的终端1，其用摄像机对车辆的行进方向的影像进行拍摄，并将该影像流存储在存储部(存储器、磁盘)中。该终端1将该影像流经由无线网络向数据中心2发送。
[0007]另外，终端1能够经由CAN(Controller Area Network)获取车辆行驶信息。该车辆行驶信息也可以与影像流一起向数据中心2发送。
[0008]数据中心2能够对从终端1接收到的影像流以及车辆行驶信息进行分析。例如，能够检测和/或识别映入影像流中的物体并且与该车辆行驶信息建立对应。
[0009]以往，例如专利文献1中公开了，使用设置于车辆的多个摄像机，对分割成多个区域的影像数据以每个区域不同的编码率进行编码的技术。根据该技术，按每个区域，计算根据重要度要求的分辨率，并以该重要度对应的编码率对影像数据进行编码。
[0010]另外，例如专利文献2中公开了，当车辆在特定方向上的加速度的值超过规定值时，车载记录仪将由设置于车辆的多个摄像机获取到的图像数据进行输出的技术。
[0011]进而，例如专利文献3中公开了，针对由操作者佩戴的摄像机所拍摄的影像而削减数据量的远程操作辅助系统的技术。根据该技术，评价在影像帧内是否存在物体的移动较大的区域，在不存在移动较大的区域的情况下，则认为不重要而进行删除。
[0012]现有技术文献
[0013]专利文献
[0014]专利文献1：日本特开2010
‑
263500号公报
[0015]专利文献2：日本特开2013
‑
218433号公报
[0016]专利文献3：日本特开2018
‑
082333号公报

技术实现思路

[0017]专利技术所要解决的问题
[0018]根据专利文献1中记载的技术，针对编码前的影像数据，有必要识别区域。在摄像机输出已编码的影像数据的情况下，一旦必须解压缩，处理就会变得复杂。另外，虽然针对每个区域其编码率不同，但由于所有的摄像机的影像均为编码对象，因此数据整体的削减效果较小。
[0019]根据专利文献2中记载的技术，由于仅将车辆的加速度作为图像数据输出的判定要素，因此在车辆的加速度不变的行驶状态下，存在不会输出图像数据这样的缺点。
[0020]根据专利文献3中记载的技术，评价图像内的物体的移动的大小并进行编码。因此，存在无法对已被编码的影像数据评价宏块的编码参数并确定应削减的影像数据这样的缺点。
[0021]与此相对，本申请的专利技术人考虑，若能够生成作为原影像流的影像分析所需的仅含有有用的部分的有用影像流，则能够削减应蓄积或应传输的数据容量。另外，考虑接收有用影像流的装置也能够减轻用于检测和/或识别映入在该有用影像流中的物体的处理的负担。
[0022]因此，本专利技术目的在于，提供一种生成作为原影像流的影像分析所需的仅含有有用的部分的有用影像流的程序、装置以及方法。
[0023]解决问题的技术手段
[0024]根据本专利技术的程序，使计算机作为从被拍摄和编码的原影像流中生成有用影像流的装置发挥功能，其中，
[0025]所述程序使所述计算机作为如下单元发挥功能：
[0026]编码参数提取单元，从所述原影像流针对每帧提取各宏块的编码参数；
[0027]宏块筛选单元，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及
[0028]有用影像流生成单元，生成将所述有用的宏块中的所述编码参数的帧与时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。
[0029]本专利技术的程序优选使所述有用影像流生成单元发挥如下功能：除了将与编码参数的帧同步的原影像流的帧按时间序列结合而得到的影像流以外，将该编码参数的帧按时间序列结合而得到的影像流生成为所述有用影像流。
[0030]本专利技术的程序优选使所述有用影像流生成单元发挥如下功能：针对每帧包含帧编号和/或时间码，作为有用影像流。
[0031]本专利技术的程序优选使所述有用影像流生成单元发挥如下功能：针对每帧包含有用的宏块、所述有用的宏块的分布信息，作为有用影像流。
[0032]本专利技术的程序优选使所述有用影像流生成单元发挥如下功能：以包含帧的GOP(Group Of Pictures)为单位包括具有有用的宏块的帧，作为有用影像流。
[0033]本专利技术的程序优选使所述有用影像流生成单元发挥如下功能：对不相当于所述有用的宏块中的编码参数的帧的GOP，删除或者以规定比例以上的高压缩率进行压缩。
[0034]在本专利技术的程序中优选，所述原影像流被从搭载于移动体的摄像机输出，
[0035]所述有用影像流包括仅映入有在所述摄像机拍摄出的物体中出现或消失的物体
的影像。
[0036]在本专利技术的程序中优选，所述编码基于MPEG(Moving Picture Experts Group)进行，
[0037]所述编码参数包括正向预测(帧间)的运动矢量的大小和朝向、画面内预测(帧内)的编码量或量化(Quantization)步长的尺寸。
[0038]为了筛选时间变动为规定以上较大的有用的宏块，本专利技术的所述程序优选使所述宏块筛选单元发挥如下功能：针对每个所述宏块进行以下处理作为所述预先设定的条件：
[0039]正向预测的运动矢量为规定长度以上的大小，并且相对于地平线上的会聚点的方向为规定角度以上；
[0040]画面内预测的编码量为第一编码量以上；或者
[0041]量化步长为规定尺寸以上。
[0042]本专利技术的程序优选使所述有用影像流生成单元发挥如下功能：将画面内预测的编码量为第二编码量以上的帧判定为所述移动体处于停止，并从所述有用影像流中排除。
[0043]本专利技术的程序优选所述程序使所述宏块筛选单元发挥如下功能：生成根据分布信息将所述有用本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种程序，使计算机作为从被拍摄和编码的原影像流中生成有用影像流的装置发挥功能，其中，所述程序使所述计算机作为如下单元发挥功能：编码参数提取单元，从所述原影像流针对每帧提取各宏块的编码参数；宏块筛选单元，将具有满足预先设定的条件的编码参数的所述宏块筛选为有用的宏块；以及有用影像流生成单元，生成将与所述有用的宏块中的所述编码参数的帧在时间上同步的所述原影像流的多个帧按时间序列结合而得到的有用影像流。2.如权利要求1所述的程序，其中，所述程序使所述有用影像流生成单元发挥如下功能：除了将与所述编码参数的帧同步的所述原影像流的帧按时间序列结合而得到的影像流以外，将该编码参数的帧按时间序列结合而得到的影像流生成为所述有用影像流。3.如权利要求1或2所述的程序，其中，所述程序使所述有用影像流生成单元发挥如下功能：针对每帧包含帧编号和/或时间码，作为所述有用影像流。4.如权利要求3所述的程序，其中，所述程序使所述有用影像流生成单元发挥如下功能：针对每帧包含有用的宏块、所述有用的宏块的分布信息，作为所述有用影像流。5.如权利要求3或4所述的程序，其中，所述程序使所述有用影像流生成单元发挥如下功能：以GOP(Group Of Pictures)为单位包括具有有用的宏块的帧，作为所述有用影像流。6.如权利要求5所述的程序，其中，所述程序使所述有用影像流生成单元发挥如下功能：对不相当于所述有用的宏块中的编码参数的帧的GOP，删除或者以规定比例以上的高压缩率进行压缩。7.如权利要求1至6中任一项所述的程序，其中，所述原影像流被从搭载于移动体的摄像机输出，所述有用影像流包括仅映入有在所述摄像机拍摄出的物体中出现或消失的物体的影像。8.如权利要求7所述的程序，其中，所述编码基于MPEG(Moving Picture Experts Group)进行，所述编码参数包括正向预测(帧间)的运动矢量的大小和朝向、画面内预测(帧内)的编码量或量化(Quantization)...

【专利技术属性】
技术研发人员：菅野胜，柳原广昌，中岛康之，
申请(专利权)人：KDDI株式会社，
类型：发明
国别省市：