建议了一种用于确定监控区域的监控图像序列(110)的值得注意的部分序列(114a)的方法，该方法具有步骤：提供(S1)来自监控区域的音频信号，所述音频信号至少部分地包括监控图像序列的时段；提供(S1)要监控的环境的已由成像系统生成的监控图像序列；从所提供的音频信号中确定(S2)所述音频信号的至少一个具有异常噪声的区段；确定(S3)监控图像序列的至少一个在要监控的环境之内具有异常运动的区段；确定所述音频信号的至少一个具有异常噪声的区段(114a)与监控图像序列的至少一个具有异常运动的区段(114a)的相互关系，以确定监控图像序列(110)的值得注意的部分序列(114)。序列(110)的值得注意的部分序列(114)。序列(110)的值得注意的部分序列(114)。
【技术实现步骤摘要】
【国外来华专利技术】用于确定监控图像序列的值得注意的部分序列的方法
技术介绍
[0001]基于视频的交通工具内部空间监控用于，观测交通工具中的乘客、例如在共乘(Ride
‑
Sharing)交通工具中或者在自主出租车(autonomen Taxi)中或者一般在至少部分自动化驾驶的情况下的乘客，以便记录在行驶(Fahrt)期间的特别事件。经由移动无线电网络传输(英语upload(上传))视频数据以及在用于存储视频数据的设备上必须可供使用的数据存储器的大小是运营成本的重要经济因素。为了缩减要传输的数据的量，可以使用压缩方法，以便提高用于传输和存储视频的经济收益。
技术实现思路
[0002]尤其是为了传输和存储这种视频文件，例如为了将这种视频文件传输和存储到云中，除了压缩之外，经济上还要求进一步减少要传输的数据，而在此无需不允许地降低在相关信息区域中的必需的质量。
[0003]尤其是，这种基于视频的交通工具内部空间监控可用于汽车共享(Car Sharing)、预约出租车(英语Ride Hailing)的领域中，或者可用于出租车公司，以便例如避免危险的或者违法的行为，或者以便自动地或者手动地辨识危险的或者违法的行为。
[0004]为了为缩减要传输的数据的量而在传输之前仅仅辨识行驶的相关部分(例如在交通工具中的相关部分)，常规地可能会应用将这种事件(或Events)当作正面类别看待的方法。这种方法可能会被配置成使得，探测到相应的事件并按时间来编排相应的事件。为了能够实现这一点，可能必须清楚地定义这些事件，或这些事件可能必须清楚地是可定义的。
[0005]交通工具中的用于确定相关的事件(或Events)或场景的这种深刻的分析方法的缺点是与之相联系的计算密集的开销，并且因此是成本。附加地，为了开发这种深刻的分析方法，形成高的开发开销，以便记录足够量的相关事件，以便能够清楚和明确地定义这些事件。此外，形成高的硬件成本，以便在交通工具中执行这种计算。在此，关于此存在“先有鸡还是先有蛋问题”，因为为了能够定义相对应的硬件和方法需要来自现场的大量数据，可是这些硬件和方法必须在现场使用之前就存在。
[0006]根据本专利技术的多个方面，建议了根据独立权利要求的特征的一种用于确定监控图像序列的值得注意的部分序列的方法、一种用于训练用于确定特征点的神经网络的方法、一种监控设备、一种用于提供控制信号的方法、一种监控设备、一种对用于确定监控图像序列的值得注意的部分序列的方法的应用和一种计算机程序。有利的构建方案是从属权利要求以及随后描述的主题。
[0007]在本专利技术的整个说明书中，方法步骤系列呈现为使得，可容易理解该方法。但是，本领域技术人员将认识到，也可以以不同的顺序经历这些方法步骤中的许多方法步骤，并且这些方法步骤中的许多方法步骤导致相同的或者相对应的结果。在这个意义上，可以相对应地改变这些方法步骤的顺序。若干特征配备有数词，以便提高可读性或者使分配关系(Zuordnung)更明确，但是这并不意味着存在确定的特征。
[0008]根据一个方面，建议了一种用于确定监控区域的监控图像序列的值得注意的部分
序列的方法，该方法具有下列步骤：
[0009]在一个步骤中，提供来自监控区域的音频信号，该音频信号至少部分地包括监控图像序列的时段。在另一步骤中，提供要监控的环境的已由成像系统生成的监控图像序列。在另一步骤中，从所提供的音频信号中确定音频信号的至少一个具有异常噪声的区段。在另一步骤中，确定监控图像序列的至少一个在要监控的环境之内具有异常运动的区段。
[0010]在另一步骤中，确定音频信号的至少一个具有异常噪声的区段与监控图像序列的至少一个具有异常运动的区段的相互关系，以便确定监控图像序列的值得注意的部分序列。
[0011]通过利用这种方法来确定监控图像序列的值得注意的部分序列，传输这些值得注意的部分序列可能足以充分监视监控区域。由于以值得注意的部分序列共计监控图像序列的仅小部分为出发点，所以利用这种方法可以显著降低如下数据量：该数据量例如被存储和/或无线地被传输至控制中心和/或至评估单元。以此达到了如下目标：使数据传输和存储的成本最小化。
[0012]在此，监控图像序列可能具有大量如下部分序列：所述部分序列分别表征监控图像序列的时间子范围。
[0013]监控区域表征如下空间区域：在所述空间区域中，通过音频信号和监控图像序列来跟踪变化。尤其是，如果监控区域涉及交通工具的内部空间，则异常噪声和异常运动涉及在乘客与交通工具的驾驶员之间的交互。尤其是，确定监控图像序列的至少一个在监控区域中的至少一个对象具有异常运动的区段。
[0014]利用这种方法，既用监控图像序列的图像信号又用音频信号对监控区域进行监控，其中音频信号例如可以与(尤其是摄影机的)视频信号一起被提供，并且该方法不仅分析图像信号，而且分析音频信号。
[0015]对于音频范围，频率范围可以划分为使得，过滤掉不相关的份额(Anteile)。例如，这涉及发动机噪声和来自监控区域的外部环境的经过强烈衰减的噪声。尤其是，针对音频信号可以使用如下这种过滤器组：所述过滤器组被用在信息技术中，并且是合适的和设立为，以便将环境噪声与乘客噪声分开。
[0016]在此，音频信号可能具有大量单独探测到的音频信号，所述单独探测到的音频信号已分别通过监控区域中的各个不同的声音转换器探测到。
[0017]在视频分析中，亦即在确定例如对象或者乘客的异常运动时，要在监控图像序列的图像系列中检测运动。在此，以如下假设为出发点：在驾驶员与乘员或者乘客之间缺少交互时，如例如在无冲突的情形中，在交通工具中只存在少量运动。
[0018]确定音频信号的至少一个具有异常噪声的区段与监控图像序列的至少一个具有异常运动的区段的相互关系既可以基于规则地进行，又可以(如在下面所呈现的那样)利用相对应训练过的神经网络来实现。
[0019]在最简单的情况下，涉及辨识行驶中的场景，在所述场景中未曾交谈，而只是已发生少量运动。接着，为了上传或传输，可能由于缺乏相关性而抑制监控图像序列的这种部分序列。
[0020]根据一个方面建议了，监控区域为交通工具内部空间。除了应用于监控交通工具内部空间之外，这里描述的用于确定监控区域的监控图像序列的值得注意的部分序列的方
法例如一般也可被用于监控摄像机或者行车记录仪。
[0021]根据一个方面建议了，借助对于确定训练过的神经网络，确定音频信号的具有异常噪声的区段和/或监控图像序列的具有异常运动的区段。
[0022]换言之，尤其是为了进行预过滤，借助组合式神经网络，音频信号和监控图像序列的视频信号可以确定音频信号的至少一个具有异常噪声的区段和/或监控图像序列的具有异常运动的区段，和/或可以将环境噪声与乘客噪声分开。
[0023]一般而言，在神经网络中，在人工神经元的连接处的信号可能是实数，并且人工神经元的输出通过其输入之和的非线性函数来计算。人工神经元的连接通常具有如下权重：该权重随着进步式本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.用于确定监控区域的监控图像序列(110)的值得注意的部分序列(114a)的方法(100)，其具有步骤：提供(S1)来自所述监控区域的音频信号，所述音频信号至少部分地包括所述监控图像序列的时段；提供(S1)要监控的环境的已由成像系统生成的所述监控图像序列；从所提供的音频信号中确定(S2)所述音频信号的至少一个具有异常噪声的区段；确定(S3)所述监控图像序列的至少一个在所述要监控的环境之内具有异常运动的区段；确定所述音频信号的所述至少一个具有异常噪声的区段(114a)与所述监控图像序列的所述至少一个具有异常运动的区段(114a)的相互关系，以便确定所述监控图像序列(110)的值得注意的部分序列(114)。2.根据权利要求1所述的方法(100)，其中，确定所述监控图像序列(114)的至少一个值得注意的部分序列，其方式是：从所述监控图像序列(110)中减去如下至少一个部分序列(112a)：在所述至少一个部分序列(112a)中，确定所述监控图像序列的所述至少一个具有异常运动的区段(114a)与所述音频信号的所述至少一个具有异常噪声的区段(114a)的所述相互关系表现在极限值以下。3.根据权利要求1或者2所述的方法(100)，其中，通过关于异常幅度和/或异常频率在所述音频信号(130)中辨识人声的频带，确定所述音频信号的所述至少一个具有异常噪声的区段(114a)。4.根据上述权利要求中任一项所述的方法(100)，其中，检测所述所提供的音频信号(120)的来源地点，并基于所述来源地点来确定所述异常噪声。5.根据上述权利要求中任一项所述的方法(100)，其中，压缩所述监控图像序列(110)的图像，和借助所述监控图像序列(110)，基于用于压缩所述监控图像序列(110)的相继图像的开销变化来确定所述监控区域中的异常运动。6.根据上述权利要求中任一项所述的方法(100)，其中，为了确定所述监控区域中的异常运动，确定所述监控图像序列(110)的图像的至少一个光流，并且基于所确定的光流，借助所述图像来确定异常运...
【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。