情景感知监测制造技术

种用于环境内情景感知监测的系统，其中该系统包括一个或多个处理设备，该一个或多个处理设备被配置为：从多个成像设备中的每一个接收包括多个捕获图像的图像流，该多个成像设备被配置为捕获环境内对象的图像，并且至少一些该成像设备被定位在该环境内以具有至少部分重叠的视场；识别该不同图像流中的重叠的图像，该重叠的图像为由具有重叠的视场的成像设备所捕获的图像；分析该重叠的图像以确定该环境中的对象位置；分析该对象位置随时间的变化以确定该环境中的对象移动；将该对象移动与情景感知规则进行比较；以及使用该比较的结果来识别情景感知事件。识别情景感知事件。识别情景感知事件。

【技术实现步骤摘要】
【国外来华专利技术】情景感知监测
[0001]本专利技术的背景
[0002]本专利技术涉及一种用于环境中情景感知监测的系统和方法，并且在一个特定示例中，涉及一种用于对环境中移动的对象进行情景感知监测的系统和方法。
[0003]现有技术的描述
[0004]本说明书中对任何先前出版物(或从其中得到的信息)或任何已知事项的引用，不是也不应被视为对先前出版物(或从其中得到的信息)或已知物质构成本说明书所涉及的本职领域中公知常识一部分的确认或承认或任何形式的暗示。
[0005]情景感知是环境要素和事件相对于时间或空间的感知、对其意义的理解以及对其未来状态的预测。情景感知被认为对于在一系列情况下的决策很重要，特别是在人员和设备之间存在可能导致伤害或其他不利后果的交互的情况下。这方面的一个例子是在工厂内，其中人员和设备之间的交互有可能造成人员伤亡。
[0006]已经进行了许多尝试以提供情景感知监测。例如，US
‑
8,253,792描述了一种用于工作区的安全监测系统。工作区涉及具有自主化可移动设备的区域。多个基于视觉的成像设备捕获工作区的时间同步的图像数据。每个基于视觉的成像设备从与其他相应的基于视觉的成像设备基本不同的相应视点重复地捕获工作区的时间同步的图像。一种用于分析时间同步的图像数据的视觉处理单元。该视觉处理单元处理所捕获的图像数据以从工作区内的非人类对象中识别人类。该视觉处理单元还确定人与自主化可移动设备之间的潜在交互。该视觉处理单元还生成控制信号，以用于基于工作区中人与自主化可移动设备之间的潜在交互来实现自主化可移动设备的动态重新配置。
[0007]然而，该系统被配置为与静态机器人一起使用并使用机器视觉相机，其价格昂贵，因此不适合被大规模有效利用。
[0008]在US
‑
7,929,017中，提供了一种统一的方法、融合技术、时空约束、方法论和系统架构。该统一的方法是融合单目立体视频跟踪器、RFID和定位系统以及生物识别系统的输出。所提供的融合技术是基于将来自异构数据源的感官信息转换为具有严格不确定性分析的公共坐标系，以解决各种传感器噪声和模糊性。该时空约束用于使用位置和速度信息融合不同的传感器。优点包括能够在大面积内连续追踪具有身份的多个人。该方法是通用的，因此可以将其他传感器合并到该系统中。该系统架构是提供用于传感器的底层实时处理。
[0009]US
‑
8,289,390
[0010]描述了一种有感知的系统，该系统使用立体相机网络将杂乱和拥挤环境(例如办公楼、终端或其他封闭场所)的检测、跟踪和沉浸式可视化相结合。警卫使用实时3D模型监测场所，该模型使用多个视频流从不同方向被更新。当一个人在相机的视野内移动时，该系统会检测到他的移动并追踪这个人的路径，当这个人离开那个相机的视野时，那个相机会将轨迹移交给下一个相机。可以在相机内和相机之间同时追踪多个人，每个追踪都显示在地图显示上。该追踪系统包括追踪地图浏览器和视频闪光查看器，追踪地图浏览器显示所有移动对象的轨迹以及最近轨迹的历史记录，视频闪光查看器显示任何被追踪的人的实时沉浸式视频。
[0011]然而，这些解决方案是专门为追踪人类而配置的，并且需要存在立体视频追踪器，这些是很昂贵的因此不适合被大规模部有效利用。
[0012]US2015/0172545描述了一种用于显示全景视图图像的方法，该方法包括将来自多个传感器的视频数据传输到数据处理器，并使用处理器将来自各个传感器的视频数据拼接成单个全景图像。定义了图像的焦点视图，并且滚动全景图像以使得焦点视图在显示器中居中。高分辨率相机沿着与图像的焦点视图的中心相对应的线瞄准，并且由相机产生的图像被拼接成全景图像。对图像数据应用映射函数以压缩数据，从而至少降低图像在与其侧边缘相邻的区域中的水平分辨率。
[0013]WO2014/149154描述了一种监测系统，该系统集成了来自天气、电力、网络和/或社交媒体源的多个领域数据，以极大地提高情景感知能力并促进对基础设施环境(例如电网)中的可靠性、可持续性和效率进行更准确地评估。在所公开技术的一个示例中，一种方法包括从与基础设施系统相关的两个或更多个不同领域中接收实时数据，将实时数据聚合成与该基础设施系统相关的统一表示，以及将该统一表示提供给一个或多个自定义的图形用户界面。

技术实现思路

[0014]以一种广泛的形式，本专利技术的一方面寻求提供一种用于环境内情景感知监测的系统，其中该系统包括一个或多个处理设备，该一个或多个处理设备被配置为：从多个成像设备中的每一个接收包括多个捕获图像的图像流，该多个成像设备被配置为捕获环境内对象的图像，并且至少一些该成像设备被定位在该环境内以具有至少部分重叠的视场；识别该不同图像流中的重叠的图像，该重叠的图像为由具有重叠的视场的成像设备所捕获的图像；分析该重叠的图像以确定该环境中的对象位置；分析该对象位置随时间的变化以确定该环境中的对象移动；将该对象移动与情景感知规则进行比较；以及使用该比较的结果来识别情景感知事件。
[0015]在一个实施例中，该重叠的图像是大致同时捕获的同步的重叠图像。
[0016]在一个实施例中，该一个或多个处理设备被配置为：确定每个所捕获的图像的捕获时间；以及使用该捕获时间识别同步图像。
[0017]在一个实施例中，该一个或多个处理设备被配置为使用以下至少一个来确定捕获时间：由该成像设备生成的捕获时间；与每幅图像相关联的接收时间，该接收时间表示由该一个或多个处理设备接收的时间；和该图像中的图像内容的比较。
[0018]在一个实施例中，该一个或多个处理设备被配置为：分析来自每个图像流的图像以识别对象图像，该对象图像为包括对象的图像；以及将重叠的图像识别为包含该相同对象的对象图像。
[0019]在一个实施例中，该一个或多个处理设备被配置为至少部分地基于该成像设备的定位来识别重叠的图像。
[0020]在一个实施例中，该一个或多个处理设备被配置为：分析来自图像流的多个图像以识别静态图像区域；以及将对象图像识别为包括非静态图像区域的图像。
[0021]在一个实施例中，该图像中的至少一个是背景参考图像。
[0022]在一个实施例中，该一个或多个处理设备被配置为：确定图像流中图像之间的图
像区域在外观上的变化程度；以及至少部分基于该变化程度识别对象。
[0023]在一个实施例中，该一个或多个处理设备被配置为：将该变化程度与分类阈值进行比较；根据该比较的结果对该图像区域进行分类；以及基于该图像区域的分类识别对象。
[0024]在一个实施例中，该一个或多个处理设备被配置为将该图像区域：分类为静态图像区域，如果该变化程度低于该分类阈值；或者分类为非静态图像区域，如果该变化程度高于该分类阈值。
[0025]在一个实施例中，该一个或多个处理设备被配置为分析非静态图像区域以识别对象。
[0026]在一个实施例中，该一个或多个处理设备被配置为动态地调整该分类阈值。
[0027]在一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于环境内情景感知监测的系统，其中所述系统包括一个或多个处理设备，所述一个或多个处理设备被配置为：a)从多个成像设备中的每一个接收包括多个捕获图像的图像流，所述多个成像设备被配置为捕获环境内对象的图像，并且至少一些所述成像设备被定位在所述环境内以具有至少部分重叠的视场；b)识别所述不同图像流中的重叠的图像，所述重叠的图像为由具有重叠的视场的成像设备所捕获的图像；c)分析所述重叠的图像以确定所述环境中的对象位置；d)分析所述对象位置随时间的变化以确定所述环境中的对象移动；e)将所述对象移动与情景感知规则进行比较；以及f)使用所述比较的结果来识别情景感知事件。2.根据权利要求1所述的系统，其中所述重叠的图像是大致同时捕获的同步的重叠图像。3.根据权利要求2所述的系统，其中所述一个或多个处理设备被配置为：a)确定每个所捕获的图像的捕获时间；以及b)使用所述捕获时间识别同步图像。4.根据权利要求3所述的系统，其中所述一个或多个处理设备被配置为使用以下至少一个来确定捕获时间：a)由所述成像设备生成的捕获时间；b)与每幅图像相关联的接收时间，所述接收时间表示由所述一个或多个处理设备接收的时间；和c)所述图像中的图像内容的比较。5.根据权利要求1至4中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)分析来自每个图像流的图像以识别对象图像，所述对象图像为包括对象的图像；以及b)将重叠的图像识别为包含所述相同对象的对象图像。6.根据权利要求5所述的系统，其中所述一个或多个处理设备被配置为至少部分地基于所述成像设备的定位来识别重叠的图像。7.根据权利要求1至6中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)分析来自图像流的多个图像以识别静态图像区域；以及b)将对象图像识别为包括非静态图像区域的图像。8.根据权利要求7的所述的系统，其中所述图像中的至少一个是背景参考图像。9.根据权利要求1至8中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)确定图像流中图像之间的图像区域在外观上的变化程度；以及b)至少部分基于所述变化程度识别对象。10.根据权利要求9所述的系统，其中所述一个或多个处理设备被配置为：a)将所述变化程度与分类阈值进行比较；b)根据所述比较的结果对所述图像区域进行分类；以及c)基于所述图像区域的分类识别对象。
11.根据权利要求10所述的系统，其中所述一个或多个处理设备被配置为将所述图像区域：a)分类为静态图像区域，如果所述变化程度低于所述分类阈值；或者b)分类为非静态图像区域，如果所述变化程度高于所述分类阈值。12.根据权利要求11所述的系统，其中所述一个或多个处理设备被配置为分析非静态图像区域以识别对象。13.根据权利要求10至12中任一项所述的系统，其中所述一个或多个处理设备被配置为动态地调整所述分类阈值。14.根据权利要求10至13中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)识别包含已停止移动的对象的对象图像区域；以及b)修改所述对象图像区域的所述分类阈值，以降低为了将所述图像区域分类为非静态图像区域所需的变化程度。15.根据权利要求1至14中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)识别包括视觉效果的图像；以及b)根据所述视觉效果对所述图像进行处理，从而识别对象。16.根据权利要求15所述的系统，其中所述一个或多个处理设备被配置为：a)识别包括视觉效果的图像区域；以及b)至少以下中的一个：i)排除包括视觉效果的图像区域；和ii)根据所述视觉效果对图像区域进行分类。17.根据权利要求15或权利要求16所述的系统，其中所述一个或多个处理设备被配置为基于识别到的视觉效果调整分类阈值。18.根据权利要求15至17中任一项所述的系统，其中所述一个或多个处理设备被配置为通过以下至少一种来识别视觉效果：a)使用来自一个或多个照度传感器的信号；b)使用一个或多个参考图像；c)根据环境信息；d)基于照明区域的人工识别；和e)通过根据已定义的照明特性对图像进行分析。19.根据权利要求1至18中任一项所述的系统，其中所述一个或多个处理设备被配置为使用以下至少一个来确定对象位置：a)可视外壳技术；和b)检测所述图像中的框标；和c)检测多个三角化图像中的框标。20.根据权利要求1至19中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)在重叠的图像中识别相应的图像区域，所述相应的图像为环境中三维体的图像；以
及b)分析所述相应的图像区域以识别所述三维体中的对象。21.根据权利要求20所述的系统，其中所述相应的图像区域为非静态图像区域。22.根据权利要求20或权利要求21所述的系统，其中所述一个或多个处理设备被配置为：a)分析相应的图像区域以识别候选对象；b)生成表示所述环境中对象位置的模型；c)分析所述模型以识别潜在的遮挡；以及d)使用所述潜在的遮挡来验证候选对象。23.根据权利要求22所述的系统，其中所述一个或多个处理设备被配置为：a)如果图像区域包含潜在遮挡，则将图像区域分类为有遮挡的图像区域；以及b)使用所述识别到的有遮挡的图像区域来验证候选对象。24.根据权利要求22或权利要求23所述的系统，其中所述一个或多个处理设备被配置为分析所述相应的图像区域，所述相应的图像区域不包括有遮挡的图像区域。25.根据权利要求20至24中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)计算与相应的图像区域相关联的对象得分，所述对象得分表示与在所述相应的图像区域中检测对象相关联的确定性；以及b)使用所述对象得分来识别对象。26.根据权利要求20至25中任一项所述的系统，其中所述一个或多个处理设备被配置为：a)为每个所述相应的图像区域生成图像区域得分；以及b)至少以下中的一种：i)使用所述图像区域得分计算对象得分；ii)根据每个相应的图像区域的所述图像区域得分，分析所述相应的图像区域以识别所述三维体中的对象；和iii)使用每个相应的图像区域的所述图像区域得分作为权重来执行可视外壳技术。27.根据权利要求26所述的系统，其中所述图像区域得分是基于以下中的至少一项：a)图像区域分类；b)图像区域分类的耐久性；c)图像区域分类的历史变化；d)视觉效果的存在或可能性；e)图像流中图像之间的图像区域在外观上的变化程度；f)相对于所述图像区域的相机几何结构；g)图像捕获的时间；和h)图像质量。28.根据权利要求1至27中任一项所述的系统，其中所述一个或多个处理设备被配置为根据校准数据来解释所述图像。29.根据权利要求...

【专利技术属性】
技术研发人员：保罗，
申请(专利权)人：联邦科学与工业研究组织，
类型：发明
国别省市：