移动监视系统技术方案

本发明专利技术涉及移动监视系统。该移动监视系统对设施进行巡逻并且包括多个传感器，该移动监视系统包括至少一个无人驾驶地面车辆UGV，所述UGV在监视区域的地面上自主移动，该UGV包括外壳，外壳中装入：第一电池；第一传感器装置，其生成第一传感器数据；第一计算单元，其包括处理器和数据存储器，第一计算单元实时接收和评估第一传感器数据，其特征在于，该移动监视系统包括至少一个无人机UAV，UGV和UAV协作地巡逻所述监视区域，UAV包括第二传感器装置，所述第二传感器装置生成第二传感器数据，UGV包括第一数据交换模块，UAV包括第二数据交换模块，第一数据交换模块和第二数据交换模块交换数据；并且第一计算单元实时接收和评估第二传感器数据。感器数据。感器数据。

【技术实现步骤摘要】
移动监视系统
[0001]本申请是原案申请号为201880099180.X的专利技术专利申请(国际申请号： PCT/EP2018/079602，申请日：2018年10月29日，专利技术名称：设施监视系统和方法) 的分案申请。


[0002]本专利技术涉及监视诸如建筑物的设施的系统和方法。

技术介绍

[0003]现有技术的基于图像的检测器依赖于RGB图像中存在的丰富的颜色和纹理信 息。然而，已知它们的性能在非理想照明条件下尤其是在黑暗中将降低。在那些非理 想情况下，补充信息(如深度图、点云(PC)和/或红外(IR)信号)可用于确定其 中经典图像检测器降低或失败的场景中的所关注对象的存在、不存在、分类、状态等。
[0004]如上述现有技术所示，其中的已知系统集中于：
[0005]·
分别地和独立地在这些模态的每一个中应用检测，然后合并结果。所谓的并 行法，例如通过将RGB检测器的输出与深度检测器的输出融合，如US 8,630,741， US 2014/320312、GB 2546486、[2]或其他；或
[0006]·
为每个模态链接检测器。所谓的系列或分级法，例如通过首先在测距数据空 间中将对象进行聚类而开始，并且随后使用该聚类信息来将第二级的视觉检测器引导 至所发现的关注区域，如在KR 101125233、[1]或其他中描述的。
[0007]例如在US 2009/027196、[4]或其他文献中提出的另一种方法试图使用树结构从 数据学习可能最佳的检测器层级。由此，学习单个通用模型。

技术实现思路

[0008]根据第一方面，本专利技术涉及一种对设施的异常或异常状态进行安全相关评估的设 施监视系统，所述设施包括设施构件，例如房间、门、窗、墙壁、地板、天花板、电 气设备、管道等。“设施”在广义上是指建筑物，例如房屋、仓库、工业工厂或其它 复杂设施，以及整个财产或装置，例如(大)轮船或飞机、建筑工地或另一种受限或 潜在危险的区域。所述设施监视系统包括中央计算单元，中央计算单元提供所述设施 的特别是动态的模型，优选为建筑物信息模型(BIM)。设施模型提供至少部分设施 构件的拓扑和/或逻辑和/或功能关系，例如特定窗户的位置的指示、特定房间的邻域 或允许进入特定房间的特定门。
[0009]此外，该系统包括多个监视传感器，所述多个监视传感器特别适于连续监视至少 多个设施构件，并且适于生成包括关于所述多个设施构件的监视信息的监视数据。所 述多个监视传感器被配置成提供关于一个或更多个设施构件的数据(或者经由设施构 件自身上的相应传感器，或者经由以工作关系生成监视数据的两个或更多个传感器)， 所述多个监视传感器适于监视或观察相应设施构件的状态，并且包括例如一个或多个 RGB相机、深度相机、红外相机、麦克风、接触传感器、运动检测器、烟雾检测器、 钥匙读取器、电流计、RIM相机、激光扫描器、温度计。但是也可以包括适于允许 操作者输入监视数据的输入装
置。可选地，一个或更多个监视传感器是移动传感器， 特别是作为移动机器人平台的一部分。
[0010]该系统还包括用于将数据从监视传感器发送到中央计算单元的通信装置和用于 分析监视数据并且推导至少一个状态的状态推导装置。这样的状态例如是建筑物构件 的位置或取向、其外观，包括与建筑物构件相关联的对象(例如，将对象引入房间或 从房间移除对象)或当比较在两个不同时间或在时间过程中产生的监视数据时设施构 件的监视数据的任何显著差异。状态推导装置优选地集成在监视传感器和/或中央计 算单元中。换句话说，状态推导装置是能够从与设施构件相关的监视数据中提取设施 构件的状态的装置。这种状态推导装置例如是检测从一种状态到另一种状态的变化的 检测器(例如检测窗户打开的传感器)，或者被实现为诸如图像处理算法的软件，其 能够确定存在于图像中的设备的状态。
[0011]此外，该系统包括用于通过基于拓扑或逻辑或功能关系组合一个或更多个设施构 件的状态来记录状态模式的记录装置。在一个设施构件的情况下，分别给出该关系的 先验。通过组合处于逻辑关系的构件的状态(例如，在最简单的情况下，组合后续时 间点的同一监视传感器的相同监视特征/数据)。在两个或多个设施构件的情况下，关 系例如是它们在空间上邻接或与共同功能相关。记录器也向状态模式指派时间戳，例 如监视潜在状态之一的时间。
[0012]此外，中央计算单元被配置为提供用于所记录的状态模式的分类的危急
‑
非危急 (critical
‑
noncritical)分类模型。危急
‑
非危急分类模型考虑由设施模型提供的时间戳 和拓扑和/或逻辑和/或功能关系，并且包括至少一个“非危急”类别的“非危急”状 态模式，并且执行危急度分类，其中，基于至少一个拓扑和/或逻辑和/或功能关系以 及至少一个时间戳(考虑与状态模式相关联的时间)将所记录的状态模式分类为“危 急”或“非危急”。
[0013]可选地，中央计算单元被配置为提供用于所记录的状态模式的正常
‑
异常分类模 型，其中，至少一个类别是表示分类状态模式为“正常”的正常类别，并且根据分类 模型对所记录的状态模式进行分类。可选地，分类模型是设施模型的一部分。中央计 算单元被配置为执行常态分类，其中，根据正常
‑
异常分类模型将记录的状态模式分 类为“正常”或“异常”，并且如果异常状态模式与“正常”分类的偏差程度高于某 个阈值，则根据危急
‑
非危急分类模型将已被分类为“异常”的记录的状态模式分类 为“危急的”，从而考虑至少一个时间戳。
[0014]换言之，系统被配置为将检测到的设施状态模式分类为“正常”或“不正常”， 并且关于设施安全(safety)/安全性(security)来检查、评估或测试非正常状态模式， 即，状态模式是“危急”还是“非危急”。
[0015]作为另一选项，中央计算单元还被配置为建立危急度分类模型以及(如果存在的 话)可选地建立正常
‑
异常分类模型，即，例如“空白”地开始并且通过机器学习来 独立地生成或创建(并且如果必要的话进行细化)分类模型。
[0016]可选地，系统的计算机被设计为使得危急度分类和可选地正常性分类考虑表示与 设施相关联的人类活动和/或自动活动的时间的时间表，特别是其中，时间表包括规 划的工作和/或操作时间和/或包括关于规划的活动的类型的信息和/或嵌入在数字设 施模型中。
[0017]作为另一选项，危急度分类和可选地正常性分类利用以下中的至少一项来实现： 基于规则的系统和基于数据的系统中的至少一个来实现，基于规则的系统基于专家知 识，具体包括决策树、贝叶斯决策网络、一阶逻辑、时间逻辑和/或具有隐藏状态的 状态模型、模糊逻辑系统、基于能量优化的系统、基于粗糙集的系统、分层决策系统、 多代理系统，并且基于数据的系统基于先前生成的状态和/或状态模式，具体包括决 策树、决策树集成、基于规则的机器学习系统、基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动监视系统(200)，所述移动监视系统被适配成巡逻设施、特别是建筑物的监视区域，所述移动监视系统包括多个传感器，特别是包括至少两个相机(213、223)，其中，所述移动监视系统包括至少一个无人驾驶地面车辆(UGV；210)，所述UGV(210)被适配为在所述监视区域的地面上自主移动，所述UGV(210)包括外壳(211)，所述外壳中装入：
‑
第一电池(217)；
‑
第一传感器装置，特别是包括第一相机(213)，所述第一传感器装置适配为生成第一传感器数据，
‑
第一计算单元(218)，所述第一计算单元包括处理器和数据存储器，所述第一计算单元(218)被适配为实时接收和评估所述第一传感器数据，其特征在于所述移动监视系统(200)包括至少一个无人机(UAV；220)，所述UGV(210)和所述UAV(220)被适配成协作地巡逻所述监视区域，其中
‑
所述UAV(220)包括第二传感器装置(223)，特别是包括第二相机(223)，所述第二传感器装置被适配成生成第二传感器数据(252)，
‑
所述UGV(210)包括第一数据交换模块(215)，所述UAV(220)包括第二数据交换模块(225)，所述第一数据交换模块(215)和所述第二数据交换模块(225)被适配为交换数据(251、252)；并且
‑
所述第一计算单元(218)被适配为实时接收和评估所述第二传感器数据(252)。2.根据权利要求1所述的移动监视系统(200)，其特征为所述移动监视系统包括用于巡逻所述监视区域的多个UAV(220、220a、220b、220c)，所述第一数据交换模块(215)被适配为与所述多个UAV(220)中的每一个的第二数据交换模块(225)交换数据(251、252)。3.根据权利要求2所述的移动监视系统(200)，其特征在于所述第一计算单元(218)被适配成接收各个UAV(220、220a、220b、220c)的第二传感器数据(252)并且以组合的整体分析法来评估来自所述多个UAV(220、220a、220b、220c)的所述第二传感器数据(252)。4.根据权利要求1至3中任一项所述的移动监视系统(200)，其特征在于所述计算单元(218)被适配为实时地并且基于所述第一传感器数据的评估来生成用于控制所述UGV(210)的功能的UGV控制数据。5.根据权利要求4所述的移动监视系统(200)，其特征在于所述计算单元(218)被适配为实时地并且基于所述第一传感器数据和/或所述第二传感器数据的评估来生成用于控制所述至少一个UAV(220)的UAV控制数据(251)，其中
‑
所述第二传感器数据(252)能够经由所述第一数据交换模块(215)和所述第二数据交换模块(225)从所述UAV(220)传输到所述UGV(210)，并且
‑
所述UAV控制数据(251)能够经由所述第一数据交换模块(215)和所述第二数据交换
模块(225)从所述UGV(210)传输到所述UAV(220)。6.根据权利要求1至5中任一项所述的移动监视系统(200)，其特征在于所述第一计算单元(218)被适配器生成任务数据，所述任务数据包括用于所述至少一个UAV(220)执行任务或工作流的指令，其中，所述任务数据能够经由所述第一数据交换模块(215)和所述第二数据交换模块(225)从所述UGV(210)传输到所述UAV(220)，其中，所述任务数据包括立即执行所述任务的指令。7.根据权利要求6所述的移动监视系统(200)，其特征在于所述任务数据包括使所述至少一个UAV(220)移动到所述UGV(210)不能访问的定义位置的指令。8.根据权利要求6或权利要求7所述的移动监视系统(200)，其特征在于所述任务数据是基于所述第一传感器数据和/或所述第二传感器数据的评估生成的。9.根据权利要求1至8中任一项所述的移动监视系统(200)，其特征在于所述移动监视系统被适配为完全自主地执行状态检测功能，所述状态检测功能包括基于对所述第一传感器数据和/或所述第二传感器数据的评估来检测所述监视区域中的状态。10.根据权利要求9所述的移动监视系统(200)，其特征在于所述第一计算单元(218)被适配成基于对所述第一传感器数据的评估来执行所述状态检测功能，其中，如果已经检测到状态，则所述第一计算单元(218)生成任务数据，所述任务数据包括使所述UAV(220)移动至所检测到的状态的位置和/或生成与所检测到的状态相关的第二传感器数据(252)的指令，其中，所述指令数据能够经由所述第一数据交换模块(215)和所述第二数据交换模块(225)从所述UGV(210)传输到所述UAV(220)，并且与所述状态相关的所述第二传感器数据(252)能够经由所述第一数据交换模块(215)和所述第二数据交换模块(225)从所述UAV(220)传输到所述UGV(210)。11.根据权利要求9所述的移动监视系统(200)，其特征在于所述UAV(220)包括第二计算单元，所述第二计算单元包括处理器以及数据存储器，其中，所述第二计算单元被适配为接收和评估来自所述第二传感器装置的第二传感器数据，并且被适配为基于对所述第二传感器数据的评估来执行所述状态检测功能，其中，如果已经检测到状态，则将与所述状态相关的状态数据和/或第二传感器数据发送到所述第一计算单元(218)。12.根据权利要求11所述的移动监视系统(200)，其特征在于所述第一传感器装置包括相对于所述第二传感器装置的对应传感器具有优越规格的传感器，从而允许生成具有比所述第二传感器数据高的分辨率的所述第一传感器数据，
其中，如果已经检测到所述状态，则生成任务数据，所述任务数据包括用于使所述UGV(210)移动到所检测到的状态的位置和/或生成与所检测到的状态相关的第一传感器数据的指令。13.根据权利要求9至12中任一项所述的移动监视系统(200)，其特征在于所述状态检测功能包括使用至少一种机器学习算法。14.根据权利要求13所述的移动监视系统(200)，其特征在于在所述第一计算单元(218)中提供用于训练状态检测模型的第一机器学习算法，并且至少向所述UAV(220)提供状态检测模型，其中
‑
所述第一计算单元(218)被适配为运行所述训练算法以更新所述状态检测模型，
‑
其中，更新的状态检测模型能够经由所述第一数据交换模块(215)和所述第二数据交换模块(225)从所述UGV(210)传输到所述UAV(220)。15.根据权利要求14所述的移动监视系统(200)，其特征在于所述第一计算单元(218)包括图形处理单元并且被适配为在所述图形处理单元上运行机器学习算法。16.根据权利要求10至15中任一项所述的移动监视系统(200)，其特征在于所述数据存储器包括用于存储与检测到的状态相关的数据的数据库。17.根据权利要求16所述的移动监视系统(200)，其特征在于所述UGV(210)被适配为向远程命令中心发送与检测到的状态相关的数据，其中
‑
在没有到所述远程命令中心的数据连接可用时，所述数据存储器被适配为存储与检测到的状态相关的数据，并且
‑
当数据连接可用时，所存储的与检测到的状态相关的数据被发送到所述远程命令中心。18.根据权利要求1至17中任一项所述的移动监视系统(200)，其特征在于所述第一计算单元(218)被适配为执行生成在所述监视区域中执行巡逻任务的工作流的工作流生成过程，在所述工作流生成过程的过程中，所述第一计算单元(218)被适配为
‑
生成用于执行所述巡逻任务的优化的工作流，所述工作流涉及所述UAV(220)中的一个或更多个，
‑
为各个所涉及的UAV(220)生成工作流数据，所述工作流数据允许相应的UAV(220)执行所述巡逻任务的一部分，
‑
经由所述第一数据交换模块(215)和所述第二数据交换模块(225)向所涉及的UAV(220)提供所述工作流数据。19.根据权利要求18所述的移动监视系统(200)，其特征在于
所述第一计算单元(218)被适配为
‑
经由所述第一数据交换模块(215)和所述第二数据交换模块(225)请求和接收所述至少一个UAV(220)的任务特定数据，其中，所述任务特定数据包括关于与相应的UAV(220)相关联的特性、位置和/或工作负荷的信息，
‑
基于所述任务特定数据来评估与所述UAV(220)中的每一个UAV相关联的任务特定能力，并且
‑
基于所述巡逻任务和所述任务特定能力来生成所述优化的工作流。20.根据权利要求18或19所述的移动监视系统(200)，其中，所述移动监视系统包括多个UAV(220)，其特征在于所述第一计算单元(218)被适配成监控所涉及的UAV(220)的状态，所述状态包括所述UAV执行所述巡逻任务的相应部分的能力，其中，如果所述第一计算单元(218)确定所涉及的UAV(220)中的一个UAV已经失去其在执行所述巡逻任务中的部分的能力，则所述第一计算单元(218)被适配为
‑
生成调整的工作流，至少包括将所述巡逻任务的受影响部分重新指派给所述多个UAV(220)中的一个或更多个UAV，
‑
为所涉及的UAV(220)中的一个或更多个UAV生成调整的工作流数据，以及
‑
经由所述第一数据交换模块(215)和所述第二数据交换模块(225)向所述多个UAV(220)中的一个或更多个UAV提供所述调整的工作流数据。21.根据权利要求18至20中任一项所述的移动监视系统(200)，其特征在于所述至少一个UAV(220)中的各个UAV配备有软件代理，其中，各个软件代理是
‑
能够安装在所述UAV(220)的计算单元上或安装在连接到所述UAV(220)的通信模块上，并且
‑
被适配成与该软件代理所安装或连接到的UAV(220)交换数据，其中，在所述工作流生成过程的过程中，所述第一计算单元(218)被适配成
‑
向所述的UAV(220)的所述软件代理请求和接收所述UAV(220)的任务特定数据，以及
‑
将所述工作...

【专利技术属性】
技术研发人员：伯恩哈德，
申请(专利权)人：赫克斯冈技术中心，
类型：发明
国别省市：