通过组合视觉传感和热传感的对象感知的温度异常监控和预警制造技术

一种包括接口和处理器的装置。接口可以被配置为接收由捕获设备生成的像素数据和由热传感器生成的温度测量结果。处理器可以被配置为从接口接收像素数据和温度测量结果，响应于像素数据而生成视频帧，对视频帧执行计算机视觉操作以检测对象，基于对象的特性来对检测到的对象执行分类，响应于温度测量结果和分类而检测温度异常，并且响应于温度异常而生成控制信号。控制信号可以基于温度异常来提供警告。该分类可以为检测到的对象提供正常温度范围。该分类可以为检测到的对象提供正常温度范围。该分类可以为检测到的对象提供正常温度范围。

【技术实现步骤摘要】
通过组合视觉传感和热传感的对象感知的温度异常监控和预警


[0001]概括而言，本专利技术涉及计算机视觉，并且更具体而言，涉及用于通过组合视觉传感和热传感来实现对象感知(object-aware)的温度异常监控和预警的方法和/或装置。

技术介绍

[0002]预防火灾是用于避免对人员和财产损害的有效策略。温度异常是诸如火灾之类各种灾害的重要早期指标。有效地检测温度异常可以预测火灾。在如森林火灾的简单场景下，热传感可以用于检测全局异常。然而，热传感是用于预测火灾的钝工具。在复杂的场景下(例如，停车场、建筑物和街道)，热传感往往错过真正的警报或触发错误警报。
[0003]在检测到温度异常时，上下文是重要的考虑因素。例如，长时间段暴露在阳光下的表面将变得非常热，但是可能不会造成火灾风险。电动车辆的电池造成热失控风险，这可能导致火灾。检测电池中的温度异常可以预测潜在的火灾。然而，热传感器不是对象感知的。热传感器无法在热表面(即，来自阳光)和由于热失控而快速发热的电池之间进行区分。在没有上下文的情况下，热传感器将错过实际造成火灾风险的场景，或者在不存在火灾风险时错误地提供警告。
[0004]期望的是通过组合视觉传感和热传感来实现对象感知的温度异常监控和预警。

技术实现思路

[0005]本专利技术涉及包括接口和处理器的装置。该接口可以被配置为接收由捕获设备生成的像素数据和由热传感器生成的温度测量结果。处理器可以被配置为从接口接收像素数据和温度测量结果，响应于像素数据生成视频帧，对视频帧执行计算机视觉操作以检测对象，基于对象的特性来对检测到的对象执行分类，响应于温度测量结果和分类而检测温度异常，并且响应于温度异常而生成控制信号。控制信号可以基于温度异常来提供警告。分类可以为检测到的对象提供正常温度范围。
附图说明
[0006]根据下面的具体实施方式、所附权利要求和附图，本专利技术的实施例将是显而易见的。
[0007]图1是示出本专利技术的实施例的示例性上下文的图。
[0008]图2是示出本专利技术的示例性实施例的框图。
[0009]图3是示出用于执行传感器融合以作出关于温度异常的决策的组件的框图。
[0010]图4是示出示例性分类数据的图。
[0011]图5是示出示例性热像的图。
[0012]图6是示出对象检测和/或分类的图。
[0013]图7是示出将来自热像的数据与在视觉图像中检测到的对象进行比较的图。
[0014]图8是示出用于组合视觉传感和热传感以用于对象感知的温度异常监控和预警的方法的流程图。
[0015]图9是示出用于检测温度异常的方法的流程图。
[0016]图10是示出用于将热数据、图像数据和温度数据进行组合的方法的流程图。
[0017]图11是示出用于定位具有温度异常的区域的方法的流程图。
具体实施方式
[0018]本专利技术的实施例包括通过组合视觉传感和热传感来提供对象感知的温度异常监控和预警，其可以(i)使用传感器融合作出决策，(ii)基于多个数据源进行推断，(iii)检测电池中的热失控，(iv)监控电动车辆以预测潜在的火灾，(v)检测并分类对象，(vi)基于分类来监控对象的特定特征，(vii)避免错误警报，(viii)使用专用硬件模块来有效地实现计算机视觉，和/或(ix)被实现为为一个或多个集成电路。
[0019]本专利技术的实施例可以实现对象感知的温度异常监控系统。对象感知温度异常警告系统可以被配置成为各种危险提供预警。例如，在检测到潜在的火灾风险时，可以提供预警。
[0020]本专利技术的实施例可以通过组合视觉传感和热传感来实现对象感知的温度异常监控。温度异常的区域可以在热像和视觉图像二者中被检测和/或定位。在示例中，视觉图像可以包括视频帧(例如，一个或多个RGB图像)。计算机视觉可以应用于由可见光成像传感器和热成像传感器生成的数据的组合。计算机视觉操作可以应用于热像或视觉图像。计算机视觉操作可以应用于热像和视觉图像二者(例如，传感器融合)。
[0021]可以通过实现人工智能和/或计算机视觉技术来提供对象感知。可以对视频帧执行计算机视觉操作。计算机视觉可以被配置为根据种类来检测对象和/或对检测到的对象进行分类/识别。每一个种类的对象可以包括关于特定的对象类型的特征和/或正常温度范围的数据。
[0022]热传感器可以被配置为测量区域的温度，以检测可以被认为温度异常的区域。在一个示例中，温度异常可以是在正常工作温度范围之外(例如，大于正常工作温度范围)的温度。在另一个示例中，温度异常可以是在特定的时间段内快速增加的温度(例如，温度的快速改变)。仅仅温度测量结果可能不是用作提供警告的基础的足够信息。使用计算机视觉从视频帧提取的数据可以与由热传感器执行的温度测量结果组合。可以在被识别为具有温度异常的区域中检测和分类对象。可以根据该对象种类的正常温度范围，作出关于是否触发预警的决策。例如，如果温度异常在检测到的对象的类别的正常温度范围之外(例如，高于该正常温度范围)，则可能会生成预警。从RGB图像和热像组合的数据可以用于确定温度异常正在发生的位置(例如，识别对应于温度异常的检测到的对象的特征)。
[0023]本专利技术的实施例可以被配置为针对电动车辆(EV)火灾执行早期检测和/或提供相关的警告。在示例中，计算机视觉操作可以被配置为首先使用RBG图像基于车牌识别和/或汽车型号识别来对EV进行分类/识别(例如，对视频帧执行计算机视觉)，而热成像摄影机可以检测温度异常的区域。突然和/或快速的温度增加可以是温度异常的一个示例。对象感知可以使得引起温度异常的EV的位置和/或特征能够被识别。在示例中，如果EV的底部对应于检测到的温度异常的位置，则EV的分类可以提供这样的信息：电池位于EV的底部。温度异常
的分类和/或位置可以用于确定电池可能是温度异常的源的EV的特征。可以生成对电池火灾的预警。生成预警的决策可以基于联合数据源(例如，基于使用RGB图像的对象检测和识别，以及基于使用热像的快速温度改变)。
[0024]参考图1，示出了示出本专利技术的实施例的示例性上下文的图。示例性场景50被示出为上下文。示例性场景50可以包括表面52a-52c。在一个示例中，表面52a可以是墙。表面52b可能是地面。表面52c可以是天花板。在示例中，表面52a-52c可以是停车库。车辆60a-60n被示出在地面52b上。在示例中，车辆60a-60n可以停放并且无人看管(例如，无人监控)。在另一个示例中，表面52a可以是充电站(例如，用于给电动车辆充电)。
[0025]示出了块(或电路)100。该电路可以实现摄影机系统。在示例性场景50中，摄影机系统100可以安装于天花板52c。在一些实施例中，摄影机系统100可以在室外环境中实现(例如，没有天花板52c)。摄影机系统100可以选择性地安装于墙壁52b和/或另一垂直结构(例如，灯柱、广告牌、标志等)。在所示的示例中，示出了从相对较高的位置安装摄影机系统100。在一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：接口，其被配置为接收(i)由捕获设备生成的像素数据和(ii)由热传感器生成的温度测量结果；以及处理器，其被配置为(i)从所述接口接收所述像素数据和所述温度测量结果，(ii)响应于所述像素数据而生成视频帧，(iii)对所述视频帧执行计算机视觉操作以检测对象，(iv)基于所述对象的特性来对执行对检测到的所述对象的分类，(v)响应于(a)所述温度测量结果和(b)所述分类而检测温度异常，以及(vi)响应于所述温度异常而生成控制信号，其中(a)所述控制信号基于所述温度异常来提供警告，并且(b)所述分类为检测到的所述对象提供正常温度范围。2.根据权利要求1所述的装置，其中所述热传感器和所述捕获设备均是所述装置的组件。3.根据权利要求1所述的装置，其中所述温度测量结果包括热像。4.根据权利要求1所述的装置，其中所述温度异常包括(i)高于所述正常温度范围的所述温度测量结果和(ii)检测到的所述对象的特征的位置。5.根据权利要求4所述的装置，其中检测到的所述对象的所述特征的所述位置是基于检测到的所述对象的所述分类来确定的。6.根据权利要求4所述的装置，其中检测到的所述对象的所述特征包括检测到的所述对象的潜在易燃的组件。7.根据权利要求1所述的装置，其中(i)检测到的所述对象包括电动车辆，(ii)所述温度异常对应于所述电动车辆的电池，并且(iii)检测到的所述对象的所述分类提供了所述电池的位置。8.根据权利要求1所述的装置，其中(i)所述温度异常指示潜在的火灾危险，并且(ii)所述警告提供对所述潜在的火灾危险的通知。9.根据权利要求1所述的装置，其中所述温度异常是温度的快速增加。10.根据权利要求1所述的装置，其中(i)所述分类为所述温度测量结果提供了对象感知，并且(ii)所述对象感知提供了附加的数据源，以避免因仅基于所述温度测量结果而检测到所述温度异常造成的错误警报。11.根据权利要求1所述的装置，其中所述分类被配置为确定车辆的品牌和型号。12.根据权利要求1所述的装置，其中(i)所述温度测量结果包括低分辨率的数据，并且所述视频帧包括高分...

【专利技术属性】
技术研发人员：薛振武，冯羽涛，
申请(专利权)人：安霸国际有限合伙企业，
类型：发明
国别省市：