相机组的同步方法、测温方法、装置及电子系统制造方法及图纸

本发明专利技术提供了一种相机组的同步方法、测温方法、装置及电子系统，该方法包括：通过可见光相机和热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第一帧组和包含热成像图像帧的第二帧组；然后分别提取对应的可见光光流场和红外光光流场；对可见光光流场和红外光光流场进行空间对齐，确定投影变换矩阵。本发明专利技术基于可见光光流场和红外光光流场进行相机的空间对齐，提高了可见光相机和热成像相机之间图像数据的同步精度。

Synchronous method, temperature measurement method, device and electronic system of camera group

【技术实现步骤摘要】
相机组的同步方法、测温方法、装置及电子系统
本专利技术涉及图像处理
，尤其是涉及一种相机组的同步方法、测温方法、装置及电子系统。
技术介绍
当爆发诸如新冠肺炎、流感等疫情时，“发烧”，“高温”成了筛选疑似携带者的信号之一，相关技术中，通常采用手持接触式测温设备，如温度枪，或者采用可见光相机和热成像相机相结合的体温检测设备进行温度检测，当采用可见光相机和热成像相机相结合的方式时，由于可见光相机和热成像相机之间图像数据的同步精度较差，使得可见光视频流和红外光视频流难以对齐，进而导致测温结果的准确性较差。
技术实现思路
本专利技术的目的在于提供一种相机组的同步方法、测温方法、装置及电子系统，能够有效提升可见光相机和热成像相机之间图像数据的同步精度。第一方面，本专利技术实施例提供了一种相机组的同步方法，所述相机组包括可见光相机和热成像相机，所述方法包括：通过所述可见光相机和所述热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第一帧组和包含热成像图像帧的第二帧组；基于所述第一帧组中的可见光图像帧提取可见光光流场，基于所述第二帧组中的热成像图像帧提取红外光光流场；对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵。进一步的，上述方法还包括：对所述可见光相机和所述热成像相机进行时间同步。进一步的，对所述可见光相机和所述热成像相机进行时间同步的步骤包括：按照设定的规则，触发所述可见光相机和所述热成像相机向指定服务器进行时间同步操作，以使所述可见光相机和所述热成像相机的时间同步。进一步的，同一时刻的可见光图像帧与热成像图像帧组成参考图像帧对；所述投影变换矩阵用于所述参考图像帧对中的可见光图像帧与热成像图像帧间的坐标转换。进一步的，对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵的步骤，包括：对所述可见光光流场和所述红外光光流场进行特征提取和特征匹配操作，确定出相互匹配的像素点对；基于所述像素点对的坐标确定所述可见光相机和所述热成像相机间的投影变换矩阵。进一步的，对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵的步骤，包括：分别提取所述可见光光流场包含的第一轮廓信息和所述红外光光流场包含的第二轮廓信息；基于对所述第一轮廓信息和所述第二轮廓信息进行匹配操作，确定出相互匹配的轮廓对；基于所述轮廓对的坐标确定所述可见光相机和所述热成像相机间的投影变换矩阵。进一步的，对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵的步骤，包括：通过滑动窗口的方式在所述可见光光流场中确定出目标对象对应的第一区域；在所述红外光光流场中查找所述第一区域对应的目标窗口；其中，所述目标窗口与所述第一区域对应的滑动窗口的时间匹配；基于所述目标对象对所述目标窗口包含的红外光光流场进行滤波，得到所述红外光光流场中所述目标对象对应的第二区域；基于所述第一区域和所述第二区域的坐标，确定所述可见光相机和所述热成像相机间的投影变换矩阵。第二方面，本专利技术提供的一种测温方法，所述方法包括：通过相机组中的可见光相机和热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第三帧组和包含热成像图像帧的第四帧组；其中，所述可见光相机和热成像相机为基于上述第一方面任一项所述相机组的同步方法同步的相机；对所述第三帧组进行目标对象检测，确定出包含有所述目标对象的目标可见光图像帧和所述目标对象在所述目标可见光图像帧中的第一目标区域；从所述第四帧组中查找与所述目标可见光图像帧对应的目标热成像图像帧；基于所述可见光相机和所述热成像相机间的投影变换矩阵，确定所述第一目标区域在所述目标热成像图像帧中对应的第二目标区域；基于所述第二目标区域的特征信息确定所述目标对象的温度。进一步的，所述目标对象为人脸和/或人体；对所述第三帧组进行目标对象检测，确定出包含有所述目标对象的目标可见光图像帧和所述目标对象在所述目标可见光图像帧中的第一目标区域的步骤包括：对所述第三帧组中的可见光图像帧进行人脸和/或人体检测，确定出包含有人脸和/或人体的目标可见光图像帧；在所述目标可见光图像帧中标识出所述人脸和/或人体的第一目标区域。进一步的，在所述目标可见光图像帧中标识出所述人脸和/或人体的第一目标区域的步骤，包括：基于预设的人脸分割技术对所述目标可见光图像帧进行图像分割，确定出人脸和/或人体对应的皮肤区域；将所述皮肤区域标识为第一目标区域。进一步的，所述方法还包括：基于预存的档案库对每个所述目标可见光图像帧中的所述第一目标区域的人脸和/或人体进行特征识别，确定出每个所述目标可见光图像帧包含的人员的身份标识；按照每个所述人员的身份标识将所述第一目标区域分类，得出包含同一人员的多个所述目标可见光图像帧中的第一目标区域。进一步的，所述方法还包括：基于所述同一人员的各个所述第一目标区域对各个所述第二目标区域分类，得到所述同一人员对应的各个第二目标区域；基于所述第二目标区域的特征信息确定所述目标对象的温度的步骤，包括：对于每个所述同一人员，均对该同一人员的各个第二目标区域对应的温度进行中值滤波，计算中值滤波后的温度的均值，得到该同一人员的温度。进一步的，所述方法还包括：将每个所述人员的身份标识与确定出的该人员的温度进行关联；在指定设备上显示关联后的身份标识和所述身份标识对应的温度。第三方面，本专利技术提供的一种相机组的同步装置，所述相机组包括可见光相机和热成像相机，所述装置包括：第一采集模块，用于通过所述可见光相机和所述热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第一帧组和包含热成像图像帧的第二帧组；提取模块，用于基于所述第一帧组中的可见光图像帧提取可见光光流场，基于所述第二帧组中的热成像图像帧提取红外光光流场；第一确定模块，用于对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵。第四方面，本专利技术提供的一种测温装置，所述装置包括：第二采集模块，用于通过相机组中的可见光相机和热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第三帧组和包含热成像图像帧的第四帧组；其中，所述可见光相机和热成像相机为基于上述第一方面任一项所述相机组的同步方法同步的相机；第二确定模块，用于对所述第三帧组进行目标对象检测，确定出包含有所述目标对象的目标可见光图像帧和所述目标对象在所述目标可见光图像帧中的第一目标区域；测温模块，用于从所述第四帧组中查找与所述目标可见光图像帧对应的目标热成像图像帧；基于所述可见光相机和所述热成像相机间的投影变换矩阵，确定所述第一目标区域在所述目标热成像图像帧中对应的第二目标区域；基于所述第二目标区域的特征信息确定所述目标对象的温度。第五方面，本专利技术提供的一种电子系统，所述电子系统包括：相机组和服务器，所述相机组包括可见光相机和热成像相机；所述服务器包括图像输入本文档来自技高网...

【技术保护点】
1.一种相机组的同步方法，其特征在于，所述相机组包括可见光相机和热成像相机，所述方法包括：/n通过所述可见光相机和所述热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第一帧组和包含热成像图像帧的第二帧组；/n基于所述第一帧组中的可见光图像帧提取可见光光流场，基于所述第二帧组中的热成像图像帧提取红外光光流场；/n对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵。/n

【技术特征摘要】
1.一种相机组的同步方法，其特征在于，所述相机组包括可见光相机和热成像相机，所述方法包括：
通过所述可见光相机和所述热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第一帧组和包含热成像图像帧的第二帧组；
基于所述第一帧组中的可见光图像帧提取可见光光流场，基于所述第二帧组中的热成像图像帧提取红外光光流场；
对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述可见光相机和所述热成像相机进行时间同步。


3.根据权利要求2所述的方法，其特征在于，对所述可见光相机和所述热成像相机进行时间同步的步骤包括：
按照设定的规则，触发所述可见光相机和所述热成像相机向指定服务器进行时间同步操作，以使所述可见光相机和所述热成像相机的时间同步。


4.根据权利要求2所述的方法，其特征在于，同一时刻的可见光图像帧与热成像图像帧组成参考图像帧对；所述投影变换矩阵用于所述参考图像帧对中的可见光图像帧与热成像图像帧间的坐标转换。


5.根据权利要求1所述的方法，其特征在于，对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵的步骤，包括：
对所述可见光光流场和所述红外光光流场进行特征提取和特征匹配操作，确定出相互匹配的像素点对；
基于所述像素点对的坐标确定所述可见光相机和所述热成像相机间的投影变换矩阵。


6.根据权利要求1所述的方法，其特征在于，对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵的步骤，包括：
分别提取所述可见光光流场包含的第一轮廓信息和所述红外光光流场包含的第二轮廓信息；
基于对所述第一轮廓信息和所述第二轮廓信息进行匹配操作，确定出相互匹配的轮廓对；
基于所述轮廓对的坐标确定所述可见光相机和所述热成像相机间的投影变换矩阵。


7.根据权利要求1所述的方法，其特征在于，对所述可见光光流场和所述红外光光流场进行空间对齐，确定所述可见光相机和所述热成像相机间的投影变换矩阵的步骤，包括：
通过滑动窗口的方式在所述可见光光流场中确定出目标对象对应的第一区域；
在所述红外光光流场中查找所述第一区域对应的目标窗口；其中，所述目标窗口与所述第一区域对应的滑动窗口的时间匹配；
基于所述目标对象对所述目标窗口包含的红外光光流场进行滤波，得到所述红外光光流场中所述目标对象对应的第二区域；
基于所述第一区域和所述第二区域的坐标，确定所述可见光相机和所述热成像相机间的投影变换矩阵。


8.一种测温方法，其特征在于，所述方法包括：
通过相机组中的可见光相机和热成像相机对指定区域进行图像采集，得到包含可见光图像帧的第三帧组和包含热成像图像帧的第四帧组；其中，所述可见光相机和热成像相机为基于权利要求1至7中任一项所述相机组的同步方法同步的相机；
对所述第三帧组进行目标对象检测，确定出包含有所述目标对象的目标可见光图像帧和所述目标对象在所述目标可见光图像帧中的第一目标区域；
从所述第四帧组中查找与所述目标可见光图像帧对应的目标热成像图像帧；
基于所述可见光相机和所述热成像相机间的投影变换矩阵，确定所述第一目标区域在所述目标热成像图像帧中对应的第二目标区域；
基于所述第二目标区域的特征信息确定所述目标对象的温度。


9.根据权利要求8所述的方法，其特征在于，所述目标对象为人脸和/或人体；
对所述第三帧组进行目标对象检测，确定出包含有所述目标对象的目标可见光图像帧和所述目标对象在所述目标可见光图像帧中的第一目标区域的步...

【专利技术属性】
技术研发人员：胡晨，周舒畅，李冰心，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11