本申请提供了一种基于事件帧的特征点匹配方法及电子设备。本方法应用于包含事件相机的电子设备中。在该方法中，事件相机输出事件流，并积累一定数量的事件流生成事件帧。电子设备获得第一事件帧和第二事件帧后形成一对事件帧后，分别从第一事件帧和第二事件帧中提取特征点，将第一事件帧中所有特征点与第二事件帧中的所有特征点进行点集匹配，以获得粗仿射变换参数P1。然后根据P1获取第一事件帧中的每个特征点在第二事件帧中对应的粗匹配点。之后，将每个特征点的邻域与对应的粗匹配点邻域进行模板匹配，以获得精仿射变换参数P2。此外，还可以滤除基于P2获取的精匹配点对集合中错误的匹配点对，以获取到最终的特征点匹配对的集合。集合。集合。
【技术实现步骤摘要】
基于事件帧的特征点匹配方法及电子设备
[0001]本申请涉及图像处理领域，尤其涉及一种基于事件帧的特征点匹配方法及电子设备。
技术介绍
[0002]随着传感器技术和计算机视觉技术的快速发展，增强现实（Augmented reality，AR）、虚拟现实（Virtual reality，VR）和自动驾驶等越来越多地被应用。从运动中恢复结构(Structure from motion，SFM)和同时定位与建图(Simultaneous localization and mapping，SLAM)作为AR、VR和自动驾驶等的核心技术，起着关键的作用。SFM和SLAM等技术可以实现通过对环境的观测确定相机的运动轨迹，同时构建出环境的地图。其中，具体涉及从图像中提取特征点，对不同图像之间的特征点进行匹配，进而对匹配的特征点对做后续操作，例如估算相机的运动轨迹构建出环境的地图等。目前，采用标准相机拍摄图像时，存在运动模糊、过爆、欠爆以及时延高等问题，导致输出图像帧效果不佳，进一步会导致特征点的提取以及特征点匹配存在极大的困难。为了避开标准相机的缺陷，可以采用事件相机代替标准相机。
[0003]因此，如何实现基于事件帧进行特征点匹配，则是目前亟待解决的问题。
技术实现思路
[0004]本申请提供了一种基于事件帧的特征点匹配方法及电子设备，该方法可以实现：电子设备通过事件相机输出的事件积累一定数量的事件流生成事件帧。电子设备分别从第一事件帧和第二事件帧中提取特征点，将第一事件帧中所有特征点与第二事件帧中的所有特征点进行点集匹配，以获得粗仿射变换参数P1。然后根据P1获取第一事件帧中的每个特征点在第二事件帧中对应的粗匹配点。之后，将每个特征点的邻域与对应的粗匹配点邻域进行模板匹配，以获得精仿射变换参数P2。此外，还可以滤除基于P2获取的精匹配点对集合中错误的匹配点对，以获取到最终的特征点匹配对的集合。
[0005]第一方面，本申请提供了一种基于事件帧的特征点匹配方法，该方法应用于电子设备中，该方法包括：该电子设备通过事件相机获取第一事件流和第二事件流，基于该第一事件流生成第一事件帧，基于该第二事件流生成第二事件帧；该电子设备从该第一事件帧中提取多个第一特征点，从该第二事件帧中提取多个第二特征点；该电子设备基于多个该第一特征点和多个该第二特征点进行点集匹配，以获取该第一特征点在该第二事件帧中对应的第一匹配点；该电子设备基于该第一特征点和该第一匹配点进行模板匹配，以获取该第一特征点在该第二事件帧中对应的第二匹配点。
[0006]实施第一方面提供的方法后，电子设备可以考虑到事件帧的全局特征，具体通过对事件帧中的全部特征点进行整体匹配，得到粗匹配点即第一匹配点，然后在整体匹配的基础上，聚焦到每一个特征点和对应的粗匹配点，进行局部匹配，以得到精匹配点即第二匹配点，从而提高特征匹配的准确性。
[0007]结合第一方面提供的方法，该电子设备获取该第一特征点在该第二事件帧中对应的第二匹配点之后，该方法还包括：该电子设备滤除多个该第一特征点中位于该第一事件帧边缘的第一特征点对应的第二匹配点，获取剩余多个该特征点分别对应的该第二匹配点。
[0008]这样，在得到精匹配点之后，电子设备可以删除精匹配点中错误的匹配点，具体的，可以使用RANSAC算法检测错误匹配点对，滤除该错误的匹配点对，进而得到更加精确的匹配结果。
[0009]结合第一方面提供的方法，在电子设备获取剩余多个特征点分别对应的第二匹配点之后，该方法还包括：该电子设备根据该剩余多个该特征点分别对应的该第二匹配点，获取该事件相机的运动轨迹；该电子设备根据该运动轨迹执行以下任意一项操作：从运动中恢复结构SFM和即时定位与地图构建SLAM。
[0010]这样，电子设备可以根据获取到的匹最终配点对，实现SFM和SLAM，进而应用在自动驾驶、AR/VR场景中。
[0011]结合第一方面提供的方法，该电子设备从该第一事件帧中提取多个第一特征点，具体包括：该电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从该第一事件帧中提取多个该第一特征点。
[0012]这样，电子设备可以通过多种方式实现特征点的提取，从而提高本申请的可实施性。
[0013]结合第一方面提供的方法，当该电子设备根据该角点特征从该第一事件帧中提取多个该第一特征点时，该电子设备具体使用Harris角点算法获取多个该第一特征点。
[0014]这样，电子设备可以通过Harris角点算法，提高角点提取的准确性，进一步提高本申请的可实施性。
[0015]结合第一方面提供的方法，该电子设备从该第一事件帧中提取多个第一特征点，具体包括：该电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从该第一事件帧中提取多个特征点；该电子设备从多个该特征点中选取像素值大于阈值的多个该第一特征点。
[0016]结合第一方面提供的方法，该电子设备从多个该特征点中选取像素值大于阈值的多个该第一特征点具体包括：该电子设备对多个该特征点进行基于该阈值的二值化处理，获取大于该阈值的多个该第一特征点。
[0017]这样，电子设备可以对事件帧进行二值化，然后，在二值化后的事件帧中选取特征点中像素值大于阈值的特征点，也可以称为亮点，二值化后可以减少图像处理的复杂度，选取其中的亮点可以提高基于亮点匹配的鲁棒性。
[0018]结合第一方面提供的方法，该电子设备对多个该第一特征点和多个该第二特征点进行点集匹配，具体包括：该电子设备获取第一仿射变换参数，该第一仿射变换参数用于作用于多个该第一特征点，以获取该第一特征点在该第二事件帧中对应的该第一匹配点。
[0019]这样，电子设备可以通过点集匹配获取到粗仿射变换参数即第一仿射变换参数，然后将该粗仿射变换参数作用于第一特征点，便可以获取到对应的粗匹配点。
[0020]结合第一方面提供的方法，该电子设备对该第一特征点和该第一匹配点进行模板匹配，具体包括：该电子设备对该第一特征点的第一邻域，和，该第一匹配点的第二邻域，进
行模板匹配。
[0021]这样，电子设备可以根据每个特征点对应的粗匹配点聚焦到包含该粗匹配点的局部区域，以进行局部匹配即模板匹配，从而进一步提高匹配的准确性。
[0022]结合第一方面提供的方法，该电子设备基于该第一特征点和该第一匹配点进行模板匹配之前，该方法还包括：该电子设备对该第一特征点的第三邻域进行形态学膨胀，得到膨胀后的第一事件帧，该第三邻域和该第一邻域的大小、位置相同；该第一邻域为该膨胀后的第一事件帧中该第一特征点的邻域；该电子设备对该第一特征点对应的该第一匹配点的第四邻域进行形态学膨胀，得到膨胀后的第二事件帧，该第四邻域和该第二邻域的大小、位置相同；该第二邻域为该膨胀后的第二事件帧中该第一匹配点的邻域。
[0023]这样，电子设备可以对原始的事件帧进行形态学膨胀，从而改善事件帧中存在的纹理不清、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于事件帧的特征点匹配方法，其特征在于，所述方法应用于电子设备中，所述方法包括：所述电子设备通过事件相机获取第一事件流和第二事件流，基于所述第一事件流生成第一事件帧，基于所述第二事件流生成第二事件帧；所述电子设备从所述第一事件帧中提取多个第一特征点，从所述第二事件帧中提取多个第二特征点；所述电子设备基于多个所述第一特征点和多个所述第二特征点进行点集匹配，以获取所述第一特征点在所述第二事件帧中对应的第一匹配点；所述电子设备基于所述第一特征点和所述第一匹配点进行模板匹配，以获取所述第一特征点在所述第二事件帧中对应的第二匹配点。2.根据权利要求1所述的方法，其特征在于，所述电子设备获取所述第一特征点在所述第二事件帧中对应的第二匹配点之后，所述方法还包括：所述电子设备滤除多个所述第一特征点中位于所述第一事件帧边缘的第一特征点对应的第二匹配点，获取剩余多个所述特征点分别对应的所述第二匹配点。3.根据权利要求2所述的方法，其特征在于，在所述电子设备获取剩余多个所述特征点分别对应的所述第二匹配点之后，所述方法还包括：所述电子设备根据所述剩余多个所述特征点分别对应的所述第二匹配点，获取所述事件相机的运动轨迹；所述电子设备根据所述运动轨迹执行以下任意一项操作：从运动中恢复结构SFM和即时定位与地图构建SLAM。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述电子设备从所述第一事件帧中提取多个第一特征点，具体包括：所述电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从所述第一事件帧中提取多个所述第一特征点。5.根据权利要求4所述的方法，其特征在于，当所述电子设备根据所述角点特征从所述第一事件帧中提取多个所述第一特征点时，所述电子设备具体使用Harris角点算法获取多个所述第一特征点。6.根据权利要求5所述的方法，其特征在于，所述电子设备从所述第一事件帧中提取多个第一特征点，具体包括：所述电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从所述第一事件帧中提取多个特征点；所述电子设备从多个所述特征点中选取像素值大于阈值的多个所述第一特征点。7.根据权利要求6所述的方法，其特征在于，所述电子设备从多个所述特征点中选取像素值大于阈值的多个所述第一特征点具体包括：所述电子设备对多个所述特征点进行基于所述阈值的二值化处理，获取大于所述阈值的多个所述第一特征点。8.根据权利要求7所述的方法，其特征在于...
【专利技术属性】
技术研发人员：刘小伟，陈兵，周俊伟，王国毅，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。