【技术实现步骤摘要】
本申请涉计算机视觉，具体地，涉及一种基于运动系统的图像拼接方法、电子设备及计算机可读存储介质。
技术介绍
1、对人来说，至少有80％以上的外界信息通过视觉获得，因而，视觉是人最重要的感觉。因此，采集、记录、存储并展示视觉信息是信息处理手段中最有效的手段之一。
2、随着信息技术的进步和图像传感器成本降低，越来越多的视频采集设备出现在日常生活中，广泛应用于视频监控、视频通话、体育赛事转播、虚拟现实等领域。近年来，计算机处理能力和显示设备分辨率提升大幅提升，人们对成像设备的性能也提出了更高的要求。在视野开阔的地方，要求成像设备有更大的视场，以便观察事件发生的全过程，而对于远景目标，不仅要看的到，更要看的清晰。“看的更宽、看的更远、看的更清”成为新的需求。
3、将多台相机图像拼接为一张宽视场图像是其中最为关键的技术，影响着宽视场图像的视觉效果。图像拼接技术经过几十年的发展，研究人员提出了许多各具特色的拼接方法，适用于不同的应用场景。然而现有的图像拼接方法大多通过特征点对的选取来求解图像之间的关系，其准确率严重依赖于场景内容丰富程度、视场重叠区域多少等因素。相机之间保留较大的视场重叠可以保证特征点对的数量，进而提高图像拼接的准确率，然而却不可避免的带来相机有效分辨率的浪费。因此，提出一种无需特征点匹配的图像拼接方法，提高相机的利用率，具有重要的研究意义和应用价值。
4、目前的相机的视场角大小有限，往往无法拍摄到全部想拍摄的画面。此时若想通过相机记录全景，通常需要进行图像拼接。经过几十年的发展，研究人员提
5、然而，目前存在所拍摄的多张图像间难以辨别出相同的特征点的情况，该情况导致现有的图像拼接方法不适用。
6、现有的图像拼接方法主要包括图像匹配、重投影、缝合和融合四个步骤。如上所述，图像匹配基于特征点的图像进行匹配。特别地，通过角点提取算法进行特征点提取，再判断提取出的特征点间的匹配程度，从而完成特征点间的一一配对。然后，将匹配的特征点重投影至同一画面，对不同图像之间的接缝处进行融合操作，使不同图像间衔接自然。
7、由此可见，依赖于特征点的提取和配对不适用于没有明显特征点或无法明确配对的情况，这种情况在工业应用中经常出现。例如，显示检测中的白场图(没有明显特征点)和棋盘格图(重复图案，特征点无法明确配对)。
8、另外，执行特征点提取和匹配的算法相对比较复杂，需要时间长或需要更昂贵的设备。
9、另外，部分基于区域的图像拼接算法对于两张图像间的重合区域大小存在要求。
技术实现思路
1、本申请提供了一种可至少部分解决上述技术问题或其它技术问题的基于运动系统的图像拼接方法、电子设备及存储介质。
2、第一方面，本申请一些实施方式提供了一种基于运动系统的图像拼接方法，包括：获得相机坐标系和像素坐标系的第一转换关系；确定相机保持装置坐标系与相机坐标系的第二转换关系；控制相机保持装置运动，连续采集多个图像，并记录与多个图像中的每个对应的相机位置；以第一图像为基准，根据第一转换关系和第二转换关系，根据相机位置，将多个图像的图像坐标变换为虚拟图像坐标；以及记录所述多个图像中的每个图像的每个像素点对应的灰度值，将所述灰度值投影到所述多个图像中的每个图像转换坐标后的对应虚拟图像中的对应位置上。
3、在一些实施方式中，获得相机坐标系和像素坐标系的第一转换关系包括：通过相机的内参矩阵获得所述相机坐标系和所述像素坐标系的第一转换关系。
4、在一些实施方式中，确定相机保持装置坐标系与所述相机坐标系的第二转换关系包括：确定相机保持装置的末端坐标系与所述相机坐标系之间的坐标变换关系。
5、在一些实施方式中，确定相机保持装置坐标系与所述相机坐标系的第二转换关系包括：确定所述相机保持装置的基底坐标系与所述相机坐标系之间的坐标变换关系。
6、在一些实施方式中，所述相机保持装置为工业机器人的机械手。
7、在一些实施方式中，记录与所述多个图像中的每个对应的相机位置包括：记录与所述多个图像中的每个对应的相机相对于初始位置的运动角度和距离。
8、在一些实施方式中，将所述多个图像的图像坐标变换为虚拟图像坐标包括：依次将所述图像坐标变换为运动后的相机坐标系、运动后的相机保持装置坐标系、运动前的相机保持装置坐标系、运动前的相机坐标系和虚拟图像坐标系。
9、第二方面，本申请一些实施方式提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的基于运动系统的图像拼接方法。
10、第三方面，本申请一些实施方式提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，其中，计算机程序被处理器执行时，实现如上述实施方式提及的基于运动系统的图像拼接方法。
11、根据本申请至少一个实施方式提供的基于运动系统的图像拼接方法、电子设备及存储介质，通过将相机固定在运动系统中，由运动系统精确反馈相机运动的角度，将不同角度下拍摄的图像拼接成一张图像。不依赖于图像特征点和画面重叠度，不需要进行复杂的特征点匹配算法，仅需运动系统提供相机的运动坐标，结合对相机本身以及手眼系统的标定数据，即可实现不同位置拍摄的图像的拼接。基于运动系统反馈的相机运动状态，结合相机和手眼标定结果，能够快速实现图像的拼接。基于当前的高精度机械手运动系统以及成熟的标定方案，能够确保图像拼接的精度。相较于其他基于特征点匹配的拼接算法而言，不依赖于图像特征点和画面重叠度，适用于无明显纹理或重复纹理的图像的拼接。
本文档来自技高网...【技术保护点】
1.一种基于运动系统的图像拼接方法，其特征在于，所述图像拼接方法包括：
2.根据权利要求1所述的图像拼接方法，其中，获得相机坐标系和像素坐标系的第一转换关系包括：通过相机的内参矩阵获得所述相机坐标系和所述像素坐标系的第一转换关系。
3.根据权利要求1所述的图像拼接方法，其中，确定相机保持装置坐标系与所述相机坐标系的第二转换关系包括：确定相机保持装置的末端坐标系与所述相机坐标系之间的坐标变换关系。
4.根据权利要求1所述的图像拼接方法，其中，确定相机保持装置坐标系与所述相机坐标系的第二转换关系包括：确定所述相机保持装置的基底坐标系与所述相机坐标系之间的坐标变换关系。
5.根据权利要求3或4所述的图像拼接方法，其中，所述相机保持装置为工业机器人的机械手。
6.根据权利要求1所述的图像拼接方法，其中，记录与所述多个图像中的每个对应的相机位置包括：记录与所述多个图像中的每个对应的相机相对于初始位置的运动角度和距离。
7.根据权利要求1所述的图像拼接方法，其中，将所述多个图像的图像坐标变换为虚拟图像坐标包括：依次将所述
8.一种电子设备，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的图像拼接方法。
...【技术特征摘要】
1.一种基于运动系统的图像拼接方法，其特征在于，所述图像拼接方法包括：
2.根据权利要求1所述的图像拼接方法，其中，获得相机坐标系和像素坐标系的第一转换关系包括：通过相机的内参矩阵获得所述相机坐标系和所述像素坐标系的第一转换关系。
3.根据权利要求1所述的图像拼接方法，其中，确定相机保持装置坐标系与所述相机坐标系的第二转换关系包括：确定相机保持装置的末端坐标系与所述相机坐标系之间的坐标变换关系。
4.根据权利要求1所述的图像拼接方法，其中，确定相机保持装置坐标系与所述相机坐标系的第二转换关系包括：确定所述相机保持装置的基底坐标系与所述相机坐标系之间的坐标变换关系。
5.根据权利要求3或4所述的图像拼接方法，其中，所述...
【专利技术属性】
技术研发人员：戴思勰，孙杰，蒋坤君，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。