【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及适合用于检查被包含在多个图像中的标记的图像校正和拼接的方法。
技术介绍
1、在药剂瓶的生产、包装和/或运输期间，标记被施加到这些瓶。标记典型地包含关于被包含在瓶内的药剂的信息。标记通常被印刷到标签上，并且标签然后被施加到瓶。虽然在一些情况下，标记被直接印刷到瓶上。
2、瓶典型地是圆柱形的，具有顶部、底部和一般为圆柱形的壁。标签(或标记)典型地被施加到圆柱形壁，意味着由于瓶的曲率，可能难以从瓶的单个图像检查标记(例如，以确定印刷质量问题或简单地以读取信息用于进一步处理)。因此，有益的是在不同的定向下捕获瓶的多个图像并且将这些图像拼接在一起以便获取包括标签的单个图像。然而，这样的处理要求复杂的校准方法。例如，外在校准，其限定不同相机彼此之间的关系，可能被要求与相机的内在校准组合以确定瓶在由相机拍摄的图像中的位置和定向。外在校准典型地被在用户的位置(例如，生产或包装设施)处实施，其中在外在校准之前，所有相机位于它们相对于彼此以及相对于要被成像的瓶的期望的位置。然而，用户典型地不是相机校准方面的专家，意味着在外在校准处理中可能发生错误，导致在使用时的不良的拼接结果。附加地，当捕获图像时，对于瓶的尺寸上的改变或者瓶的位置的改变——例如其中瓶的位置偏离了相机已被针对其校准的位置，这样的处理不是鲁棒的。这可能导致拼接处理中的差错，其然后可能导致读取标签时的差错。
3、替代的方法是使用具有与要被成像的瓶相同的形状和大小的校准对象。当校准对象位于瓶将被从使用期间成像的确切位置处时，对校准对象进行成像。校准对象在其
4、重要的是，瓶上的标记(例如，印刷的信息)能够被清楚地读取。也就是，重要的是，对标记的印刷具有足够的质量，使得其能够被(由人或由机器)清楚地读取。有时，标记可能是以导致标记具有不良质量的方式施加的，例如，标记难以读取或缺失信息。不良质量可能由多个原因引起。例如，用于在标签上印刷标记的印刷头可能是故障的，并且因此可能没有以正确的方式将墨沉积在标签上；印刷机可能已耗尽了墨的组分，引起仅墨的一部分被沉积；印刷期间印刷头可能未正确地与标签对准，等等。
5、因此，在将标记施加到瓶之后检验标记的质量是重要的。这在某些工业中特别地重要，诸如制药工业，其中被包含在标记中的信息可能是至关重要的。例如，标记可以包括被包含在瓶内的药剂的剂量。清楚地，如果剂量不能被读取或者被不正确地读取，则这可能对终端用户具有严重的影响。
6、本公开的目的是解决前面提到的问题中的一个或多个。
技术实现思路
1、在本专利技术的第一方面中，提供了用于将多个图像拼接在一起的计算实现的方法，每个图像包括包含对象的场景，对象包括标记。方法包括：获取针对一个或多个相机的内在校准参数；获取由一个或多个相机中的一个捕获的第一图像，第一图像包含标记的至少第一部分和对象；获取由一个或多个相机中的一个捕获的第二图像，第二图像包含标记的至少第二部分和对象，其中标记的至少第一部分和第二部分部分地重叠；以及获取指示与对象关联的长度的数据。针对每个图像，方法进一步包括：确定指示图像内的对象在2d图像坐标中的位置的数据；基于指示图像内的对象在2d图像坐标中的位置的数据和指示与对象关联的长度的数据，确定指示对象在相机坐标中的位置的数据；基于指示对象在相机坐标中的位置的数据，确定变换矩阵；获取虚拟对象的3d点云，所述虚拟对象与对象关联；使用变换矩阵对虚拟对象的3d点云进行变换以获取第二3d点云；使用内在校准参数将第二3d点云投影到2d图像坐标中以获取投影点网格；使用投影点网格校正图像的一部分以获取校正图像；拼接第一校正图像和第二校正图像以获取包括组合标记的拼接图像，组合标记包括标记的至少第一部分和第二部分。
2、有利地，第一方面的方法提供了如下的方式：其中多个图像能够被准确地拼接在一起而不要求用于捕获图像的相机的复杂的校准技术，诸如外在校准。也就是，不需要提供相机相对于彼此以及相对于对象的位置。给定不需要实施外在校准，相机可以被单独地内在校准并且在安装(例如，安装在瓶检测设备中)之前被内在校准。像这样，在用户的地点(例如，生产、印刷或包装设施)处不要求校准。附加地，已经发现相对于要求诸如外在校准之类的复杂校准的其它解决方案，就对象的物理尺寸偏离而言，该方法是非常宽容的。例如，并非如在利用要求诸如外在校准之类的复杂校准的解决方案的情况下那样针对具有不同物理尺寸(诸如不同半径)的产品要求使用进一步的校准。更进一步地，已经发现，对于图像中的对象相对于相机的位置上的改变，本方法是更鲁棒的。例如，沿着输送机行进的对象在它们被成像时可能不总是在相同位置。还已经发现，较之于现有方法，本方法对于对象的对称性上的偏离是更鲁棒的。这在对象是瓶的情况下特别地重要，因为瓶典型地包括被粘合在一起以形成圆柱体的两个相同部分。然而，由于制造容限，当两个部分已经被粘合在一起时，瓶不总是对称的。
3、虚拟对象可以是对象的虚拟表示。例如，虚拟对象的形状可以对应于对象的形状。在其中对象是圆柱形瓶的情况下，虚拟对象可以是圆柱体。
4、当要求时，可以计算或者可以从数据库访问3d点云。
5、图像的部分可以包括标记的部分。也就是，可以无需校正整个图像，而只校正图像的包含标记的部分。
6、内在校准参数可以包括指示焦距、主点(或光学中心)、像素大小以及透镜畸变中的任何一个的数据。
7、指示与对象关联的长度的数据可以是指示对象的物理尺寸的数据。例如，所述数据可以包括指示对象的半径的数据。例如，半径可以由用户提供或者使用传感器测量的。替代地，指示与对象关联的长度的数据可以是指示距离的数据。例如，所述距离可以是捕获对象的图像的相机与对象之间的距离。距离可以是图像被捕获时的距离。可以使用任何合适的手段获取距离。例如，用户可以提供距离。例如，用户可以具有关于当图像被捕获时对象将在哪里的知识，并且也可以具有关于相机在哪里的知识。
8、第一图像和第二图像可以由第一相机和第二相机捕获。替代地，第一图像和第二图像这两者可以由同一相机捕获。例如，单个相机可以围绕对象旋转以捕获两个或更多个图像。替代地，对象可以围绕其轴旋转以使得单个相机能够捕获第一图像和第二图像。
9、获取指示对象的长度的数据可以包括如下之一：获取指示对象的物理尺寸的数据，或者获取指示对象距一个或多个相机中的一个的距离的数据。
10、获取指示对象的物理尺寸的数据可以包括获取指示对象的半径的数据。
11、对象可以本文档来自技高网...
【技术保护点】
1.一种用于将多个图像拼接在一起的计算实现的方法，每个图像包括包含对象的场景，对象包括标记，所述方法包括：
2.根据权利要求1所述的方法，其中获取指示对象的长度的数据包括如下之一：获取指示对象的物理尺寸的数据，或者获取指示对象距所述一个或多个相机中的一个的距离的数据。
3.根据权利要求2所述的方法，其中获取指示对象的物理尺寸的数据包括获取指示对象的半径的数据。
4.根据前述权利要求中的任何一项所述的方法，其中获取第一图像包括利用所述一个或多个相机中的一个捕获第一图像；以及
5.根据权利要求4所述的方法，其中捕获第一图像包括布置所述一个或多个相机中的一个以从第一角度捕获图像；以及
6.根据前述权利要求中的任何一项所述的方法，其中确定指示图像内的对象在2D图像坐标中的位置的数据包括确定对象的一个或多个外边缘的位置。
7.根据前述权利要求中的任何一项所述的方法，其中确定指示图像内的对象在2D图像坐标中的位置的数据包括确定对象的中心线的位置。
8.根据前述权利要求中的任何一项所述的方法，其中基于指示图像内
9.根据前述权利要求中的任何一项所述的方法，其中基于指示图像内的对象在2D图像坐标中的位置的数据和指示与对象关联的长度的数据来确定指示对象在相机坐标中的位置的数据包括：
10.根据前述权利要求中的任何一项所述的方法，进一步包括：内在地校准所述一个或多个相机以获取一个或多个内在校准参数。
11.根据前述权利要求中的任何一项所述的方法，进一步包括：
12.根据前述权利要求中的任何一项所述的方法，其中对象包括圆柱形主体，标记围绕圆柱形主体的一部分延伸。
13.根据前述权利要求中的任何一项所述的方法，其中获取所述虚拟对象的3D点云包括基于指示与对象关联的长度的数据来计算3D点云。
14.根据前述权利要求中的任何一项所述的方法，其中获取所述虚拟对象的3D点云包括访问包含针对多个虚拟对象中的每个的3D点云的数据库，并且选择对应于对象的所述虚拟对象的3D点云。
15.根据前述权利要求中的任何一项所述的方法，当取决于权利要求4时，进一步包括当捕获一个或多个图像时利用间接光源照射对象。
16.根据前述权利要求中的任何一项所述的方法，进一步包括针对任何一个图像提供均匀背景。
17.根据前述权利要求中的任何一项所述的方法，进一步包括检查组合标记。
18.根据权利要求17所述的方法，其中检查组合标记包括确定指示组合标记的质量的数据或读取组合标记的内容。
19.一种用于将多个图像拼接在一起的计算实现的方法，每个图像包括包含对象的场景，对象包括标记，所述方法包括：
20.一种用于将多个图像拼接在一起的计算实现的方法，每个图像包括包含对象的场景，对象包括标记，所述方法包括：
21.一种装置，包括：
22.一种包括计算机可读指令的计算机可读介质，当所述计算机可读指令被由一个或多个处理器执行时，所述计算机可读指令引起所述一个或多个处理器实施根据权利要求1至20中的任何一项所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于将多个图像拼接在一起的计算实现的方法，每个图像包括包含对象的场景，对象包括标记，所述方法包括：
2.根据权利要求1所述的方法，其中获取指示对象的长度的数据包括如下之一：获取指示对象的物理尺寸的数据，或者获取指示对象距所述一个或多个相机中的一个的距离的数据。
3.根据权利要求2所述的方法，其中获取指示对象的物理尺寸的数据包括获取指示对象的半径的数据。
4.根据前述权利要求中的任何一项所述的方法，其中获取第一图像包括利用所述一个或多个相机中的一个捕获第一图像；以及
5.根据权利要求4所述的方法，其中捕获第一图像包括布置所述一个或多个相机中的一个以从第一角度捕获图像；以及
6.根据前述权利要求中的任何一项所述的方法，其中确定指示图像内的对象在2d图像坐标中的位置的数据包括确定对象的一个或多个外边缘的位置。
7.根据前述权利要求中的任何一项所述的方法，其中确定指示图像内的对象在2d图像坐标中的位置的数据包括确定对象的中心线的位置。
8.根据前述权利要求中的任何一项所述的方法，其中基于指示图像内的对象在2d图像坐标中的位置的数据和指示与对象关联的长度的数据来确定指示对象在相机坐标中的位置的数据包括：
9.根据前述权利要求中的任何一项所述的方法，其中基于指示图像内的对象在2d图像坐标中的位置的数据和指示与对象关联的长度的数据来确定指示对象在相机坐标中的位置的数据包括：
10.根据前述权利要求中的任何一项所述的方法，进一步包括：内在地校准所述一个或多个相机以获取一个或多个内在校准参数。
【专利技术属性】
技术研发人员：L·博特尔，M·杰勒，
申请(专利权)人：傲科激光应用技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。