用于感兴趣目标的目标定位和姿态估计的方法技术

一种用于定位和估计视觉系统视野中已知目标姿态的方法，且方法包括开发已知目标的基于处理器的模型；捕获位图影像文件，其具有包括已知目标的视野的影像；和从位图影像文件提取特征。被提取特征与和已知目标的模型相关的特征相匹配。可以基于被提取特征在位图影像文件中定位一目标。被定位目标的被提取特征被聚类和合并。可以基于经合并的被聚类的被提取特征与已知目标的基于处理器的模型所作的比较而检测视野中的已知目标。基于已知目标的检测估计视野中被检测已知目标的姿态。

【技术实现步骤摘要】

本专利技术涉及视觉系统，和用于定位感兴趣目标和其姿态的方法。
技术介绍
已知的机器人感知系统通过工程设计具体的光照状态、构造观察状态和利用处理结构来实现期望的性能和可靠性。它们在仅工作在真实世界条件下的子组中的窄范围的条件下具有灵活性，且会因周围环境的微小改变而故障。此外，已知系统和相关技术的处理速度不足以实现高效的实时处理。一站式商业视觉系统(turnkeycommercialvisionsystem)在引入更宽灵活性时会变慢且通过严格地构造视域而能鲁棒地工作。例如，处理大的视野(FOV)以在非期望方位(占据FOV的5-10％)搜索目标会花费数秒或更多。这在搜索前/后/侧视野以精确地找到目标位置和姿态时会进一步复合。进而，与用于已知的用于机器人材料传递和操作应用的自动化方案的构造环境有关的成本是机器人装置相关成本的三倍到十倍。在已知自动化系统中可有效地操作的产品范围会受到限制且通常被限制为仅一些样式。进而，这种系统很重组起来笨重且针对不同种类的产品进行重构也很慢。由此，由于与投资、操作成本、灵活性和可重构性有关的问题，现有的自动化方案不易于处理具有丰富多样性的部件的组装操作。
技术实现思路
描述一种用于定位和估计视觉系统视野中已知目标的姿态的方法，且方法包括开发已知目标的基于处理器的模型；捕获位图影像文件，其具有包括已知目标的视野的影像；和从位图影像文件提取特征。被提取特征与和已知目标的模型相关的特征相匹配。可以基于被提取特征在位图影像文件中定位一目标。被定位目标的被提取特征被聚类和合并。可以基于经合并的被聚类的被提取特征与已知目标的基于处理器的模型所作的比较而检测视野中的已知目标。基于已知目标的检测估计视野中被检测已知目标的姿态。本专利技术提供一种用于定位和估计视觉系统的视野中已知目标的姿态的方法，已知目标包括具有预定特征的结构实体，所述预定特征包括空间尺寸，该方法包括：开发已知目标的基于处理器的模型；捕获位图影像文件，其具有包括已知目标的视野的影像；从位图影像文件提取特征；将被提取特征与和已知目标的模型相关的特征相匹配；基于被提取特征在位图影像文件中定位一目标；将所定位的目标的被提取特征聚类；将聚类的被提取特征合并；基于经合并的被聚类的被提取特征与已知目标的基于处理器的模型所作的比较而检测视野中的已知目标；和基于已知目标的检测估计视野中被检测已知目标的姿态。在所述的方法中，从位图影像文件提取特征包括，采用尺度不变特征转换(SIFT)算法而从位图影像文件中的尺度不变关键点检测独特影像特征。在所述的方法中，从位图影像文件提取特征包括，基于所述被提取特征和已知目标的基于处理器的模型中的被提取特征之间的对应，从位图影像文件中的尺度不变关键点提取独特影像特征。在所述的方法中，基于被提取特征在位图影像文件中定位一目标包括，识别与已知目标的特征相关的在位图影像文件中的特征。在所述的方法中，识别与已知目标的特征相关的在位图影像文件中的特征进一步包括，将数字窗口匹配在位图影像文件中的感兴趣区域周围，且仅在数字窗口中的位图影像文件的一部分中识别特征。在所述的方法中，将数字窗口匹配在位图影像文件中感兴趣区域的周围包括，识别位图影像文件中的内围，其所包括的数据的分布可通过与已知目标相关的某组模型参数解释。在所述的方法中，基于已知目标的检测估计视野中被检测的已知目标的姿态包括，执行粗糙-精细影像匹配步骤，以检测已知目标的姿态。在所述的方法中，开发已知目标的基于处理器的模型包括：采用数字摄像头捕获相对于数字摄像头处于多个姿态下的已知目标的数字影像；在捕获的数字影像上执行特征追踪；基于特征追踪来构建与姿态相关的三维(3D)点云；从3D点云构造3D网格；和将外观描述符与3D网格关联。在所述的方法中，采用数字摄像头捕获相对于数字摄像头处于多个姿态下的已知目标的数字影像包括，捕获多个姿态下已知目标的视频影像；和其中在捕获的数字影像上执行特征追踪包括，在捕获的数字影像上执行帧间特征追踪。本专利技术提供一种用于检测视觉系统的视野中已知目标的方法，已知目标包括具有预定特征的结构实体，所述预定特征包括空间尺寸，该方法包括：开发已知目标的基于处理器的模型；捕获位图影像文件，其具有包括已知目标的视野的影像；从位图影像文件提取特征；将被提取特征与和已知目标的模型相关的特征相匹配；基于被提取特征在位图影像文件中定位一目标；将所定位的目标的被提取特征聚类；将聚类的被提取特征合并；和基于经合并的被聚类的被提取特征与已知目标的基于处理器的模型所作的比较而检测视野中的已知目标。在所述的方法中，从位图影像文件提取特征包括，采用尺度不变特征转换(SIFT)算法而从位图影像文件中的尺度不变关键点检测独特影像特征。在所述的方法中，从位图影像文件提取特征包括，基于所述被提取特征和已知目标的基于处理器的模型中的被提取特征之间的对应，从位图影像文件中的尺度不变关键点提取独特影像特征。在所述的方法中，基于被提取特征在位图影像文件中定位一目标包括，识别与已知目标的特征相关的在位图影像文件中的特征。在所述的方法中，识别与已知目标的特征相关的在位图影像文件中的特征进一步包括，将数字窗口匹配在位图影像文件中的感兴趣区域周围，且仅在数字窗口中的位图影像文件的一部分中识别特征。在所述的方法中，将数字窗口匹配在位图影像文件中感兴趣区域的周围包括，识别位图影像文件中的内围，其所包括的数据的分布可通过与已知目标相关的某组模型参数解释。在所述的方法中，开发已知目标的基于处理器的模型包括：采用数字摄像头捕获相对于数字摄像头处于多个姿态下的已知目标的数字影像；在捕获的数字影像上执行特征追踪；基于特征追踪来构建与姿态相关的三维(3D)点云；从3D点云构造3D网格；和将外观描述符与3D网格关联。在所述的方法中，采用数字摄像头捕获相对于数字摄像头处于多个姿态下的已知目标的数字影像包括捕获多个姿态下已知目标的视频影像；和其中在捕获的数字影像上执行特征追踪包括在捕获的数字影像上执行帧间特征追踪。本专利技术提供一种用于确定感兴趣目标的姿态的方法，包括：通过数字摄像头产生视野的三维(3D)数字影像；在数字影像中执行目标识别，这包括检测至少一个被识别目标；提取与被识别目标对应的目标区块；从目标区块提取多个兴趣点；提取与目标区块相关联的3D点云和2D区块；将来自区块的兴趣点与来自多个训练影像每一个的兴趣点比较；选择多个训练影像中的一个，所述多个训练影像包括训练影像中的具有与来自目标区块的兴趣点类似的最大量兴趣点的那个影像；将与目标区块相关的3D点云和2D区块保存；和采用迭代最近点(ICP)算法计算与目标区块相关的3D点云和训练影像中所选择的一个之间的旋转和线性平移。所述的方法进一步包括执行训练以产生多个训练影像，包括：在多个不同观察点使用数字摄像头捕获已知目标的多个训练影像；将训练影像每一个转换为位图影像文件；从位图影像文件每一个提取主区块；捕获用于主区块的特征和兴趣点；提取与主区块相关的3D点；和采用修改来识别和限定丢失深度点；其中训练影像包括用于主区块的被捕获特征和兴趣点和与主区块相关的被提取3D点。在下文结合附图进行的对实施本专利技术的较佳模式做出的详尽描述中能容易地理解上述的本文档来自技高网...

【技术保护点】
一种用于定位和估计视觉系统的视野中已知目标的姿态的方法，已知目标包括具有预定特征的结构实体，所述预定特征包括空间尺寸，该方法包括：开发已知目标的基于处理器的模型；捕获位图影像文件，其具有包括已知目标的视野的影像；从位图影像文件提取特征；将被提取特征与和已知目标的模型相关的特征相匹配；基于被提取特征在位图影像文件中定位一目标；将所定位的目标的被提取特征聚类；将聚类的被提取特征合并；基于经合并的被聚类的被提取特征与已知目标的基于处理器的模型所作的比较而检测视野中的已知目标；和基于已知目标的检测估计视野中被检测已知目标的姿态。

【技术特征摘要】
2015.07.28 US 14/811,0621.一种用于定位和估计视觉系统的视野中已知目标的姿态的方法，已知目标包括具有预定特征的结构实体，所述预定特征包括空间尺寸，该方法包括：开发已知目标的基于处理器的模型；捕获位图影像文件，其具有包括已知目标的视野的影像；从位图影像文件提取特征；将被提取特征与和已知目标的模型相关的特征相匹配；基于被提取特征在位图影像文件中定位一目标；将所定位的目标的被提取特征聚类；将聚类的被提取特征合并；基于经合并的被聚类的被提取特征与已知目标的基于处理器的模型所作的比较而检测视野中的已知目标；和基于已知目标的检测估计视野中被检测已知目标的姿态。2.如权利要求1所述的方法，其中从位图影像文件提取特征包括，采用尺度不变特征转换(SIFT)算法而从位图影像文件中的尺度不变关键点检测独特影像特征。3.如权利要求1所述的方法，其中从位图影像文件提取特征包括，基于所述被提取特征和已知目标的基于处理器的模型中的被提取特征之间的对应，从位图影像文件中的尺度不变关键点提取独特影像特征。4.如权利要求1所述的方法，其中基于被提取特征在位图影像文件中定位一目标包括，识别与已知目标的特征相关的在位图影像文件中的特征。5.如权利要求4所述的方法，其中识别与已知目标的特征相关的在位图影像文件中的特征进一步包括，将数字窗口匹配在位图影像文件中的感兴趣区域周围，且仅在数字窗口中的位图影像文件的一部分中识别特征。6.如权利要求5所述的方法，其中将数字窗口匹配在位...

【专利技术属性】
技术研发人员：S梅达萨尼，J梅尔策，J徐，Z陈，RN森达雷斯瓦拉，DW佩顿，RM乌伦布罗克，LG巴拉贾斯，K金，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US