用于组合２Ｄ图像与３Ｄ点云以进行共同场景的改进视觉化和对准过程的成功的解释的方法和系统。得到的融合数据包含来自原始３Ｄ点云的组合信息和来自２Ｄ图像的信息。按照彩色地图标记过程将原始３Ｄ点云数据颜色编码。通过融合来自不同传感器的数据，得到的场景具有与作战空间了解、目标识别、在呈现的场景内的变化探测和对准成功的确定相关的几个有用属性。
【技术实现步骤摘要】
【国外来华专利技术】
专利技术的装置涉及二维和三维图像数据的对准，并且更具体地说，涉及用于2D和3D 图像数据的对准性能的视觉解释的方法。这种技术用作确定对准成功的度量。
技术介绍
常规电光(EO)传感器已经长期用于这样的图像数据的收集，并且一般产生二维数据。这样的数据一般与图像到可完全由X和y坐标轴定义的平面区域上的投影相对应。 最近，对三维成像数据的兴趣已逐渐增大。例如，LIDAR系统使用高能激光器、光学探测器和计时电路，以产生三维点云数据。在3D点云中的每个点与由数字摄像机产生的像素数据空间相似，不同之处是，3D点云数据按三维排列，使点定义在由x、y和ζ坐标系定义的三维空间的各个位置处。一种主要差别是，激光雷达(Iidar)是范围数据，而2D EO数据具有位置和强度信息。然而，存在其中激光雷达传感器可停留因而创建强度‘图像’的模式。应该注意，不需要这种模式来完成在本专利中描述的两个数据类型的重叠以便确定数据对齐或对准。点云数据可能难以解释，因为在原始数据中的对象或地表特征不容易区分。代之以，原始点云数据在三维坐标系上可显现成几乎不定形的和没有信息的点的集合。彩色地图已经用来帮助视觉化点云数据。例如，彩色地图已经用来作为每个点的高度坐标的函数， 选择性地改变在3D点云中的每个点的颜色。在这样的系统中，颜色的变化用来表示在地面上不同高度或高程处的点。尽管使用这样的常规彩色地图，但3D点云数据仍然难以解释。便利的是，对于同一场景组合2D EO成像数据与3D点云数据。这种过程有时叫做数据融合(data fusion) 0然而，组合两种不同的图像数据集必定要求图像对准步骤，以在空间上对准点。这样的图像对准步骤通常借助于与每个图像相关的元数据。例如，这样的元数据可包括1)传感器的方位和姿势信息；幻与图像的角部点相关的经纬坐标；及3)在点云数据的情况下，用于点云数据的原始χ、y和ζ点位置。2D对3D图像对准步骤可能是困难的和耗时的，因为它要求由不同传感器在不同数据收集时间和不同相对传感器位置处获得的EO和LIDAR数据的精确对准。况且，点云数据与EO图像数据相比通常是不同格式，造成更复杂的对准问题。为了解决上述对准问题， 已经提出各种对准方案。然而，得到的对准EO和LIDAR数据的视觉解释对于人类分析者常常仍然是困难的。这种困难的一个原因是，即使在两种类型的成像数据的对准和融合之后， 三维LIDAR点云也将常常显得浮在代表二维图像数据的平的二维平面上方。这产生两个值得注意的问题。具体地说，它使得人们更难以将由融合的图像数据代表的场景视觉化。这因为可能难以理解如何将点云数据拟合到二维图像中而发生。相同的效果也使得更难以评估对准过程工作得多好。关于显得浮在平的二维表面上的三维点云数据，人类难以判断由点云代表的各种特征(例如，结构、车辆)与在二维图像中的对应特征(例如，建筑物轮廓或印迹、和道路)对准得多好。与选中的特定对准方案无关，评估结果的性能是有用的。
技术实现思路
本专利技术涉及组合2D图像与3D点云用于共同场景的改进视觉以及对准过程的成功的解释的方法和系统。得到的融合的数据包含来自原始3D点云的组合信息和来自2D图像的信息。按照彩色地图标记过程将原始3D点云数据颜色编码。通过融合来自不同传感器的数据，得到的场景具有与作战空间了解、目标识别、在呈现的场景内的变化探测和对准成功的确定相关的几个有用属性。用来组合2D图像与3D点云LIDAR的方法包括几个步骤。如果图像还没有对准， 那么方法可从将2D图像和3D点云对准的对准步骤开始。此后，方法涉及分析2D图像，以识别在共同场景中多个区域的基于选中内容的特性。例如，基于内容的特性可包括城市场景内容、自然场景内容、水内容和人造结构内容。此后，将已经识别的多个区域的每一个赋予与区域的基于内容的特性相对应的彩色地图标签。在使用2D图像的彩色地图标签对准之后，按照彩色地图标签将不同彩色地图赋予3D点云的多个区域的每一个。‘范围，型图像从2D图像创建。就是说，通过将Z值赋予 2D图像中的每个像素(其中基于对于在3D LIDAR中的最近点的内插而确定每个Z值)并且呈现该Z值，从2D图像形成虚拟3D点云。基于在2D图像中的对应像素的颜色值，赋予用于虚拟3D点云的颜色值。2D图像颜色信息常常按11或16位值供给，其随后可被转换成 RGB值。最后，通过重叠虚拟范围图像和3D点云数据而创建融合的场景。按这种方式形成的融合的场景对于评估对准步骤的性能或质量特别有用。具体地说，可视觉地检查融合的场景，以确定在共同区域中的特征是否适当地对准。附图说明图1是对于理解本专利技术有用的计算机系统的方块图。图2是对于理解本专利技术有用的流程图。图3是对于理解如何由不同有利点获得图像数据有用的图。图4是对于理解如何可将彩色地图标签赋予2D图像有用的概念图。图5是对于理解二维图像数据或点云数据有用的图。图6是对于理解二维图像数据有用的图。图7是对于理解如何将在图6中的二维图像数据转换成虚拟三维图像有用的图。图8是二维图像数据的例子，该二维图像数据可用在图2中描述的过程中。图9是融合图像的例子，在该融合图像中，将虚拟3D图像与3D点云数据相组合。具体实施例方式在本专利技术中，2D图像被修改，并且然后与用于共同场景的3D点云数据相融合。过程促进场景的分析，并且允许图像对准过程的质量的改进评估。利用适当对准过程来对准 2D图像和3D点云数据。此后，处理3D点云数据，以识别和定义地面表格。地面表格代表在场景中地面的轮廓。地面表格然后用来将2D图像变换成包括地面轮廓的虚拟3D图像。 通过选择性修改与2D图像的像素相关的Z值，从而它们一般与由地面表格定义的Z值相一致，而创建虚拟3D图像。按这种方式，将地面的轮廓赋予2D图像，由此形成虚拟3D图像。 一旦这个过程完成，就将先前对准的3D点云数据重叠在虚拟3D图像上。得到的融合的3D图像提供场景的改进视觉化，并且允许对准质量的更好评估。现在参照附图在下文将更充分地描述本专利技术，在这些附图中，表示本专利技术的说明性实施例。然而，本专利技术可以按多种不同形式实施，并且不应该解释成限于这里叙述的实施例。例如，本专利技术可实施成方法、数据处理系统、或计算机程序产品。相应地，本专利技术可采取完全硬件实施、完全软件实施、硬件/软件实施的形式。本专利技术涉及一种用来评估对准过程的相关性能的方法，该对准过程涉及构成点云的三维(3D)图像数据和二维OD)图像数据。为了本专利技术的目的，2D图像数据和3D点云数据将被假定成已经借助于某种对准过程对准。各种对准过程在本领域中已知。相应地，不再详细地描述具体对准过程。本专利技术可在一个计算机系统中实现。可选择地，本专利技术可在几个互连的计算机系统中实现。适于执行这里描述的方法的任何种类的计算机系统或其它设备是适当的。硬件和软件的典型组合可能是通用计算机系统。通用计算机系统可具有计算机程序，该计算机程序可控制计算机系统，从而它执行这里描述的方法。本专利技术可采取在计算机可用存储介质(例如，硬盘或CD-ROM)上的计算机程序产品的形式。计算机可用存储介质可具有嵌在介质中的计算机可用程序代码。术语计算机程序产品，如这里使用的那样，是指一种装置，该装置包括能够实现这里描述的方法的实施的所有特征。在本上下文中计算机程序、本文档来自技高网...
【技术保护点】
１．一种组合２Ｄ图像与３Ｄ图像用于共同场景的改进可视化的方法，包括：分析所述２Ｄ图像，以识别在所述共同场景中多个区域的基于选中内容的特性；选择性地将与所述区域的基于内容的特性相对应的彩色地图标签赋予所述多个区域的每一个；按照所述彩色地图标签，选择性地将不同的彩色地图赋予所述３Ｄ图像的多个区域的每一个；通过基于所述３Ｄ图像中的地面轮廓将Ｚ值赋予所述２Ｄ图像中的像素，从所述２Ｄ图像形成虚拟３Ｄ图像；基于所需彩色地图，确定用于在虚拟３Ｄ图像中的点的颜色值；及通过重叠所述３Ｄ图像和所述虚拟３Ｄ图像，创建融合的图像。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：K·米尼尔，
申请(专利权)人：哈里公司，
类型：发明
国别省市：US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。