交互遮挡过滤系统和方法技术方案

本发明专利技术提供一种交互遮挡过滤系统和方法，所述系统包括：图像信息采集单元，用于采集当前场景的图像信息；深度信息采集单元，用于采集当前场景的深度信息；过滤单元，用于设定图像信息采集单元和深度信息采集单元之间的坐标转换关系，识别深度信息中进行动态交互的部位的三维轮廓，根据坐标转换关系将三维轮廓转换成图像轮廓，在图像信息中过滤图像轮廓内的图像以生成稳定图像信息。其中，图像信息采集单元的采集范围不小于深度信息采集单元。本发明专利技术实现了过滤图像中的动态交互部位所造成的遮挡，在避免增强现实算法因大面积遮挡而失败的同时提高了姿态估计的准确性，同时无需因反复迭代图像进行大量图像计算，具有适用范围广的优点。

【技术实现步骤摘要】

本申请涉及增强现实
，具体涉及一种交互遮挡过滤系统和方法。
技术介绍
增强现实(AugmentedReality，简称AR)是通过运动相机或可穿戴显示装置的实时连续标定，将三维虚拟对象稳定一致地投影到用户视口中,达到“实中有虚”的表现效果。因此AR除了要求解决显示技术(例如全息投影、透明显示等)的问题之外，还需要注重于感知技术，即位置追踪技术。因为，AR只有通过感知周围现实世界，才能获知虚拟图像应当叠加到现实世界的哪个具体位置。目前通常采用即时定位与地图构建算法(SimultaneousLocalizationAndMapping，简称SLAM)解决这一类问题。交互技术是增强现实系统中与显示技术和感知技术密切相关的技术，满足了人们在虚拟和现实世界自然交互的愿望。在早期的AR研究中，研究重点主要集中于跟踪、注册和显示，只是简单地将虚拟物体叠加在真实场景内，并通过显示设备观看虚实效果，没有太多与外界的交互。但是随着计算机性能的提高，显示设备的微型化、便携化，仅进行“显示”的增强场景不再能满足用户的需求，从而促使多种交互技术在AR系统中应用发展，如利用语音识别技术、手势和人体姿态识别技术进行交互等。手在人类生活中具有极其重要的地位，被用来认识、了解、改造周围的环境。如果能直接使用手与虚拟世界或增强的现实世界进行交互，将日常生活中获得的经验直接运用到交互活动中，则可以充分提高可操作性，并完成更复杂的任务，手势识别交互就由此诞生，基于手势的交互技术在交互过程的具有自然、灵巧和适应性强等优点。增强现实技术本身作为一种新型的人机交互接口，基于手势识别的人机交互可为增强现实系统带来更广泛的应用。但是在一个完整的增强系统中，实时的手势交互乃至于人体姿态等不同部位的交互必然会对位置追踪带来干扰。以手势为例：手势的交互会导致动态场景的产生，使得增强现实中获取的场景图像产生动态变化，进而影响了增强现实中姿态的准确估计；同时，当前主流增强现实设备(inside-out方式)以头戴式为主，因此在实现AR的过程中进行手势交互时，由于手部距头部太近而容易导致出现大面积遮挡，进而导致基于视觉的增强现实算法失败；此外，当前虽然已有一些动态场景的分割算法，但都需要在获取的图像中进行反复的迭代，以消除手势等动态场景对跟踪的稳定性影响，该类反复迭代的算法需要进行大量的图像计算，超出了当前移动端的实时处理能力。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种无需反复迭代图像即可过滤图像中的动态交互部位所造成遮挡的交互遮挡过滤系统和方法。第一方面，本专利技术提供一种交互遮挡过滤系统，所述系统包括：图像信息采集单元，用于采集当前场景的图像信息；深度信息采集单元，用于采集当前场景的深度信息；过滤单元，用于设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。第二方面，本专利技术提供一种包括上述交互遮挡过滤系统的增强现实系统，所述增强现实系统以所述稳定图像信息作为图像输入源，根据所述图像输入源进行特征检测和姿态估计跟踪。第三方面，本专利技术提供一种交互遮挡过滤方法，所述方法包括：设定图像信息采集单元和深度信息采集单元之间的坐标转换关系；所述图像信息采集单元和所述深度信息采集单元分别采集当前场景的图像信息和深度信息；识别所述深度信息中进行动态交互的部位的三维轮廓；根据所述坐标转换关系将所述三维轮廓转换成图像轮廓；在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。本专利技术诸多实施例提供的交互遮挡过滤系统和方法通过设定图像信息采集单元和深度信息采集单元之间的坐标转换关系，将深度信息中所识别出的三维轮廓转换成图像轮廓，再在图像信息中过滤图像轮廓内的图像以生成稳定图像信息，实现了过滤图像中的动态交互部位所造成的遮挡，在避免增强现实算法因大面积遮挡而失败的同时提高了姿态估计的准确性，同时还因无需反复迭代图像而无需进行大量图像计算，未超出当前主流移动端的实时处理能力，具有适用范围广的优点。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为本专利技术一实施例中交互遮挡过滤系统的结构示意图。图2为本专利技术一实施例中交互遮挡过滤方法的流程图。图3为图1所示系统的一种优选实施方式的结构示意图。图4为图3所示系统的一种优选实施方式的结构示意图。图5为图2所示方法中步骤S10的流程图。图6为图5所示步骤S10的一种优选实施方式的流程图。图7为图2所示方法中步骤S50的流程图。图8为图2所示方法中步骤S70的流程图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1为本专利技术一实施例中交互遮挡过滤系统的结构示意图。如图1所示，在本实施例中，本专利技术提供的交互遮挡过滤系统包括图像信息采集单元10、深度信息采集单元30和过滤单元50。其中，图像信息采集单元10用于采集当前场景的图像信息，深度信息采集单元30用于采集当前场景的深度信息。过滤单元50用于设定图像信息采集单元10和深度信息采集单元30之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。其中，图像信息采集单元10的采集范围不小于深度信息采集单元30。图2为本专利技术一实施例中交互遮挡过滤方法的流程图。图2所示的交互遮挡过滤方法可对应应用于图1所示的系统中。如图2所示，在本实施例中，本专利技术提供的交互遮挡过滤方法包括：S10：设定图像信息采集单元和深度信息采集单元之间的坐标转换关系；S30：所述图像信息采集单元和所述深度信息采集单元分别采集当前场景的图像信息和深度信息；S50：识别所述深度信息中进行动态交互的部位的三维轮廓；S70：根据所述坐标转换关系将所述三维轮廓转换成图像轮廓；S90：在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息。其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。具体地，在本实施例中，所述进行动态交互的部位为手部，即通过手势进行动态交互。在更多实施例中，可根据实际需求在过滤单元50中预存不同部位乃至部件的识别知识，以对不同的进行动态交互的部位乃至部件进行识别，具有相同的技术效果。在步骤S10中，过滤单元50分别设定定义于图像信息采集单元10的采集视点的第一坐标系，和定义于深度信息采集单元30采集视点的第二坐标系，再根据预存或实时校准的图像信息采集单元10和深度信息采集单元30的各项参数设定第一坐标系和第二坐标系之间本文档来自技高网...

【技术保护点】
一种交互遮挡过滤系统，其特征在于，所述系统包括：图像信息采集单元，用于采集当前场景的图像信息；深度信息采集单元，用于采集当前场景的深度信息；过滤单元，用于设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息；其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。

【技术特征摘要】
1.一种交互遮挡过滤系统，其特征在于，所述系统包括：图像信息采集单元，用于采集当前场景的图像信息；深度信息采集单元，用于采集当前场景的深度信息；过滤单元，用于设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系，识别所述深度信息中进行动态交互的部位的三维轮廓，根据所述坐标转换关系将所述三维轮廓转换成图像轮廓，在所述图像信息中过滤所述图像轮廓内的图像以生成稳定图像信息；其中，所述图像信息采集单元的采集范围不小于所述深度信息采集单元。2.根据权利要求1所述的交互遮挡过滤系统，其特征在于，所述图像信息采集单元包括：图像采集装置；图像传感器，分别与所述图像采集装置、所述过滤单元连接；所述深度信息采集单元包括：红外采集装置；深度传感器，分别与所述红外采集装置、所述过滤单元连接。3.根据权利要求2所述的交互遮挡过滤系统，其特征在于，所述红外采集装置包括两个双目红外相机；所述图像采集装置包括一个相机，所述相机位于所述两个双目红外相机之间。4.根据权利要求2或3所述的交互遮挡过滤系统，其特征在于，所述设定所述图像信息采集单元和所述深度信息采集单元之间的坐标转换关系包括：标定所述红外采集装置的内外参数，并设定定义于所述红外采集装置的第一坐标系；标定所述图像采集装置的内参数，并设定定义于所述图像采集装置的第二坐标系；通过棋盘格标定板，确定所述图像采集装置和所述红外采集装置之间的位置关系；其中，所述位置关系包括旋转关系和平移关系。5.根据权利要求4所述的交互遮挡过滤系统，其特征在于，所述识别所述深度信息中进行动态交互的部位的三维轮廓包括：根据预设的距离先验知识和所述部位的特征识别所述深度信息中的所述部位；分别计算所述部位的各三维轮廓点在所述第一坐标系下的第一三维坐标，以确定由各三维轮廓点组成的三维轮廓。6.根据权利要求5所述的交互遮挡过滤系统，其特征在于，所述根据所述坐标转换关系将所述三维轮廓转换成图像轮廓包括：根据所述位置关系分别将各所述三维轮廓点的第一三维坐标转换为在所述第二坐标系下的第二三维坐标；根据所述图像采集装置的内参数分别将各所述第二三维坐标转换为投影至所述图像采集装置的成像平面的第三坐标，以确定由各所述第三坐标组成的图像轮廓。7.一种包括权利要求1-6任一项所述交互遮挡过滤系统的增强现实系统，其特征在于，所述增强现实系统以所述稳定图像信息作为图像输入源，根据所述图像输入源进行特征检测和姿...

【专利技术属性】
技术研发人员：邓欢军，方维，李根，乔羽，张明，古鉴，
申请(专利权)人：北京暴风魔镜科技有限公司，
类型：发明
国别省市：北京;11