【技术实现步骤摘要】
本公开大体上涉及图像处理，并且更具体地涉及使用平面分割来执行对象扫描的技术和系统。
技术介绍
1、许多设备和系统允许通过产生场景的帧(还称作图像)和/或视频数据(包括多个帧)来捕捉场景。例如，相机或包括相机的计算设备(例如，诸如包括一个或多个相机的移动电话或智能电话的移动设备)可以捕捉场景的帧序列。图像和/或视频数据可以由此类设备和系统(例如，移动设备、ip相机等)捕捉和处理，并且可以被输出以供消耗(例如，显示在设备和/或其他设备上)。在一些情况下，图像和/或视频数据可以由此类设备和系统捕捉，并输出以供其他设备处理和/或消耗。
2、可以对帧或图像进行处理(例如，使用对象检测、辨识、分割等)以确定帧中存在的任何对象，这对于许多应用是有用的。例如，模型可以被确定用于表示帧中的对象，并且可以被用于促进各种系统的有效操作。此类应用和系统的示例包括增强现实(ar)、机器人、汽车和航空、三维场景理解、对象抓取、对象跟踪，以及许多其他应用和系统。
技术实现思路
1、在一些示例中，描述了用于处理一个或多个帧(或图像)并使用平面分割对(一个或多个)帧中的一个或多个对象执行对象扫描的技术和系统。例如，可以获得包括平面表面上的对象的帧(或多个帧)。使用平面分割的对象扫描技术可以应用于帧(或多个帧)以产生该帧(或多个帧)中的平面表面上的对象的三维模型。
2、根据至少一个说明性示例，提供一种产生一个或多个三维模型的方法。该方法包括：获得场景中对象的至少一个帧，其中对象的部分在至少一个
3、在另一示例中，提供一种用于产生一个或多个三维模型的装置，其包括被配置成存储一个或多个帧的存储器和耦合到该存储器的一个或多个处理器(例如，用电路实现)。该一个或多个处理器被配置成并且可以：获得场景中对象的至少一个帧，其中对象的部分在至少一个帧中位于平面上；在至少一个帧中检测平面；基于检测到的平面在至少一个帧中从平面分割该对象；基于从平面分割对象来产生该对象的三维(3d)模型；以及产生对应于位于平面上的对象的该部分的3d模型的部分的细化网格。
4、在另一示例中，提供一种非暂时性计算机可读介质，其上存储有指令这些指令在由一个或多个处理器执行时，使得一个或多个处理器：获得场景中对象的至少一个帧，其中对象的部分在至少一个帧中位于平面上；在至少一个帧中检测平面；基于检测到的平面在至少一个帧中从平面分割该对象；基于从平面分割对象来产生该对象的三维(3d)模型；以及产生与位于平面上的对象的该部分对应的3d模型的部分的细化网格。
5、在另一示例中，提供一种用于产生一个或多个三维模型的装置。该装置包括：用于获得场景中对象的至少一个帧的部件，其中对象的部分在至少一个帧中位于平面上；用于在至少一个帧中检测平面的部件；用于基于检测到的平面在至少一个帧中从平面分割该对象的部件；用于基于从平面分割对象来产生该对象的三维(3d)模型的部件；以及用于产生与位于平面上的对象的该部分对应的3d模型的部分的细化网格的部件。
6、在一些方面，至少一个帧包括场景中与至少一个帧的像素的深度对应的深度信息。
7、在一些方面，至少一个帧包括第一帧。在此类方面，上文所描述的方法、装置和计算机可读介质还包含：获得场景中对象的第二帧，其中对象的该部分在第二帧中位于平面上；从第一帧到第二帧跟踪该平面；基于跟踪该平面，在第二帧中从平面分割该对象；以及基于在第一帧和第二帧中从平面分割该对象来产生对象的3d模型。
8、在一些方面，从第一帧到第二帧跟踪平面包括跟踪该平面的姿态，并且其中基于第二帧中平面的跟踪的姿态来从该平面分割对象。
9、在一些方面，上文所描述的方法、装置和计算机可读介质还包含：确定从第二帧分割的对象的像素数量；确定该像素数量是在从第一帧分割的对象的阈值像素数量内；以及基于该像素数量是在从第一帧分割的对象的阈值像素数量内，确定在第二帧中从平面分割该对象是成功的。
10、在一些方面，至少一个帧包括第一帧。在此类方面，上文所描述的方法、装置和计算机可读介质还包含：获得场景中对象的第二帧，其中对象的该部分在第二帧中位于平面上；确定平面已被跟踪的帧的数量；以及基于平面已被跟踪的帧的数量来确定是对第二帧执行平面检测还是对象跟踪。
11、在一些方面，上文所描述的方法、装置和计算机可读介质还包含：基于确定平面已被跟踪的帧的数量满足跟踪阈值，基于第二帧中的平面检测来检测该平面。
12、在一些方面，上文所描述的方法、装置和计算机可读介质还包含：基于确定平面已被跟踪的帧的数量小于跟踪阈值，基于从第一帧到第二帧的对象跟踪来跟踪该平面。
13、在一些方面，至少一个帧包括第一帧。在此类方面，上文所描述的方法、装置和计算机可读介质还包含：获得场景中对象的第二帧，其中对象的该部分在第二帧中位于平面上；确定对象的平面分割失败的数量，当没有在帧中从平面分割对象时发生平面分割失败；以及基于确定对象的平面分割失败的数量满足失败阈值来在第二帧中检测平面。
14、在一些方面，产生用于对象的3d模型的部分的细化网格包括：产生用于对象的3d模型的该部分的初始网格；确定包括属于初始网格的单个三角形的初始网格的边的边界集；以及使用该边界集产生用于对象的3d模型的该部分的细化网格。
15、在一些方面，产生对象的3d模型包括：获得场景中对象的第一帧；在第一帧中从平面分割对象；产生第一帧中与对象相关联的点的第一3d网格；获得场景中对象的第二帧；在第二帧中从平面分割对象；产生第一帧中与对象相关联的点的第二3d网格；以及组合点的第一3d网格和点的第二3d网格。
16、在一些方面，该装置包含相机(例如，ip相机)、移动设备(例如，移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、个人计算机、膝上型计算机、服务器计算机或其他设备。在一些方面，该装置包括用于捕捉一个或多个帧或图像的相机或多个相机。在一些方面，该装置还包括用于显示一个或多个帧或图像、通知和/或其他可显示数据的显示器。
17、此
技术实现思路
并不意图标识所要求保护主题的关键或基本特征，也不意图单独用于确定所要求保护主题的范围。应该通过参考本专利的整个说明书的适当部分、任何或所有附图以及每一权利要求来理解主题。
18、参考以下说明书、权利要求和附图，前述内容以及其他特征和实施例将变得更加明显。
本文档来自技高网...【技术保护点】
1.一种用于生成一个或多个三维模型的装置，包括：
2.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：渲染所述细化3D模型以供显示；
3.根据权利要求2所述的装置，其中，所述至少一个处理器被配置为：基于所述用户输入修改所述细化3D模型以生成修改的3D模型；以及
4.根据权利要求1所述的装置，其中所述至少一个处理器被配置为：将纹理应用于所述细化3D模型。
5.根据权利要求4所述的装置，其中，所述至少一个处理器被配置为：
6.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
7.根据权利要求6所述的装置，其中，所述至少一个处理器被配置为：
8.根据权利要求7所述的装置，其中，为了生成所述细化3D模型，所述至少一个处理器被配置为：
9.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
10.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
11.根据权利要求10所述的装置，还包括被配置为显示所述细化3D模型的显示器。p>
12.根据权利要求11所述的装置，其中，所述装置是扩展现实设备。
13.根据权利要求12所述的装置，其中当所述细化3D模型由所述显示器显示时，现实世界环境通过所述扩展现实设备的显示器可见。
14.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
15.根据权利要求14所述的装置，其中，所述至少一个处理器被配置为基于所述场景的所述一个或多个图像帧中的至少两个图像帧之间的重叠量来确定所述至少一个关键帧。
16.根据权利要求14所述的装置，其中，为了确定所述至少一个关键帧，所述至少一个处理器被配置为：
17.一种生成一个或多个三维模型的方法，该方法包括：
18.根据权利要求17所述的方法，还包括：
19.根据权利要求18所述的方法，还包括：
20.根据权利要求17所述的方法，还包括：
21.根据权利要求20所述的方法，还包括：
22.根据权利要求17所述的方法，还包括：
23.根据权利要求22所述的方法，还包括：
24.根据权利要求23所述的方法，其中，生成所述细化3D模型包括：
25.根据权利要求17所述的方法，还包括：
26.根据权利要求17所述的方法，其中当所述细化3D模型由所述显示器显示时，现实世界环境通过所述扩展现实设备的显示器可见。
27.根据权利要求17所述的方法，还包括：
28.根据权利要求27所述的方法，其中，基于所述场景的所述一个或多个图像帧中的至少两个图像帧之间的重叠量来确定所述至少一个关键帧。
29.根据权利要求27所述的方法，其中，确定所述至少一个关键帧包括：
...【技术特征摘要】
1.一种用于生成一个或多个三维模型的装置，包括：
2.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：渲染所述细化3d模型以供显示；
3.根据权利要求2所述的装置，其中，所述至少一个处理器被配置为：基于所述用户输入修改所述细化3d模型以生成修改的3d模型；以及
4.根据权利要求1所述的装置，其中所述至少一个处理器被配置为：将纹理应用于所述细化3d模型。
5.根据权利要求4所述的装置，其中，所述至少一个处理器被配置为：
6.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
7.根据权利要求6所述的装置，其中，所述至少一个处理器被配置为：
8.根据权利要求7所述的装置，其中，为了生成所述细化3d模型，所述至少一个处理器被配置为：
9.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
10.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为：
11.根据权利要求10所述的装置，还包括被配置为显示所述细化3d模型的显示器。
12.根据权利要求11所述的装置，其中，所述装置是扩展现实设备。
13.根据权利要求12所述的装置，其中当所述细化3d模型由所述显示器显示时，现实世界环境通过所述扩展现实设备的显示器可见。
14.根据权利要求1所述的装置，其中，所述...
【专利技术属性】
技术研发人员：成可立，KM·黄，M·A·萨基斯，G·赖特迈尔，N·毕，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。