【技术实现步骤摘要】
本专利技术涉及深度相机，具体地，涉及一种深度相机及扫地机器人。
技术介绍
1、随着智能家居技术的快速发展，扫地机器人已成为家庭清洁的重要设备之一。然而，现有的扫地机器人在识别地面脏污方面仍然存在一定的局限性，尤其是面对多种类型的地面脏污时，识别的准确性和处理的智能性都存在不足。常见的地面脏污包括液体和固体两大类，它们在视觉和物理特性上有很大差异，如何准确识别这些脏污类型并进行有效清理，是一个亟待解决的问题。
2、传统的扫地机器人通常依赖于简单的视觉算法或基础的传感器数据来识别脏污，这种方式在面对复杂的地面环境时，常常表现出较低的识别率和不稳定的性能。例如，透明或半透明的液体脏污(如水、油、牛奶等)和固体颗粒(如沙砾、碎纸片等)在视觉上有很大的不同，使用简单的图像处理方法难以同时有效识别和区分这些脏污类型。此外，传统的视觉算法和传感器难以计算出脏污区域的精确3d信息，不利于扫地机器人后续的slam、避障、清洁规划等任务。
3、为了提高地面脏污识别的智能性和准确性，需要一种更加准确和鲁棒的系统，能够利用多种类型的图像数据，结合深度学习算法，进行多模态的数据融合和智能识别。
4、以上
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
1、为此，本专利技术基于深度相机采集的
2、第一方面，本专利技术提供一种深度相机，其特征在于，包括：
3、投射器，用于投射散斑和泛光；
4、接收器，用于接收所述散斑的反射信号，生成散斑图；接收所述泛光的反射信号，生成ir图像；
5、rgb摄像头，用于获得rgb图像；
6、处理器，用于根据所述散斑图或所述ir图像生成深度图，根据所述rgb图像和/或所述深度图确定地面区域，将所述地面区域对应的所述rgb图像、所述ir图像和所述散斑图融合，并通过脏污分割算法检测，获得脏污范围。
7、可选地，所述的一种深度相机，其特征在于，所述处理器在处理时包括：
8、步骤s1：根据所述散斑图或所述ir图像生成深度图；
9、步骤s2：将所述rgb图像、所述深度图、所述ir图像和所述散斑图进行对齐；
10、步骤s3：根据所述深度图确定初始地面区域，在所述rgb图像上，对所述初始地面区域检测，确定最终地面区域；
11、步骤s4：将所述最终地面区域对应的将所述rgb图像、所述ir图像和所述散斑图融合，并通过脏污分割算法检测，获得脏污范围。
12、可选地，所述的一种深度相机，其特征在于，还包括：
13、步骤s5：将所述脏污范围与所述深度图融合，得到精确的所述脏污区域的3d信息。
14、可选地，所述的一种深度相机，其特征在于，还包括：
15、步骤s6：根据所述rgb图像、所述ir图像和所述散斑图，在所述最终地面区域进行脏污检测，得到检测框和分类结果。
16、可选地，所述的一种深度相机，其特征在于，步骤s3包括：
17、步骤s31：根据所述深度图底部的深度值确定初始地面区域；
18、步骤s32：获得所述rgb图像上的初始地面区域，并进行地面检测，确定最终地面区域。
19、可选地，所述的一种深度相机，其特征在于，步骤s3包括：
20、步骤s33：根据所述深度图底部的深度值确定初始地面区域；
21、步骤s34：提取所述rgb图像的初始地面区域得到下rgb图像，提取所述深度图的初始地面区域得到下深度图；
22、步骤s35：根据所述下rgb图像和所述下深度图进行深度重建，得到下部分点云；
23、步骤s36：根据所述点云进行平面拟合，判断平面的方向，得到地面区域。
24、可选地，所述的一种深度相机，其特征在于，步骤s4包括：
25、步骤s41：将所述rgb图像、所述ir图像和所述散斑图拼接成第一图像；
26、步骤s42：对所述第一图像提取特征，得到第一特征；
27、步骤s43：采用自注意力机制对所述第一特征进行处理，得到脏污范围。
28、可选地，所述的一种深度相机，其特征在于，步骤s4包括：
29、步骤s44：对所述rgb图像提取特征，得到第一特征图；对所述ir图像提取特征，得到第二特征图；对所述散斑图提取特征，得到第三特征图；其中，所述第一特征图、所述第二特征图和所述第三特征图均包含位置信息；
30、步骤s45：将所述第一特征图、所述第二特征图和所述第三特征图拼接得到第二特征；
31、步骤s46：采用自注意力机制对所述第二特征进行处理，得到脏污范围。
32、可选地，所述的一种深度相机，其特征在于，步骤s4包括：
33、步骤s47：对所述rgb图像提取特征，得到第一特征图；对所述ir图像提取特征，得到第二特征图；对所述散斑图提取特征，得到第三特征图；
34、步骤s48：将所述第一特征图、所述第二特征图和所述第三特征图融合得到第三特征；
35、步骤s49：采用自注意力机制对所述第三特征进行处理，得到脏污范围。
36、第二方面，本专利技术提供一种扫地机器人，其特征在于，包括上述任一项所述的一种深度相机。
37、与现有技术相比，本专利技术具有如下的有益效果：
38、本专利技术基于深度相机采集的rgb图像、ir图像、散斑图和深度图，利用深度学习算法对地面上的各种脏污进行智能识别和分类，能够有效识别液体和固体脏污的程度，并对其进行精确的分割和3d建模。
39、本专利技术能够基于多模态图像数据和深度学习算法，准确识别和分类地面上的各种脏污程度，并能计算出脏污区域的精确3d信息。本专利技术一方面能更加准确和鲁棒地识别和分类地面上各种脏污的程度，便于扫地机器人采取更加有效的清扫策略；另一方面能计算出脏污区域的精确3d信息，用于后续的slam、避障、清洁规划等任务。
40、本专利技术采用多种图像源(包括rgb图像、ir图像、散斑图和深度图)进行信息融合，以提高液体脏污目标的分割效果。与现有技术中仅使用rgb图像或ir图像的做法不同，本专利技术的多模态图像融合方法能够更全面地捕捉液体脏污的特征，从而克服单一图像源的局限性。
本文档来自技高网...【技术保护点】
1.一种深度相机，其特征在于，包括：
2.根据权利要求1所述的一种深度相机，其特征在于，所述处理器在处理时包括：
3.根据权利要求2所述的一种深度相机，其特征在于，还包括：
4.根据权利要求2所述的一种深度相机，其特征在于，还包括：
5.根据权利要求2所述的一种深度相机，其特征在于，步骤S3包括：
6.根据权利要求2所述的一种深度相机，其特征在于，步骤S3包括：
7.根据权利要求2所述的一种深度相机，其特征在于，步骤S4包括：
8.根据权利要求2所述的一种深度相机，其特征在于，步骤S4包括：
9.根据权利要求2所述的一种深度相机，其特征在于，步骤S4包括：
10.一种扫地机器人，其特征在于，包括权利要求1-9中任一项所述的一种深度相机。
【技术特征摘要】
1.一种深度相机，其特征在于，包括：
2.根据权利要求1所述的一种深度相机，其特征在于，所述处理器在处理时包括：
3.根据权利要求2所述的一种深度相机，其特征在于，还包括：
4.根据权利要求2所述的一种深度相机，其特征在于，还包括：
5.根据权利要求2所述的一种深度相机，其特征在于，步骤s3包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：曾曌，邵小飞，汪博，朱力，吕方璐，
申请(专利权)人：深圳市光鉴科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。