用于建议对象放置的系统和方法技术方案

用于提供视觉辅助的放置建议的系统和方法包括：获得构造成使对象保持在腔室内的架子的图像，多个对象在架子上的放置遵循预设约束，预设约束对应于多个对象中的相应对象的特征，该特征与架子上的相应位置的物理参数相关；分析图像，以确定对象在架子上的放置是否违反预设约束；以及根据对违反至少一个预设约束的确定，生成第一输出，第一输出提供遵守一个或多个预设约束而将第一对象正确地放置在架子上的指导，第一输出根据第一对象的物理特征且考虑已放置在架子上的其它对象而生成，物理特征与架子上的相应位置的物理参数相关。理特征与架子上的相应位置的物理参数相关。理特征与架子上的相应位置的物理参数相关。

【技术实现步骤摘要】
【国外来华专利技术】用于建议对象放置的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年11月4日提交的第16/673,831号美国申请的权益，该美国申请的公开内容通过整体引用并入本文中。


[0003]本公开涉及对象放置建议的领域，尤其涉及用于自动提供在家用电器(例如，洗碗机)中优化放置具有预设约束的对象的建议的系统和方法。

技术介绍

[0004]传统的家用电器，例如洗碗机，依赖于用户手动装载餐具。然而，用户很少注意与待清洗的产品相关联的说明或者在洗碗机的说明书上列出的装载餐具的说明。事实上，将餐具装载到洗碗机中的方式可以在清洗质量、资源消耗(水、能源、肥皂等)和时间消耗方面显著影响清洗过程的性能。有时，不合适的装载，例如将餐具装载到错误的架子上(例如，在顶部或底部)、装载在架子上的错误位置、朝向错误的方向，和/或将对洗碗机不安全的对象装载到洗碗机中，可导致餐具损坏，甚至导致洗碗机发生故障。例如，不当装载可堵塞排水系统，或导致零件在干燥过程中熔化，从而影响洗碗机的使用寿命。因此，这些传统的家用电器要求用户阅读、理解和实际运用知识，和/或获得与如何正确地将餐具装载到洗碗机中相关的重要经验。即使用户愿意查看洗碗机说明书或其它在线资源(例如，直观地演示如何装载洗碗机的图像或视频)以学习如何正确地装载洗碗机，用户在查看说明书或在线资源的同时握持和装载餐具，也不太方便。这样的过程可能不直观、繁琐和中断，使用户感到沮丧，努力转变并遵循从另一媒介演示的装载方案，以装载位于真实的厨房空间中的洗碗机。
[0005]出于这些原因，需要改进的方法和系统，来帮助用户将餐具装载到洗碗机的架子上，并提供关于这种装载过程的建议和指导。

技术实现思路

[0006]因此，需要一种方法和系统来帮助用户正确且有效地将餐具装载到洗碗机中，例如，通过视觉辅助建议系统来帮助用户正确且有效地将餐具装载到洗碗机中，该系统提供与正确的洗碗机装载相关的直观且方便的视觉或音频指导和/或建议。
[0007]下面描述的实施方式提供用于向用户提供视觉辅助的帮助的系统和方法，以正确地将餐具装载到洗碗机中。该视觉辅助的帮助使用安装在洗碗机上的一个或多个内置相机和/或用户的移动设备上的一个或多个相机来采集洗碗机腔室的视频和/或图像。不需要任何用户输入来启动图像采集过程或请求将餐具装载到洗碗机中的建议或指导，可响应各种触发事件来启动相机，触发事件例如当系统检测到用户打开洗碗机门时(例如，表明用户将要在洗碗机中的架子上装载餐具)，当系统检测到用户将架子推回(例如，表明用户已完成装载餐具且即将开始清洗过程)和/或系统(例如，用户的移动设备)检测到用户在用户的移动设备上启动应用程序时。
[0008]在采集图像之后，放置建议系统自动开始分析图像，以识别餐具的一个或多个特征(例如尺寸、形状、方向和/或材料)，并生成与如何正确地装载餐具和/或如何纠正架子上的一个或多个现有餐具的不当装载相关的建议和/或指导。该建议和/或指导可通过视觉输出(例如，在洗碗机上和/或在用户的移动设备显示屏上显示)、音频输出(例如，洗碗机上的扬声器和/或用户的移动设备的扬声器)和/或洗碗机中的其它更直观和交互的视觉提示(例如，向架子上的优化位置闪烁激光以引导用户将餐具放置在这样的位置上)来提供。因此，不需要额外的用户输入来指示放置建议系统开始执行图像分析并运行如本文所讨论的各种算法，以开始执行图像分析并运行如本文所讨论的各种算法以生成建议。这种视觉辅助的放置建议可有效且高效地引导用户将餐具正确地装载到洗碗机中，从而避免由于餐具放置不当而损坏餐具和/或洗碗机。
[0009]此外，如本文所讨论的建议过程可能不需要用户的手与洗碗机或移动电话之间的任何直接交互(例如，相机由特定触发事件触发，且在采集一个或多个图像之后自动开始建议分析)。这在用户的手被餐具占据、因脏的餐具而变得油腻、或不方便与洗碗机或移动电话交互时比较方便。例如，用户可能需要在他或她的手中握持餐具时，或者在用户的手因脏的餐具而变得油腻时，或者在用户可能在进行多重任务、查看他或她的电话或看电视且最小程度地注意将餐具装载到洗碗机中时加载建议。本文讨论的建议系统可以在相机采集图像之后自动开始分析和建议过程，而不需要任何额外的用户输入。在一些实施方式中，相机采集功能和/或建议过程的启动还可通过用户的语音输入来控制，从而将用户的手从这样的任务中完全解放出来。
[0010]如本文所公开的，在一些实施方式中，在设备(例如洗碗机或移动电话)中执行提供视觉辅助的放置建议的方法，该设备具有相机和一个或多个输出设备、一个或多个处理器和存储器。该方法包括：在对腔室内的多个对象执行预设操作时，获得构造成使多个对象保持在原位的架子的一个或多个图像，其中，多个对象在架子上的放置遵循一个或多个预设约束，一个或多个预设约束对应于多个对象中的相应对象的一个或多个特征，一个或多个特征与在预设操作期间架子放置在腔室内时，架子上的相应位置的一个或多个物理参数相关；分析一个或多个图像，以确定一个或多个对象在架子上的放置是否违反一个或多个预设约束；以及根据对至少第一对象在架子上的相应放置违反一个或多个预设约束中的至少一个预设约束的确定，生成第一输出，第一输出提供遵守一个或多个预设约束而将第一对象正确地放置在架子上的指导，其中，第一输出由设备根据第一对象的一个或多个物理特征且考虑已放置在架子上的一个或多个其它对象而生成，一个或多个物理特征与架子上的相应位置的一个或多个物理参数相关。
[0011]在一些实施方式中，在设备(例如洗碗机或移动电话)中执行方法，该设备具有相机、一个或多个输出设备、一个或多个处理器和存储器。该方法包括：检测触发事件，触发事件用于启动相机以采集机器的腔室内的安装架的一个或多个图像。在一些实施方式中，安装架构造成根据一个或多个预设约束(例如，特定类型的餐具将放置在洗碗机的顶部或底部架子上，或者由特定材料制成的餐具对洗碗机不安全，因此不应放置在洗碗机中，或者特定形状和/或尺寸的餐具应在洗碗机中放置在架子上的被设计成适合相应尺寸和/或形状的餐具的位置处)，使一个或多个对象保持在安装架上的一个或多个位置处。在一些实施方式中，机器还包括前门，当前门关闭时，前门使安装架和腔室与机器的外部隔离。在一些实
施方式中，触发事件包括以下一个或多个事件：打开机器的前门；将安装架从延伸位置推回到腔室内的缩回位置；或者检测到用户从在显示器上在图形用户界面中显示的多个机器型号的列表中对机器型号的选择。在一些实施方式中，响应于触发事件，该方法还包括：启动设备上的相机并采集安装架的一个或多个图像。在一些实施方式中，当安装架延伸出去时和/或当安装架被推回到腔室中时，启动相机。在一些实施方式中，该方法还包括：基于由相机采集的一个或多个图像来检测对象的一个或多个特征，其中一个或多个特征用于根据预设约束来确定位置和方向，以将对象放置在安装架上。在一些实施方式中，对象的特征包括形状、尺寸、材料、方向等。在一些实施方式中，在将对象放置在安装架上之前，由用户握持对象；或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在对腔室内的多个对象执行预设操作时，获得构造成使所述多个对象保持在原位的架子的一个或多个图像，其中，所述多个对象在所述架子上的放置遵循一个或多个预设约束，所述一个或多个预设约束对应于所述多个对象中的相应对象的一个或多个特征，所述一个或多个特征与在所述预设操作期间所述架子放置在所述腔室内时，所述架子上的相应位置的一个或多个物理参数相关；分析所述一个或多个图像，以确定一个或多个对象在所述架子上的放置是否违反所述一个或多个预设约束；以及根据对至少第一对象在所述架子上的相应放置违反所述一个或多个预设约束中的至少一个预设约束的确定，生成第一输出，所述第一输出提供遵守所述一个或多个预设约束而将所述第一对象正确地放置在所述架子上的指导，其中，所述第一输出由设备根据所述第一对象的一个或多个特征且考虑已放置在所述架子上的一个或多个其它对象而生成，所述一个或多个特征与所述架子上的相应位置的一个或多个物理参数相关。2.根据权利要求1所述的方法，其中，所述架子是洗碗机的一部分，当所述架子插入到所述洗碗机中时，所述洗碗机对所述多个对象执行预设餐具清洗操作，并且其中，所述一个或多个预设约束包括由所述洗碗机的喷洒器在所述腔室内的位置强加的第一约束。3.根据权利要求2所述的方法，其中，所述一个或多个预设约束包括由在执行所述预设操作期间所述腔室内的温度分布强加的第二约束。4.根据权利要求1所述的方法，其中，所述一个或多个预设约束包括由之前装载的对象以相对于所述架子的预设部分面向第一方向的方式存在而强加的第三约束。5.根据权利要求1所述的方法，其中，所述一个或多个预设约束包括第四约束，所述第四约束防止相应对象的凹面在所述腔室中面朝上。6.根据权利要求1所述的方法，其中，所述设备为包括相机的洗碗机。7.根据权利要求1所述的方法，其中，所述设备为移动设备，所述移动设备具有用于选择对应于所述架子的型号标识符的用户界面，且所述设备根据用户通过所述用户界面选择的第一型号标识符来检索所述一个或多个预设约束中的至少一些预设约束。8.根据权利要求1所述的方法，其中，响应于检测到所述腔室打开，执行：在对腔室内...

【专利技术属性】
技术研发人员：何清，陈翼，田云珂，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：