冰箱的物品拿放管理系统及冰箱技术方案

本发明专利技术提供一种能够实现物品拿放管理的精度提高的冰箱的物品拿放管理系统及冰箱。冰箱的物品拿放管理系统具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。

The management system and refrigerator of refrigerator

【技术实现步骤摘要】
冰箱的物品拿放管理系统及冰箱相关申请的参照：本申请享有2018年9月11日在先提交的日本特许申请号2018-169959的优先权利益。本申请通过参照该申请而包含其全部内容。
本专利技术的实施方式涉及冰箱的物品拿放管理系统及冰箱。
技术介绍
已知有通过规定算法进行物品拿放管理的冰箱。这样的物品拿放管理被期待进一步的精度提高。现有技术文献专利文献专利文献1：日本特开2015-81762号公报
技术实现思路
本专利技术要解决的课题在于提供一种能够实现物品拿放管理的精度提高的冰箱的物品拿放管理系统及冰箱。实施方式的冰箱的物品拿放管理系统具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。附图说明图1是表示第1实施方式的物品拿放管理系统的整体构成的图。图2是表示第1实施方式的冰箱的图。图3是表示第1实施方式的物品拿放管理系统的系统构成的框图。图4是示意性地表示第1实施方式的第1学习模型的图。图5是示意性地表示第1实施方式的第1学习模型中使用的神经网络的一部分的图。图6是表示第1实施方式的针对输入层的输入数据的一例的图。图7是表示第1实施方式的作为非正确数据的输入数据的一例的图。图8是表示第1实施方式的第2学习模型的教师数据的一例的图。图9是表示第1实施方式的物品拿放管理数据库的一例的图。图10是表示在第1实施方式的终端设备上显示的信息的一例的图。图11是表示在第1实施方式的终端设备上显示的信息的另一例的图。图12是表示第1实施方式的订正受理画面的一例的图。图13是表示第1实施方式的进行第1订正处理的情况下的显示画面的图。图14是表示第1实施方式的进行第2订正处理的情况下的显示画面的图。图15是表示第1实施方式的订正受理画面的另一例的图。图16是表示第1实施方式的物品拿放管理系统的执行阶段的处理流程的流程图。图17是表示第1实施方式的物品拿放管理系统的订正处理的流程的流程图。图18是示意性地表示第1实施方式的第1变形例的第1学习模型的图。图19是表示第2实施方式的物品拿放管理系统的整体构成的图。符号说明1、1A...物品拿放管理系统、100...冰箱、140...传感器(摄像机)、150...冰箱的显示装置，151...显示画面、200...终端设备、210...终端设备的显示装置、211...显示画面，300...服务器装置，320...检测部，330...选择部，370...订正受理部，410及410A...第1学习模型，420...第2学习模型。具体实施方式以下，参照附图对实施方式的冰箱的物品拿放管理系统及冰箱进行说明。在以下的说明中，对具有相同或类似的功能的构成标注相同的附图标记。并且，有时省略这些构成的重复说明。在本说明书中，“基于XX”是指“至少基于XX”，还包括除了XX之外还基于其他要素的情况。另外，“基于XX”并不限定于直接使用XX的情况，也包括基于对XX进行了运算及/或加工而得的结果的情况。“XX”是任意的要素(例如，任意的信息)。在本说明书中，将使学习模型进行学习的阶段称为“学习阶段”，将使用进行了学习的学习模型进行处理的阶段称为“执行阶段”。(第1实施方式)[1.整体构成]参照图1至图17对第1实施方式进行说明。首先，对物品拿放管理系统1的整体构成进行说明。图1表示物品拿放管理系统1的整体构成。物品拿放管理系统1例如包括设置于各家庭的冰箱100、冰箱100的用户使用的终端设备200、以及服务器装置300。服务器装置300例如是云服务器，能够经由网络NW与冰箱100及终端设备200进行通信。网络NW例如包括因特网、WAN(WideAreaNetwork)、各家庭内的LAN(LocalAreaNetwork)等。网络NW中的一部分或全部的通信也可以通过无线来实现。以下，对物品拿放管理系统1所包含的各装置进行详细说明。[2.冰箱]首先，对冰箱100进行说明。图2示出了本实施方式的冰箱100。图2中的(a)示出了冷藏室111A的门120打开的状态。图2中的(b)示出了冷藏室111A的门120关闭的状态。冰箱100例如具备冰箱主体110、多个门120、开闭检测开关130、多个传感器140、显示装置150、操作部160、无线发送部170及控制装置180。冰箱主体110由具有隔热性的机壳构成，在内部形成有多个储藏室111。储藏室111包括冷藏室111A、蔬菜室、制冰室、小冷冻室、主冷冻室等。冰箱主体110在各储藏室111的前面侧具有使得能够相对于各储藏室111拿放物品的开口部112。开口部112由1个以上门120关闭。开闭检测开关130例如设置在冰箱主体110与门120之间。开闭检测开关130在门120相对于储藏室111的开口部112被打开的情况下，检测为门120被打开。另外，开闭检测开关130在门120相对于储藏室111的开口部112被关闭的情况下，检测为门120被关闭。开闭检测开关130是“开闭检测单元”的一例。因此，以下的说明中的“开闭检测开关130”也可以替换为“开闭检测单元”。开闭检测单元不限于开闭检测开关130，也可以是摄像机等其他传感器。多个传感器140例如设置在储藏室111内，对储藏室111的样态进行传感检测。多个传感器140例如配置在开口部112的周边。传感器140例如是摄像机。因此，以下为了便于说明，将“传感器140”替换为“摄像机140”进行说明。“由摄像机拍摄到的图像”是“由传感器检测到的检测值”的一例。但是，传感器140并不限定于摄像机，也可以是红外线传感器或超声波传感器等其他种类的传感器。因此，以下的说明中的“由摄像机拍摄到的图像”能够分别替换为“由传感器取得的信息”及“由传感器检测到的检测值”。“由传感器检测到的检测值”例如是根据用户的手的位置(例如移动)及/或手的形状、姿势(例如指尖的展开方式及/或角度)等而包含不同的检测结果的检测值。另外，本申请中所说的“检测值”不限于1个值(例如，与1个位置对应的1个值)的情况，也包括多个值(例如，同时检测到的与多个位置对应的多个值)的情况等。在本实施方式中，摄像机140例如设置于储藏室111的顶面及/或侧面等，对经过开口部112的物品及/或用户的手等进行拍摄。摄像机140在通过开闭检测开关130检测到门120被打开的情况下开始拍摄，以规定的采样周期(1秒内5次等)进行拍摄。摄像机140在通过开闭检测开关130检测到门120被关闭的情况下结束拍摄。另外，摄像机140也可以是拍摄与开口部112不同的场所(例如门120的内侧门兜及/或设置于储藏室111的搁板)的摄像机。另外，摄像机140也可以相对于冰箱100仅设置1个。另外，以下为本文档来自技高网...

【技术保护点】
1.一种冰箱的物品拿放管理系统，其中，/n具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。/n

【技术特征摘要】
20180911 JP 2018-1699591.一种冰箱的物品拿放管理系统，其中，
具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。


2.如权利要求1所述的冰箱的物品拿放管理系统，其中，
所述第1学习模型学习成若被输入由所述传感器检测到的检测值则输出物品拿放的判定结果。


3.如权利要求2所述的冰箱的物品拿放管理系统，其中，
所述第1学习模型学习成反映按时间序列连续的2个以上检测值的输入而输出物品拿放的判定结果，
所述检测部通过将由所述传感器检测到的按时间序列连续的2个以上检测值输入到所述第1学习模型中来判定所述冰箱的物品拿放。


4.如权利要求1所述的冰箱的物品拿放管理系统，其中，
还具备信息生成部，
所述传感器是摄像机，
所述检测部使用学习成若被输入由所述摄像机拍摄到的图像则输出物品拿放的判定结果的所述第1学习模型来判定所述冰箱的物品拿放，
所述信息生成部生成在所述冰箱及所述冰箱的用户使用的终端设备中的至少一方的显示画面上将所述检测部的判定内容与由所述摄像机拍摄到的图像建立对应地进行显示的信息。


5.如权利要求4所述的冰箱的物品拿放管理系统，其中，
还具备订正受理部，在所述显示画面上显示的所述图像与所述检测部的判定内容之间的对应关系存在错误的情况下，该订正受理部基于用户对所述冰箱或所述终端设备的操作而受理所述错误的订正。


6.如权利要求5所述的冰箱的物品拿放管理系统，其中，
在与所述显示画面上显示的所述图像建立对应地显示的所述检测部的判定内容存在错误的情况下，所述订正受理部受理所述检测部的判定内容的订正。


7.如权利要求5所述的冰箱的物品拿放管理系统，其中，
还具备第1追加学习部，该第...

【专利技术属性】
技术研发人员：泷川正史，丸谷裕树，槙岛光希，
申请(专利权)人：东芝生活电器株式会社，
类型：发明
国别省市：日本;JP