看护辅助系统及其控制方法、以及程序技术方案

在用于辅助床上的对象的看护的看护辅助系统中，区域设定部进行如下处理：获取由拍摄装置拍摄的区域设定用的图像，从所述区域设定用的图像中通过物体检测来确定床的大致位置，并通过从包含所述大致位置的局部范围中提取床的轮廓来确定床的区域。

Nursing Assistant System and Its Control Method and Procedure

【技术实现步骤摘要】
【国外来华专利技术】看护辅助系统及其控制方法、以及程序
本专利技术涉及用于辅助床上的对象的看护的技术。
技术介绍
为了预先防止从床上跌落的事故等，已知有医院及看护机构等中的辅助患者的看护的系统。专利文献1中提出有一种系统，使用设置于床的斜上方的摄像机的图像来检测患者的起床及离床的动作。这种系统中，以床的区域为基准判定患者的起床/离床。因此，需要预先在系统中设定(教示)用于定义图像内的床的区域的信息。但是，在大型医院那样床数较多的情况下，通过手动输入来设定床区域负担较大，成为系统的导入/设置的阻碍因素。而且，医院及看护机构等中的床的设置位置不限于固定，有时也进行移动，因此，在移动时通过手动输入设定床区域是非常麻烦的。因此，专利文献2中，提出了根据图像自动检测床区域的方法。现有技术文献专利文献专利文献1：日本特开2012-071003号公报专利文献2：日本特开2016-112040号公报
技术实现思路
专利技术所要解决的课题专利文献2提出的方法中，从图像中提取线型边缘，基于各线型边缘的长度及线型边缘彼此的交叉角度，锁定被认为是构成床的轮廓的线型边缘的组合。该方法对于床的轮廓清晰地出现，且床的轮廓以外的线型边缘较少的图像，能够期待精度良好的检测。但是，在被子被子覆盖床的轮廓的一部分那样的情况下，不能够提取构成床的轮廓的线型边缘的候选，而不能够精确地检测床区域。另外，在床罩或被子的花纹是直线型的纹理或在床的周围存在桌子或医疗器械等情况下，由于在床的轮廓以外还提取到多个线型边缘，因此床区域的检测精度可能显著降低。本专利技术是鉴于所述实际情况而完成的，其目的在于，提供一种技术，用于根据图像而高精度地检测床区域。用于解决课题的手段为了达成上述目的，本专利技术中采用如下方法，在从图像中通过物体检测而确定床的大致位置之后，从局部范围中确定床区域。具体而言，本专利技术的第一方式提供一种看护辅助系统，辅助床上的对象的看护，其特征在于，具有：图像取得部，其取得由拍摄装置拍摄的图像；区域设定部，其以床的区域为基准在图像内设定一个以上的判定区域；检测部，其从由所述图像取得部取得的所述图像中检测所述对象；判定部，其基于所述判定区域与检测到所述对象的位置的关系，判定所述对象的状态；输出部，其进行与所述判定部的判定结果相应的通知，所述区域设定部从所述图像取得部获取区域设定用的图像，从所述区域设定用的图像中通过物体检测而确定床的大致位置，并通过从包含所述大致位置的局部范围中提取床的轮廓来确定床的区域。根据该结构，能够自动进行床区域的检测及判定区域的设定，因此，系统的导入/设置作业变得简单，并且在移动了床或拍摄装置的情况下的设定变更也变得容易，系统的便利性提高。另外，作为床区域的检测算法，采用如下方法，在通过物体检测确定了床的大致位置之后，从局部范围中提取床的轮廓来确定床的区域，因此，与现有方法相比，能够提高床区域的检测精度以及成功率。优选所述区域设定部通过使用了对床的图像进行了机器学习的识别器的物体检测来确定床的大致位置。这是由于检测精度和鲁棒性优异。所述区域设定用的图像也可以是从床的斜上方俯视床的整体的图像。此时，也可以是所述识别器检测床的整体，所述区域设定部从包含由所述识别器检测的床整体的局部范围中检测梯形状的轮廓。或者，也可以是所述识别器检测床的拐角，所述区域设定部从包含由所述识别器检测的拐角的局部范围中，将以所述拐角为起点的线段作为床的轮廓进行检测。此外，本专利技术能够作为具有上述结构或功能的至少一部分的看护辅助系统或看护辅助系统中的床区域检测装置进行掌握。另外，本专利技术也能够作为包含上述处理的至少一部分的看护辅助方法、看护辅助系统的控制方法、或床区域检测方法、及用于使计算机执行这些方法的程序、或非临时性地记录这种程序的计算机可读取的记录介质进行掌握。上述结构及处理各自只要不产生技术上的矛盾，就能够相互组合并构成本专利技术。专利技术效果根据本专利技术，能够根据图像而高精度地检测床区域。附图说明图1是示意性地表示看护辅助系统的硬件结构及功能结构的框图；图2是表示拍摄装置的设置例的图；图3是第一实施方式的区域设定处理的流程图；图4A～图4D是区域设定处理的图像及判定区域的例子；图5是看护处理的流程图；图6是第二实施方式的区域设定处理的流程图；图7A～图7D是区域设定处理的图像及判定区域的例子。具体实施方式本专利技术涉及用于辅助床上的对象的看护的技术。该技术能够适用于在医院及看护机构等中自动检测患者或被护理者等的离床/起床行动，且在产生危险的状态的情况下等进行必要的通知的系统。该系统能够优选用于例如老年人、痴呆症患者、孩子等的看护辅助。以下，参照附图说明用于实施本专利技术的优选的形式的一例。但是，以下的实施方式所记载的装置的结构及动作是一例，并不意味着将本专利技术的范围限定于此。＜第一实施方式＞(系统结构)参照图1和图2，说明本专利技术的第一实施方式的看护辅助系统的结构。图1是示意性地表示看护辅助系统1的硬件结构及功能结构的框图，图2是表示拍摄装置的设置例的图。看护辅助系统1具有拍摄装置10和信息处理装置11作为主要的硬件结构。拍摄装置10与信息处理装置11之间通过有线或无线连接。图1中，仅表示有一个拍摄装置10，但也可以将多台拍摄装置10与信息处理装置11连接。拍摄装置10是用于拍摄床上的对象并输入图像数据的设备。作为拍摄装置10，能够使用黑白或彩色的可见光摄像机、红外线摄像机等。本实施方式中，为了即使在夜间(即使在房间内较暗的情况下)也能够看护对象，采用由红外线LED照明100和近红外线摄像机101构成的拍摄装置10。如图2所示，拍摄装置10以从床20的头侧上方朝向腿侧而俯视床20的整体的方式设置。拍摄装置10以规定的时间间隔(例如，10fps)进行拍摄，其图像数据依次输入于信息处理装置11。信息处理装置11是具备实时分析从拍摄装置10输入的图像数据，自动检测床20上的对象21的起床动作及离床动作，并在必要的情况下进行通知的功能的装置。作为具体的功能，信息处理装置11具有：图像取得部110、检测部111、判定部112、输出部113、区域设定部114、存储部115。本实施方式的信息处理装置11由具备CPU(处理器)、内存、存储器(HDD、SSD等)、输入设备(键盘、鼠标、触摸面板等)、输出设备(显示器、扬声器等)、通信接口等的通用计算机构成，上述的信息处理装置11的各功能通过CPU执行储存于存储器或内存的程序而实现。但是，信息处理装置11的结构不限于该例。例如，也可以利用多台计算机进行分布式计算，也可以通过云服务器执行上述功能的一部分，也可以利用ASIC或FPGA那样的电路执行上述功能的一部分。图像取得部110是取得由拍摄装置10拍摄的图像的功能。由图像取得部110输入的图像数据被临时存储于内存或存储器，并被提供给检测部111及判定部112的处理。检测部111是分析由图像取得部110取得的图像，并从该图像中检测看护对象21的规定部位(例如，头部、脸、上半身等)的功能。可以使用任何方法作为从图像中检测规定部位的方法。例如，能够优选采用使用了传统的Haar-like特征量或HoG特征量的识别器的方法及使用了近年来的FasterR-CNN的方法的物体检测算法。本实施方式的检测部111通过使用了Haar本文档来自技高网...

【技术保护点】
1.一种看护辅助系统，辅助床上的对象的看护，其特征在于，具有：图像取得部，其取得由拍摄装置拍摄的图像；区域设定部，其以床的区域为基准在图像内设定一个以上的判定区域；检测部，其从由所述图像取得部取得的所述图像中检测所述对象；判定部，其基于所述判定区域与检测到所述对象的位置的关系，判定所述对象的状态；以及输出部，其进行与所述判定部的判定结果相应的通知，所述区域设定部从所述图像取得部获取区域设定用的图像，所述区域设定部从所述区域设定用的图像中通过物体检测来确定床的大致位置，所述区域设定部通过从包含所述大致位置的局部范围中提取床的轮廓，从而确定床的区域。

【技术特征摘要】
【国外来华专利技术】2017.03.02 JP 2017-0393191.一种看护辅助系统，辅助床上的对象的看护，其特征在于，具有：图像取得部，其取得由拍摄装置拍摄的图像；区域设定部，其以床的区域为基准在图像内设定一个以上的判定区域；检测部，其从由所述图像取得部取得的所述图像中检测所述对象；判定部，其基于所述判定区域与检测到所述对象的位置的关系，判定所述对象的状态；以及输出部，其进行与所述判定部的判定结果相应的通知，所述区域设定部从所述图像取得部获取区域设定用的图像，所述区域设定部从所述区域设定用的图像中通过物体检测来确定床的大致位置，所述区域设定部通过从包含所述大致位置的局部范围中提取床的轮廓，从而确定床的区域。2.根据权利要求1所述的看护辅助系统，其特征在于，所述区域设定部通过使用了对床的图像进行了机器学习的识别器的物体检测来确定床的大致位置。3.根据权利要求2所述的看护辅助系统，其特征在于，所述区域设定用的图像是从床的斜上方俯视床的整体的图像，所述识别器检测床的整体，...

【专利技术属性】
技术研发人员：田中清明，松永纯平，高桥信二，村上达哉，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP