基于机器视觉的移动控制方法、装置及系统制造方法及图纸

本发明专利技术实施例提供了基于机器视觉的移动控制方法、装置及系统，所述移动控制方法应用于控制智能购物车跟随预设的跟踪目标进行移动，所述智能购物车上具有摄像设备，所述方法包括：通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的预设的搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态。应用本发明专利技术实施例能够使智能购物车自动跟随跟踪目标行驶。

Mobile control method, device and system based on machine vision

The embodiment of the invention provides a mobile control method, device and system based on machine vision, the mobile control method is applied to the control of intelligent shopping cart follow the preset target tracking for mobile, the smart shopping cart with camera equipment, the method comprises: acquiring the scene image of the target image by the camera device among them, the target tracking; in the scene in the image corresponding to the target image; according to the size and location of the target image, in the image scene determined including the location and size of the target image of the default search box; when the target image suddenly disappear or incomplete display when adjusting the size of the search box, and use the default prediction Calman algorithm for the location of the search box; according to the adjusted size and the predicted position The movement state of the intelligent shopping cart is controlled. With the embodiment of the invention, the intelligent shopping vehicle can automatically follow the tracking target.

【技术实现步骤摘要】
基于机器视觉的移动控制方法、装置及系统
本专利技术涉及智能控制领域，特别是涉及基于机器视觉的移动控制方法、装置及系统。
技术介绍
随着生活水平的提高，人们的物质生活越来越丰富，但是在超市购物时，经常会出现由于抱孩子等特殊情况而不便于用手推购物车而造成的尴尬场景，为此，智能购物车技术应运而生，智能购物车能够自行移动，解放了人们的双手。但目前市场上的智能购物车无法实现自动跟随购物者行驶的效果，在一定程度上给购物者的使用带来不便
技术实现思路
本专利技术实施例的目的在于提供基于机器视觉的移动控制方法、装置及系统，以使智能购物车能够自动跟随顾客行驶。具体技术方案如下：本专利技术的一种实施例提供了一种移动控制方法，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述智能购物车上具有摄像设备，所述方法包括：通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的预设的搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态。本专利技术的又一种实施例提供了一种移动控制装置，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述智能购物车上具有摄像头，所述装置包括：获取单元，用于通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像；确定单元，用于根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的预设的搜索框的位置和尺寸；调整和预测单元，用于当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；控制单元，用于根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态。本专利技术的另一种实施例提供了一种移动控制系统，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述系统包括：摄像头，用于获取包含待确认目标图像的场景图像；其中，所述待确认目标图像在实际场景中对应待确认跟踪目标；处理器，用于使用预设的图像腐蚀算法，在所述场景图像中确定包含所述待确认目标图像的搜索框的位置；根据所述搜索框的预设尺寸和位置，判断所述搜索框中的所述待确认目标图像与所述跟踪目标是否匹配；当所述待确认目标图像与所述跟踪目标匹配成功时，确定所述待确认目标图像对应的所述待确认跟踪目标为所述跟踪目标，并且确定所述待确认目标图像为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的所述搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据调整后的所述搜索框的尺寸，确定所述智能购物车与所述跟踪目标之间的实际距离；以及根据所述搜索框的预测位置，确定所述智能购物车与所述跟踪目标之间的轨迹偏角；当所述实际距离超过预设第一阈值时，下发控制所述智能购物车根据所述实际距离向前移动的指令；当所述轨迹偏角超过预设第二阈值时，下发控制所述智能购物车进行转弯移动的指令；接口，用于根据所述指令，确定所述智能控制车的车速和/或转弯角度；驱动器，用于根据所述智能控制车的车速和/或转弯角度，驱动电机使所述智能购物车向前移动和/或转弯移动；电源，用于为所述摄像头、所述处理器、所述接口和所述驱动器提供电能；其中，所述摄像头、所述处理器、所述接口、所述驱动器和所述电源均安装在所述智能购物车上；所述摄像头将获取到的所述场景图像传给所述处理器；所述处理器接收来自所述摄像头的所述场景图像，根据所述场景图像，确定控制所述智能购物车根据实际距离向前移动的指令和/或控制智能购物车进行转弯移动的指令，再将所述指令传给所述接口；所述接口接收来自所述处理器的所述指令，根据所述指令确定智能控制车的车速和/或转弯角度，并将所述智能控制车的车速和/或转弯角度传给所述驱动器；所述驱动器接收来自所述接口的所述智能控制车的车速和/或转弯角度，根据所述车速和/或转弯角度控制所述智能购物车的移动。本专利技术的再一种实施例提供了一种智能购物系统，应用于控制智能购物车跟随预设的跟踪目标进行移动，并通过手机客户端对待购买商品进行付款，所述系统包括：摄像头，用于获取包含待确认目标图像的场景图像；其中，所述待确认目标图像在实际场景中对应待确认跟踪目标；处理器，用于使用预设的图像腐蚀算法，在所述场景图像中确定包含所述待确认目标图像的搜索框的位置；根据所述搜索框的预设尺寸和位置，判断所述搜索框中的所述待确认目标图像与所述跟踪目标是否匹配；当所述待确认目标图像与所述跟踪目标匹配成功时，确定所述待确认目标图像对应的所述待确认跟踪目标为所述跟踪目标，并且确定所述待确认目标图像为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的所述搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据调整后的所述搜索框的尺寸，确定所述智能购物车与所述跟踪目标之间的实际距离；以及根据所述搜索框的预测位置，确定所述智能购物车与所述跟踪目标之间的轨迹偏角；当所述实际距离超过预设第一阈值时，下发控制所述智能购物车根据所述实际距离向前移动的指令；当所述轨迹偏角超过预设第二阈值时，下发控制所述智能购物车进行转弯移动的指令；接口，用于根据所述指令，确定所述智能控制车的车速和/或转弯角度；驱动器，用于根据所述智能控制车的车速和/或转弯角度，驱动电机使所述智能购物车向前移动和/或转弯移动；电源，用于为所述摄像头、所述处理器、所述接口和所述驱动器提供电能；云端数据库，用于存储超市中所有商品对应的商品信息；商品信息读写器，用于通过射频识别(RadioFrequencyIdentification，RFID)读写器将读取待购买商品的RFID标签；手机客户端，用于根据已确定的所述待购买商品对应的商品信息，通过快捷支付方式进行付款；云端服务器，用于连接所述云端数据库、商品信息读写器和手机客户端；其中，所述摄像头、所述处理器、所述接口、所述驱动器、所述电源和所述商品信息读写器均安装在所述智能购物车上；所述摄像头将获取到的所述场景图像传给所述处理器；所述处理器接收来自所述摄像头的所述场景图像，根据所述场景图像，确定控制所述智能购物车根据实际距离向前移动的指令和/或控制智能购物车根据轨迹偏角转弯移动的指令，再将所述指令传给所述接口；所述接口接收来自所述处理器的所述指令，根据所述指令确定智能控制车的车速和/或转弯角度，并将所述智能控制车的车速和/或转弯角度传给所述驱动器；所述驱动器接收来自所述接口的所述智能控制车的车速和/或转弯角度，根据所述车速和/或转弯角度控制所述智能购物车的移动；当待购买的商品已经被放置在所述智能购物车上并准备支付时，商品信息读写器通过RFID读写器读取待购买商品的RFID标签，获取所述待购买商品对应的产品电子码(ElectronicProductCode，EPC)，并将所述EPC码发送到所述云端服务器；所述云端服务器接收本文档来自技高网...

【技术保护点】
一种移动控制方法，其特征在于，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述智能购物车上具有摄像设备，所述方法包括：通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的预设的搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态。

【技术特征摘要】
1.一种移动控制方法，其特征在于，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述智能购物车上具有摄像设备，所述方法包括：通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的预设的搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态。2.根据权利要求1所述方法，其特征在于，所述通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像的步骤，包括：通过所述摄像设备获取包含待确认目标图像的场景图像；其中，所述待确认目标图像在实际场景中对应待确认跟踪目标；使用预设的图像腐蚀算法，在所述场景图像中确定包含所述待确认目标图像的预设的搜索框的位置；根据所述搜索框的所述位置，判断所述搜索框中的所述待确认目标图像与所述跟踪目标是否匹配；当所述待确认目标图像与所述跟踪目标匹配成功时，确定所述待确认目标图像对应的所述待确认跟踪目标为所述跟踪目标，并且确定所述待确认目标图像为目标图像。3.根据权利要求2所述方法，其特征在于，所述通过所述摄像设备获取包含待确认目标图像的场景图像的步骤，包括：初始化所述搜索框的位置和尺寸；通过摄像设备获取包含待确认目标图像的场景图像，并将所述场景图像转化为色相、饱和度和亮度颜色模型。4.根据权利要求1所述方法，其特征在于，所述当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置的步骤，包括：当所述目标图像突然消失时，保持所述搜索框的尺寸不变；当所述目标图像显示不完整时，增大所述搜索框的尺寸；根据所述搜索框的尺寸，使用预设的卡尔曼算法预测所述搜索框的位置。5.根据权利要求1所述方法，其特征在于，所述方法还包括：当所述场景图像中的所述目标图像的颜色与所述场景图像中的背景颜色相近时，使用预设的卡尔曼算法识别所述目标图像，进而确定所述搜索框的位置。6.根据权利要求1所述的方法，其特征在于，所述根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态的步骤，包括：根据所述搜索框的所述调整后的尺寸，确定所述智能购物车与所述跟踪目标之间的实际距离；以及根据所述搜索框的所述预测位置，确定所述智能购物车与所述跟踪目标之间的轨迹偏角；当所述实际距离超过预设第一阈值时，控制所述智能购物车根据所述实际距离向前移动；当所述轨迹偏角超过预设第二阈值时，控制所述智能购物车进行转弯移动。7.根据权利要求6所述的方法，其特征在于，所述根据所述搜索框的所述预测位置，确定所述智能购物车与所述跟踪目标之间的轨迹偏角的步骤，包括：获取所述场景图像的连续至少五帧图像数据中、分别对应的所述搜索框的所述预测位置；根据所述连续至少五帧图像数据中、分别对应的所述搜索框的所述预测位置，确定所述智能购物车与所述跟踪目标之间的轨迹偏角。8.一种移动控制装置，其特征在于，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述智能购物车上具有摄像头，所述装置包括：获取单元，用于通过所述摄像设备获取包含目标图像的场景图像；其中，所述跟踪目标在所述场景图像中对应为所述目标图像；确定单元，用于根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的预设的搜索框的位置和尺寸；调整和预测单元，用于当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；控制单元，用于根据所述调整后的尺寸和所述预测的位置，控制所述智能购物车的运动状态。9.一种移动控制系统，其特征在于，应用于控制智能购物车跟随预设的跟踪目标进行移动，所述系统包括：摄像头，用于获取包含待确认目标图像的场景图像；其中，所述待确认目标图像在实际场景中对应待确认跟踪目标；处理器，用于使用预设的图像腐蚀算法，在所述场景图像中确定包含所述待确认目标图像的搜索框的位置；根据所述搜索框的预设尺寸和位置，判断所述搜索框中的所述待确认目标图像与所述跟踪目标是否匹配；当所述待确认目标图像与所述跟踪目标匹配成功时，确定所述待确认目标图像对应的所述待确认跟踪目标为所述跟踪目标，并且确定所述待确认目标图像为所述目标图像；根据所述目标图像的位置和大小，在所述场景图像中确定包含所述目标图像的所述搜索框的位置和尺寸；当所述目标图像突然消失或者显示不完整时，调整所述搜索框的尺寸，并使用预设的卡尔曼算法预测所述搜索框的位置；根据调整后的所述搜索框的尺寸，确定所述智能购物车与所述跟踪目标之间的实际距离；以及根据所述搜索框的预测位置，确定所述智能购物车与所述跟踪目标之间的轨迹偏角；当所述实际距离超过预设第一阈值时，下发控制所述智能购物车根据所述实际距离向前移动的指令；当所述轨迹偏角超过预设第二阈值时，下发控制所述智能购物车进行...

【专利技术属性】
技术研发人员：方婧娴，张海涛，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11