一种基于机器人的无人店货柜监控系统技术方案

本发明专利技术涉及一种基于机器人的无人店货柜监控系统，该系统包括一个图像识别模型自动训练平台，一个基于模型的图像分析服务，包括一个监控机器人，机器人配备导航功能底盘，可以走位到设定好的柜台点位；一组不同角度的摄像机组，拍摄图片和视频数据，用于后端基于图像识别的分析；一个6自由度关节式机械臂，用于在3维空间中任意定位摄像机坐标，方便避开环境中的遮挡物、拍摄不同层面的柜台、不同视角图像；本发明专利技术实施例基于三维空间任意范围可取景的摄像机，结合人工智能算法，达到分析出商品的陈列情况，包括破损、放错位置、陈列不整齐的问题，形成数据通知运营人员处理，极大节约了人力。

【技术实现步骤摘要】
一种基于机器人的无人店货柜监控系统
本专利技术涉及图像识别、视频监控、机器人领域，特别涉及一种在无人零售店场景中，可以店铺三维空间内任意坐标360度视角的自定义取景摄像，进行精准数据采集，基于采集的数据实现免打标的图像识别模型训练，基于模型进行图像识别对比，得到商品陈列分值并预警的基于机器人的无人店货柜监控系统。
技术介绍
无人零售店是最近新生的事物，近两年，有多家企业从不同角度切入研究无人店技术，其中关于货柜监控和理货环节，现有如下3种方案。1，在每个货柜上安装一个理货摄像头，用于监控范围内的商品陈列是否整齐，是否有清洁和破损问题，通过远程定期视频查看。此方案目前多用于自动货柜或较小规模的门店。其摄像头安装固定，视野有限，对商品种类大小有一定限制，另外每个货柜装配一个相机，成本较高，利用率也不高。2，结合已有的视频监控，配合热力图技术，对人流较大的区域，通过视频监控摄像头，远程查看货物陈列状况。此方案依然有很大局限性，对于小的商品，或者偏远角度的商品，很难看清状况。3，使用最新的图像识别技术，预先通过训练对商品建立模型，然后借助移动app，人工拍摄柜台照片，最后使用图像识别技术分析库存和陈列数据。此方案占用人工，另外无法保证拍摄的图片的质量。图像识别的效果，取决与预置模型和图片质量。
技术实现思路
本专利技术的目的在于解决上述技术问题，为了高效地监控货柜中商品的状态，本专利技术利用基于机器人的精准图像采集为数据源，实现了一个免打标的自动化模型训练系统，最终实现了一种可以边使用边学习的图像识别系统，通过图像对比发现货柜商品陈列问题并给出预警。本专利技术的具体技术方案是：一种基于机器人的无人店货柜监控系统，包括：一可自由移动的机器人；业务平台：监控系统的人机交互终端，业务平台提供设置接口，提供数据输出接口，并且协调训练平台、识别服务和机器人协作完成任务；模型训练平台：一组接口，封装AI模型训练服务；图像识别：一组接口，封装商品识别服务；柜台点位：是一个自定义数据结构，包括：机器人在店铺内地图中的x坐标、y坐表、角度；机械臂终端在三维空间内的x坐标，y坐标，z坐标；机械臂终端的摄像机的预置点编号PresetPosNumber，摄像机的焦距；点位的名称PosName，编号PosNumber；机器人在建图过程中，会将柜台点位上传到平台端保存，在巡店计划中使用到；执行采集任务：采集任务在平台端设置，内容包括：任务时间，机器人行走路线，点位列表，点位上采集数量，数据上报服务器的ip，帐号密码；按照计划任务，到了运行时间，平台下发执行指令；机器人按照指令逐个运动到柜台点位，采集图像数据，上传到指定的服务端；训练数据：按照柜台设定的标准排放整齐的商品图像；每次整理完货柜后采集，作为标准数据上传到训练平台，训练后得到该柜台的模型；检测数据：当运行一定时间后，回归已经发生一些变化的图像数据，可能存在缺货，破损，陈列混乱的情况；检测数据通过图像识别服务计算比对后，会得到一个相似度分值，表示与标准数据的相似度；更新模型：每个货柜点位有一个模型，该模型仅适应与该货柜商品的识别对比；模型变使用边更新，每次训练后的模型，自动部署到识别模块，供图像识别使用；图像识别结果：检测数据通过图像识别算法所得到的相似度分值；机器人定位：移动到柜台位置，采集当前x坐标，y坐标，角度，生成地盘点位；移动机械臂位置，通过机械臂的反向编程功能，自动生成运动路径，得到三维坐标x、y、z；通过控制屏选择合适的预置位和焦距参数；所有数据打包生成柜台点位数据；机器人走位：接收平台发来的柜台点位数据，解析出地盘坐标，机械臂坐标，摄像机预置点和焦距参数；分别按照参数运动各个部件，最终的拍摄位置就是机器人走位。进一步的，所述的机器人结构是：该机器人底部是一个底盘2，机械臂1固定在底盘2上，该机械臂1是包括可自由活动的关节式机械臂，机械臂上设有一组摄像头3，摄像头3固定在机械臂2的前端，机器人的底盘上设有一个触摸显示控制屏4，机器人内部通过中央处理器，配合图像处理模块完成任务。图像处理模块可以安装在机器人上，也可以分开运行在独立的处理器上，以便将机器人结构设置的更为简洁。在底盘2上设有激光雷达5，具有避障功能；该底盘底部设有万向轮6，可以在任意方向移动上，使得机器人底盘具有即时定位与地图构建功能。进一步的，机器人的底盘：支持SLAM系统、可以定位和构建地图的底盘，底盘需要控制重量，适当的重量可以保持机器人运动的平稳，以及对底盘上方的机械结构的稳定支撑。进一步的，机器人的机械臂：最基本要求是三维空间的移动，所以活动度必须大于等于6，该例选用关节式6自由度，电机驱动机械臂；机械臂要求可编程，机械臂的控制系统有接口与机器人处理器进行连接；机械臂的前端配置一组摄像头，根据摄像头的总重量，对机械臂的承重能力有一定的规格要求；机械臂前端同样配备防碰撞传感器。进一步的，机器人的激光雷达：监测路障，防止碰撞。进一步的，机器人的控制屏：显示屏作为机器人处理器的输入输出终端，通过中央处理器与底盘系统，机械臂系统，摄像机系统都有连接。显示屏作为摄像机画面的显示终端，在设置点位的时候，实时显示摄像机预览视频，指导摄像机的调整。显示屏可以触摸输入，在摄像机画面中，可以通过点击画点连线，画多出边形，多边形外部区域作为裁掉的数据。进一步的，机器人的万向轮：支持任意方向的移动，以适应复杂的店内通道。进一步的，机器人的摄像机：摄像机支持云台转动，特别地支持预置点位设置。在机械臂定位完成后，通过云台对拍摄角度进行微调。进一步的，机器人的摄像机支持变焦功能，这样对于不同大小远近的商品都可以清晰拍摄。变焦功能可以支持对商品上细微信息的拍摄和设别，如条形码，生产日期等。本专利技术技术效果是：机器人可以自由移动，一个门店只需要配备一台机器人，降低了硬件成本；由于模型训练实现了自动化，避免了离线训练模型的人力；系统可以边使用边学习，使用越久识别越准确，避免了离线训练模式中的模型滞后问题。附图说明图1手机端功能切换到设备端流程图：图2设备端功能切换回手机端流程图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步的说明：如图1和图2所示，以下结合附图对本专利技术的具体实施方式进行详细说明本专利技术提供一种基于机器人的无人店货柜监控系统，该监控系统适用于监控无人店货柜中商品的状态。该监控系统基于图像识别技术，将正常的货柜图像，作为训练数据，建立该货柜的算法模型，然后基于该模型，识别货柜当前图像，得到相似度，相似度低的认为货柜异常，这些异常包括以下可能情况：商品被打开了包装，商品数量大幅度减少，柜台中放置了不是属于本柜台的其他商品。因为监控系统基于图像识别，为了提高图像识别的准确度，对货柜和商品有以下限定。使用该监控系统的商品，需要有规则统一的包装，如盒装、瓶装本文档来自技高网...

【技术保护点】
1.一种基于机器人的无人店货柜监控系统，针对无人店货柜的特定场景，利用机器人进行精准图像采集，利用精准图像数据将模型训练和图像识别集成在一起，实现边使用边学习的货柜识别服务；其特征在于，该系统包括：/n一可自由移动的机器人；/n业务平台：监控系统的人机交互终端，业务平台提供设置接口，提供数据输出接口，并且协调训练平台、识别服务和机器人协作完成任务；/n模型训练平台：一组接口，封装AI模型训练服务；/n图像识别：一组接口，封装商品识别服务；/n柜台点位：是一个自定义数据结构，包括：机器人在店铺内地图中的x坐标、y坐表、角度；机械臂终端在三维空间内的x坐标，y坐标，z坐标；机械臂终端的摄像机的预置点编号PresetPosNumber，摄像机的焦距；点位的名称PosName，编号PosNumber；机器人在建图过程中，会将柜台点位上传到平台端保存，在巡店计划中使用到；/n执行采集任务：采集任务在平台端设置，内容包括：任务时间，机器人行走路线，点位列表，点位上采集数量，数据上报服务器的ip，帐号密码；按照计划任务，到了运行时间，平台下发执行指令；机器人按照指令逐个运动到柜台点位，采集图像数据，上传到指定的服务端；/n训练数据：按照柜台设定的标准排放整齐的商品图像；每次整理完货柜后采集，作为标准数据上传到训练平台，训练后得到该柜台的模型；/n检测数据：当运行一定时间后，回归已经发生一些变化的图像数据，可能存在缺货，破损，陈列混乱的情况；检测数据通过图像识别服务计算比对后，会得到一个相似度分值，表示与标准数据的相似度；/n更新模型：每个货柜点位有一个模型，该模型仅适应与该货柜商品的识别对比；模型变使用边更新，每次训练后的模型，自动部署到识别模块，供图像识别使用；/n图像识别结果：检测数据通过图像识别算法所得到的相似度分值；/n机器人定位：移动到柜台位置，采集当前x坐标，y坐标，角度，生成地盘点位；移动机械臂位置，通过机械臂的反向编程功能，自动生成运动路径，得到三维坐标x、y、z；通过控制屏选择合适的预置位和焦距参数；所有数据打包生成柜台点位数据；/n机器人走位：接收平台发来的柜台点位数据，解析出地盘坐标，机械臂坐标，摄像机预置点和焦距参数；分别按照参数运动各个部件，最终的拍摄位置就是机器人走位。/n...

【技术特征摘要】
1.一种基于机器人的无人店货柜监控系统，针对无人店货柜的特定场景，利用机器人进行精准图像采集，利用精准图像数据将模型训练和图像识别集成在一起，实现边使用边学习的货柜识别服务；其特征在于，该系统包括：
一可自由移动的机器人；
业务平台：监控系统的人机交互终端，业务平台提供设置接口，提供数据输出接口，并且协调训练平台、识别服务和机器人协作完成任务；
模型训练平台：一组接口，封装AI模型训练服务；
图像识别：一组接口，封装商品识别服务；
柜台点位：是一个自定义数据结构，包括：机器人在店铺内地图中的x坐标、y坐表、角度；机械臂终端在三维空间内的x坐标，y坐标，z坐标；机械臂终端的摄像机的预置点编号PresetPosNumber，摄像机的焦距；点位的名称PosName，编号PosNumber；机器人在建图过程中，会将柜台点位上传到平台端保存，在巡店计划中使用到；
执行采集任务：采集任务在平台端设置，内容包括：任务时间，机器人行走路线，点位列表，点位上采集数量，数据上报服务器的ip，帐号密码；按照计划任务，到了运行时间，平台下发执行指令；机器人按照指令逐个运动到柜台点位，采集图像数据，上传到指定的服务端；
训练数据：按照柜台设定的标准排放整齐的商品图像；每次整理完货柜后采集，作为标准数据上传到训练平台，训练后得到该柜台的模型；
检测数据：当运行一定时间后，回归已经发生一些变化的图像数据，可能存在缺货，破损，陈列混乱的情况；检测数据通过图像识别服务计算比对后，会得到一个相似度分值，表示与标准数据的相似度；
更新模型：每个货柜点位有一个模型，该模型仅适应与该货柜商品的识别对比；模型变使用边更新，每次训练后的模型，自动部署到识别模块，供图像识别使用；
图像识别结果：检测数据通过图像识别算法所得到的相似度分值；
机器人定位：移动到柜台位置，采集当前x坐标，y坐标，角度，生成地盘点位；移动机械臂位置，通过机械臂的反向编程功能，自动生成运动路径，得到三维坐标x、y、z；通过控制屏选择合适的预置位和焦距参数；所有数据打包生成柜台点位数据；
机器人走位：接收平台发来的柜台点位数据，解析出地盘坐标，机械臂坐标，摄像机预置点和焦距参数；分别按照参数运动各个部件，最终的拍摄位置就是机器人走位。

...

【专利技术属性】
技术研发人员：王义锋，沈修平，
申请(专利权)人：上海悠络客电子科技股份有限公司，
类型：发明
国别省市：上海;31