用于无人售货机的图像数据采集装置和方法制造方法及图纸

本发明专利技术公开了一种用于无人售货机的图像数据采集装置和方法，该装置包括拍摄装置、移动装置和控制处理器，控制处理器控制拍摄装置和移动装置实现商品摆放和拿取的自动化过程，并采用自动标注和人工标注相结合的方式进行图像信息标注，本发明专利技术提供的技术方案提高了用于无人售货机的图像数据库的采集效率，增强了目标检测模型的识别率。目标检测模型的识别率。目标检测模型的识别率。

【技术实现步骤摘要】
用于无人售货机的图像数据采集装置和方法


[0001]本专利技术涉及图像采集
，尤其涉及一种用于无人售货机的图像数据采集装置和方法。

技术介绍

[0002]传统无人零售柜通常需要消费者遵循传统的操作购买流程在交互屏选择指定类别商品、下单，然后从指定区域取货，而且一次只能选择一个商品。当用户想要购买多个商品时，需要重复操作多次。新一代无人售货机通过计算机视觉技术改善了消费者购物体验，比如用户只需要“打开柜门
”‑
>“挑选商品
”‑
>“关柜结算”三步即可完成。然而，应用于无人零售柜的计算机视觉技术依赖于强大的数据库，通常数据采集流程为：(1)人工放置或取出商品；(2)摄像头拍摄商品种类、数量变化前后的两张无人柜内商品货架俯视图；(3)人工对拍摄图片进行商品种类和数量的标注。由此可见，传统数据采集过程耗费大量重复的人工劳动，效率低，耗时长，增加了新一代无人售货机的人力和时间成本，严重影响售货机的数据更新。
[0003]现有技术中，中国专利CN202011097770.4公开了一种用于AI商品识别训练的数据采集方法，该方法建立购物场景数据库、商品模型数据库和模型人数据库，通过在场景数据库中对商品模型进行组合得到训练数据集，以解决采集训练数据集的过程复杂、成本高和效率低的问题。
[0004]中国专利CN201910427990.X公开了一种无人售货柜快速上新方法，该方法包括通过数据合成的方式构造新商品和原有商品的融合数据，使用库存的标注数据训练神经网络，获得识别检测模型。
[0005]由此可见，现有技术一般采用合成数据对识别模型进行训练，这种方法虽然可以节省人工成本，但由合成数据训练的目标检测模型识别率较低。

技术实现思路

[0006]为了克服上述缺陷，本专利技术提供了一种用于无人售货机的图像数据采集装置，通过自动装置模拟无人售货机商品摆放和取用的真实过程，实现快速高效的图像数据采集，本专利技术实际要解决的问题是传统采集方法的效率低和人工成本高的问题。
[0007]为了实现上述目的，本专利技术采用以下技术方案：
[0008]一种用于无人售货机的图像数据采集装置，该装置包括拍摄装置、移动装置和控制处理器。所述拍摄装置用于构成拍摄场景，并对拍摄场景中的拍摄物进行拍摄。所述移动装置，与拍摄装置连接，用于将拍摄物移进拍摄场景或将拍摄物从拍摄场景移出，使拍摄场景中的拍摄物位置摆放满足预设条件。所述控制处理器，用于根据预先设定的顺序控制移动装置移动拍摄物使拍摄场景内的拍摄物位置摆放满足所述预设条件。用于控制拍摄装置对满足所述预设条件的拍摄物进行拍摄，获取第一图像。所述控制处理器采用图像数据标注方法对所述第一图像进行标注。
[0009]其中，所述预设条件为多个拍摄物在拍摄场景中的不同组合。
[0010]进一步地，所述移动装置包括底座、传动部和支撑部。所述支撑部直接固定在底座上或经过其他连接部件固定在底座上，所述传动部固定在底座和支撑部上。所述传动部包括驱动电机、螺纹杆、定向杆和传动支架。所述定向杆固定在底座和支撑部，沿所述定向杆方向定义一个轴线方向，螺纹杆沿轴线方向设置，螺纹杆一端与驱动电机连接，螺纹杆另一端与支撑部固定连接。传动支架与螺纹杆螺纹连接，传动支架与定向杆滑动连接，拍摄物固定在传动支架上。
[0011]进一步地，所述传动部为若干个，每一个传动部固定一个拍摄物。
[0012]具体地，拍摄装置包括摄像头，拍摄架和场景板。所述摄像头设置于拍摄架上，所述场景板用于构建拍摄场景，所述场景板包括至少一块第一场景板，所述第一场景板与所述移动装置连接，所述第一场景板设置开口，用于拍摄物通过。
[0013]优选地，所述开口上覆盖薄片。
[0014]优选地，所述薄片通过设置在所述第一场景板板面内的水平转轴与所述第一场景板连接，所述薄片能以水平转轴为轴相对于第一场景板向拍摄场景内转动翻开。
[0015]优选地，当所述第一场景板板面水平，所述薄片相对于所述第一场景板翻开的最大角度不超过90度。
[0016]优选地，所述摄像头设置于所述拍摄场景顶部，用于采集所述拍摄场景内的拍摄物的俯视图像。
[0017]优选地，所述拍摄装置还包括光源，所述光源受所述控制处理器控制。
[0018]本专利技术还公开了一种图像数据标注方法，该方法应用于所述的图像数据采集装置，其步骤包括：
[0019]人工标注一部分所述第一图像的每个商品的边界框，生成训练集。训练单类别目标检测模型，用于检测第一图像中每个商品的边界框。使用训练好的单类别目标检测模型，对第一图像进行边界框标注，生成第二图像。根据所述图像数据采集装置预先设定的摆放顺序和第二图像中每个商品的位置信息，确定第二图像中每个商品的名称。利用二分类算法将第二图像中每个商品的边界框信息和商品名称信息合成标注文件。
[0020]由上可知，本专利技术提供的技术方案有益效果是：
[0021]1)通过控制模拟商品的摆放和拿取，并自动控制图像采集，节省了大量重复的人工劳动，降低了时间成本，提高了商品图像的采集效率；
[0022]2)自动标注和人工标注相结合，提高图像数据标注效率和准确率。
附图说明
[0023]图1为本专利技术实施例图像数据采集装置结构示意图；
[0024]图2为本专利技术实施例的传送部和支撑部结构示意图；
[0025]图3为本专利技术实施例图像数据采集装置部分结构的爆炸示意图；
[0026]图4为本专利技术实施例控制处理器的控制流程图；
[0027]图5为本专利技术实施例中驱动电机的电路图；
[0028]图6为本专利技术实施例图像数据采集装置模块连接图；
[0029]图7为使用本专利技术实施例获取的第二图像(左)和无人售货机拍摄的第二图像
(右)。
[0030]图中各标号表示：
[0031]1、移动装置；2、拍摄装置；21、第一场景板；22、摄像头；23、拍摄架；11、传动部；12、底座；13、支撑部；111、驱动电机；112、螺纹杆；113、定向杆；114、传动支架；115、轴线方向；212、薄片；213、水平转轴。
具体实施方式
[0032]为了使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例对本专利技术的具体实施方式作进一步详细描述。应该理解，此处所描述的实施例仅用于解释本专利技术，但不用于限制本专利技术的范围。
[0033]请参阅附图1
‑
附图7，该装置包括拍摄装置2、移动装置1和控制处理器。拍摄装置2用于构成拍摄场景，并对拍摄场景中的拍摄物进行拍摄。移动装置1与拍摄装置2连接，用于将拍摄物移进拍摄场景或将拍摄物从拍摄场景移出，使拍摄场景中的拍摄物位置摆放满足预设条件。控制处理器，用于根据预先设定的顺序控制移动装置1移动拍摄物，使拍摄场景内的拍摄物位置摆放满足预设条件。用于控制拍摄装置2对满足预设条件的拍摄物进行拍摄，获取第一图像。其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于无人售货机的图像数据采集装置，其特征在于，该装置包括拍摄装置、移动装置和控制处理器；所述拍摄装置，用于构成拍摄场景，并对拍摄场景中的拍摄物进行拍摄；所述移动装置，与拍摄装置连接，用于将拍摄物移进拍摄场景或将拍摄物从拍摄场景移出，使拍摄场景中的拍摄物位置摆放满足预设条件；所述控制处理器，用于根据预先设定的顺序控制移动装置移动拍摄物使拍摄场景内的拍摄物位置摆放满足所述预设条件；用于控制拍摄装置对满足所述预设条件的拍摄物进行拍摄，获取第一图像；所述控制处理器采用图像数据标注方法对所述第一图像进行标注；其中，所述预设条件为多个拍摄物在拍摄场景中的不同组合。2.根据权利要求1所述的图像数据采集装置，其特征在于，所述移动装置包括底座、传动部和支撑部；所述支撑部固定在底座上，所述传动部固定在底座和支撑部上；所述传动部包括驱动电机、螺纹杆、定向杆和传动支架；所述定向杆固定在支撑部上，沿所述定向杆方向定义一个轴线方向，螺纹杆沿所述轴线方向设置，所述螺纹杆一端与所述驱动电机连接，所述螺纹杆另一端与所述支撑部固定连接；传动支架与螺纹杆螺纹连接，传动支架与定向杆滑动连接，拍摄物可拆卸地固定在传动支架上。3.根据权利要求2所述的图像数据采集装置，其特征在于，所述传动部为若干个，每一个传动部可拆卸地固定一个拍摄物。4.根据权利要求1
‑
3其中任一项权利要求所述的图像数据采集装置，其特征在于，拍摄装置包括摄像头，拍摄架和场景板；所述摄像头设置于拍摄架上，所述场景...

【专利技术属性】
技术研发人员：张海军，周海彬，左丁丁，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：