本实施例公开了一种图像处理方法、装置、电子设备、对弈机器人和计算机存储介质，该方法包括：获取第一图像，所述第一图像表示国际象棋的棋盘和各棋子的图像；利用神经网络对所述第一图像进行处理，确定所述第一图像中每个棋子的属性数据，所述属性数据包括检测框和棋子类别；所述神经网络是根据样本图像集和标注信息训练得到的；所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图像；所述标注信息包括所述样本图像中每个棋子的标注的属性数据；根据所述第一图像中每个棋子的属性数据，生成决策信息，所述决策信息用于指示所述棋盘中的待移动棋子以及所述第一图像中所述待移动棋子的目的位置。待移动棋子的目的位置。待移动棋子的目的位置。
【技术实现步骤摘要】
图像处理方法、装置、电子设备、对弈机器人及存储介质
[0001]本公开涉及但不限于计算机视觉处理技术，尤其涉及一种图像处理方法、装置、对弈机器人和计算机存储介质。
技术介绍
[0002]在相关技术中，基于计算机视觉处理技术的对弈机器人具有成本低，精度高，交互性更好的优势，然而，上述对弈机器人可以通过文字识别技术识别中国象棋的棋子，由于国际象棋的棋子上并不存在文字信息，因此，上述对弈机器人无法通过文字识别技术识别图像中国际象棋的棋子，进而，不能实现对弈机器人对国际象棋的棋局的准确决策。
技术实现思路
[0003]本公开实施例至少提供了一种图像处理方法、装置、对弈机器人和计算机存储介质。
[0004]本公开实施例提供了一种图像处理方法，该方法可以包括：获取第一图像，所述第一图像表示国际象棋的棋盘和各棋子的图像；利用神经网络对所述第一图像进行处理，确定所述第一图像中每个棋子的属性数据，所述属性数据包括检测框和棋子类别；所述神经网络是根据样本图像集和标注信息训练得到的；所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图像；所述标注信息包括所述样本图像中每个棋子的标注的属性数据；根据所述第一图像中每个棋子的属性数据，生成决策信息，所述决策信息用于指示所述棋盘中的待移动棋子以及所述第一图像中所述待移动棋子的目的位置。
[0005]在一些实施例中，所述方法还包括：在所述第一图像是图像采集设备采集的图像的情况下，确定所述图像采集设备的相机坐标系与机械臂的基座坐标系的第一变换关系；在生成所述决策信息后，所述方法还包括：根据所述待移动棋子的检测框在所述第一图像中的位置、以及所述第一变换关系，确定所述基座坐标系中所述待移动棋子的起点位置；根据所述目的位置、以及所述第一变换关系，确定所述基座坐标系中所述待移动棋子的终点位置；控制所述机械臂在所述起点位置抓取所述待移动棋子，并在所述终点位置放置所述待移动棋子。
[0006]可以看出，本公开实施例可以根据待移动棋子的检测框在第一图像中的位置、以及第一图像中待移动棋子的目的位置，分别确定出基座坐标系中待移动棋子的起点位置和终点位置，由于该起点位置和终点位置是基座坐标系中的位置，而基座坐标系是根据机械臂的基座的平面确定的坐标系，因此，有利于机械臂根据起点位置和终点位置准确地抓取棋子和放置棋子。
[0007]在一些实施例中，所述确定所述图像采集设备的相机坐标系与机械臂的基座坐标系的第一变换关系，包括：响应于所述第一图像为所述图像采集设备拍摄的俯视图像，根据所述图像采集设备与所述机械臂的基座的相对位置，确定所述第一变换关系。
[0008]可以看出，在第一图像是图像采集设备拍摄的俯视图像的情况下，无需通过手眼
标定的方式确定第一变换关系，而是可以根据图像采集设备与机械臂的基座的相对位置，确定第一变换关系，因此，具有简单易实现的特点。
[0009]在一些实施例中，所述方法还包括：在所述第一图像是双目相机采集的图像的情况下，获取所述第一图像中各摆棋位置的深度信息；在生成所述决策信息后，所述方法还包括：根据所述待移动棋子的检测框在所述第一图像中的位置、以及所述待移动棋子所处在的摆棋位置的深度信息，确定三维空间坐标系中所述待移动棋子的起点位置；根据所述目的位置、以及所述目的位置所处在的摆棋位置的深度信息，确定所述三维空间坐标系中所述待移动棋子的终点位置；控制所述机械臂在所述起点位置抓取所述待移动棋子，并在所述终点位置放置所述待移动棋子。
[0010]可以看出，在第一图像是双目相机采集的图像的情况下，无需预先确定第一变换关系，而是可以根据待移动棋子所处在的摆棋位置的已知深度信息、以及目的位置所处在的摆棋位置的已知深度信息，确定基座坐标系中待移动棋子的起点位置和终点位置，因此，在一定程度上可以更加简单地确定基座坐标系中待移动棋子的起点位置和终点位置。
[0011]在一些实施例中，所述根据所述第一图像中每个棋子的属性数据，生成决策信息，包括：根据所述每个棋子的检测框在所述第一图像中的位置、以及所述每个棋子的棋子类别，确定所述第一图像中的棋子分布信息；根据所述棋子分布信息和所述国际象棋的对弈规则，确定所述待移动棋子和所述待移动棋子的行棋策略；根据所述待移动棋子和所述待移动棋子的行棋策略，生成所述决策信息。
[0012]可以看出，本公开实施例可以根据每个棋子的检测框在第一图像中的位置、以及每个棋子的棋子类别，准确地确定第一图像中的棋子分布信息；从而，根据准确得出的棋子分布信息，可以准确地确定待移动棋子和待移动棋子的行棋策略，进而可以生成准确的决策信息。
[0013]在一些实施例中，在获取所述第一图像后，所述方法还包括：通过对所述第一图像进行角点检测，确定所述第一图像中的棋盘图像；所述利用神经网络对所述第一图像进行处理，确定所述第一图像中每个棋子的属性数据，包括：利用神经网络对所述棋盘图像进行处理，确定所述棋盘图像中每个棋子的属性数据。
[0014]可以看出，本公开实施例可以利用神经网络对第一图像中的棋盘图像进行处理，由于无需针对第一图像的全部图像区域进行处理，因此，在一定程度上降低了神经网络处理的数据量，提高了神经网络的图像处理效率。
[0015]在一些实施例中，所述神经网络是采用以下步骤训练得到的：将所述样本图像集中的每个样本图像输入至所述神经网络，利用所述神经网络对所述每个样本图像进行处理，得到所述每个样本图像中每个棋子的属性数据；根据所述每个样本图像中每个棋子的属性数据、以及所述标注信息，调整所述神经网络的网络参数值。
[0016]可以看出，在本公开实施例中，通过预先训练神经网络，可以使训练完成的神经网络能够识别第一图像中棋子的属性数据，进而，有利于较为准确地生成决策信息。
[0017]在一些实施例中，在对所述神经网络进行训练之前，所述方法还包括：利用图像采集设备采集至少两种数据采集状态下的所述棋盘的图像，得到初始图像集；所述数据采集状态是根据以下至少一项确定的：光照强度、棋盘的位置、棋子的位姿、图像采集设备拍摄所述棋盘的拍摄位姿；对所述初始图像集进行预处理，得到所述样本图像集，或者，将所述
初始图像集确定为所述样本图像集。
[0018]可以看出，本公开实施例可以至少两种数据采集状态下的棋盘的图像，生成初始图像集，从而，根据初始图像集得到样本图像集，即，本公开实施例可以根据至少两种数据采集状态下的棋盘的图像，生成样本图像集，因此，样本图像集的图像可以更加全面地反映不同数据采集状态下的棋盘的图像，在基于样本图像集训练神经网络的情况下，有利于使训练完成的神经网络能够识别各种数据采集状态下的棋盘图像，从而，提升了神经网络处理各类图像的准确性。
[0019]在一些实施例中，所述对所述初始图像集进行预处理，得到所述样本图像集，包括以下任意一项：在所述初始图像集中将不符合图像质量要求的图像删除，得到所述样本图像集；基于所述初始图像集中图像的属性，对所述初始图像集进行数据增强，得到所述样本图像集；在所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一图像，所述第一图像表示国际象棋的棋盘和各棋子的图像；利用神经网络对所述第一图像进行处理，确定所述第一图像中每个棋子的属性数据，所述属性数据包括检测框和棋子类别；所述神经网络是根据样本图像集和标注信息训练得到的；所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图像；所述标注信息包括所述样本图像中每个棋子的标注的属性数据；根据所述第一图像中每个棋子的属性数据，生成决策信息，所述决策信息用于指示所述棋盘中的待移动棋子以及所述第一图像中所述待移动棋子的目的位置。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一图像是图像采集设备采集的图像的情况下，确定所述图像采集设备的相机坐标系与机械臂的基座坐标系的第一变换关系；在生成所述决策信息后，所述方法还包括：根据所述待移动棋子的检测框在所述第一图像中的位置、以及所述第一变换关系，确定所述基座坐标系中所述待移动棋子的起点位置；根据所述目的位置、以及所述第一变换关系，确定所述基座坐标系中所述待移动棋子的终点位置；控制所述机械臂在所述起点位置抓取所述待移动棋子，并在所述终点位置放置所述待移动棋子。3.根据权利要求2所述的方法，其特征在于，所述确定所述图像采集设备的相机坐标系与机械臂的基座坐标系的第一变换关系，包括：响应于所述第一图像为所述图像采集设备拍摄的俯视图像，根据所述图像采集设备与所述机械臂的基座的相对位置，确定所述第一变换关系。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一图像是双目相机采集的图像的情况下，获取所述第一图像中各摆棋位置的深度信息；在生成所述决策信息后，所述方法还包括：根据所述待移动棋子的检测框在所述第一图像中的位置、以及所述待移动棋子所处在的摆棋位置的深度信息，确定三维空间坐标系中所述待移动棋子的起点位置；根据所述目的位置、以及所述目的位置所处在的摆棋位置的深度信息，确定所述三维空间坐标系中所述待移动棋子的终点位置；控制所述机械臂在所述起点位置抓取所述待移动棋子，并在所述终点位置放置所述待移动棋子。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述第一图像中每个棋子的属性数据，生成决策信息，包括：根据所述每个棋子的检测框在所述第一图像中的位置、以及所述每个棋子的棋子类别，确定所述第一图像中的棋子分布信息；根据所述棋子分布信息和所述国际象棋的对弈规则，确定所述待移动棋子和所述待移动棋子的行棋策略；根据所述待移动棋子和所述待移动棋子的行棋策略，生成所述决策信息。
6.根据权利要求1至5任一项所述的方法，其特征在于，在获取所述第一图像后，所述方法还包括：通过对所述第一图像进行角点检测，确定所述第一图像中的棋盘图像；所述利...
【专利技术属性】
技术研发人员：吴华栋，张展鹏，高鸣岐，成慧，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。