一种基于视觉的图书盘点系统的书脊匹配方法和设备技术方案

本发明专利技术公开了一种基于视觉图书盘点系统的书脊匹配方法，提高图书盘点系统中的书脊匹配精度的算法包括移动机器人与计算机；移动机器人通过摄像机实时采集图像，并将图像实时传输至计算机进行图像处理；Xingxi‑point模型；高维数据的快速最近邻算法FLANN；误检剔除模型XingxiJudge；通过对书脊图像做特征提取，将特征输送到FLANN特征匹配器，与书脊特征库进行匹配。然而上述方法存在错误匹配，当匹配出若干可疑目标的结果后，逐个将可疑目标构成“图片对”送入误检剔除模型XingxiJudge，判断是否检误，如有误检，则剔除，直到留下唯一目标。最后，检索显示，该算法显著提高匹配质量，具有较好的实时性和特征匹配准确率。有效的减少了匹配过程的时间，提高了书脊匹配的精度。

【技术实现步骤摘要】
一种基于视觉的图书盘点系统的书脊匹配方法和设备
本专利技术涉及图书自动盘点
，特别涉及一种视觉图书盘点系统的书脊匹配方法和设备。
技术介绍
在各大中型图书馆的图书盘点工作中，图书盘点是每间隔一段时间必须进行的工作。目前，纸质图书依旧是图书资源的主要组成部分。对于大中型图书馆里上百万的图书，常规性的盘点工作是非常耗费人力物力的。故需要基于计算机视觉的图书盘点系统应用于各大中型图书馆的图书盘点工作中，提高盘点工作的效率。该系统通过图像处理，深度学习等多种技术来进行移动机器人拍摄书脊图像，对书脊图像进行特征提取和特征匹配完成书脊匹配的工作，是图书盘点系统的重要组成部分之一。进行书脊匹配，首先需要对书脊图像做进行书脊特征提取。目前主流的书脊特征提取算法有SIFT，SURF，ORB等。SIFT提取出的特征具有鲁棒性，但是在实时性不如SURF，ORB。ORB特征提取算法的运行时间远优于SIFT与SURF，可用于实时特征检测，但是ORB并不具备尺度变换鲁棒性。在对图像进行书脊特征提取后，需要进行书脊特征匹配。由于图书馆盘点系统需要处理大量的数据，故匹配算法选择了FLANN匹配，FLANN可以根据数据本身选取合适的算法来处理大量的数据，并且，FLANN比其他的最近邻搜索快很多。在书脊匹配的过程中，匹配的数据量越大，产生的错检也越多，一般的书脊匹配技术到这就完成了，但上述问题依旧没有得到解决。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术公开了一种基于视觉的图书盘点系统的书脊匹配方法，包括：步骤1，移动机器人通过摄像机实时采集书脊图像信息；步骤2，对采集到的书脊图像做特征提取，通过预设算法提取特征点和描述符；步骤3，采用虚拟的三维物体作为数据集，训练网格提取角点；步骤4，自动标注特征点，其中，采用真实的书脊图片数据，用所述步骤3训练出来的所述网络提取角点；步骤5，对所述真实的书脊图片数据进行稽核变化得到新的图片并组成已知位置关系的图片对，把所述图片对输入网络，提取特征点和描述符；对通过所述预设算法提取出来的特征送入送入Flann特征匹配器进行粗匹配并得到特征子集合；步骤6，特征遍历所述的特征子集合，计算距离，得到结果集合，逐一将结果集合里面元素送入误检剔除模型XingxiJudge，判断是否误检，若有所述误检，则进行第二次匹配，实现剔除误匹配操作，通过误检剔除的网络模型，优化该模型里面的参数，将书脊匹配出来。更进一步地，所述预设算法为设计两个网络一个是BaseDetector网络，用于检测基本几何图像的角点；另一个是XingxiPoint模型网络，用于提取特征点和描述符。更进一步地，所述步骤5进一步包括，特征匹配的结果会得到两个特征集合的对应关系列表，所述Flann在调用匹配函数之前，训练一个匹配器以达到提高匹配速度目的，在查询书脊集的特征逐个和训练器做匹配，查询书脊集的特征点会匹配若干可疑目标。更进一步地，所述步骤6进一步包括：后期由误检剔除模型XingxiJudge验证匹配的正确性，如有误检则剔除直到得出最佳的匹配。更进一步地，所述XingxiPoint模型由BACKBONE模块、PPN模块、ROIPOOL模块和KP模块构成；其中，KP模块负责生成特征点和描述符；BACKBONE模块分别和PPN模块、ROIPOOL模块相连，PPN模块与ROIPOOL模块相连，ROIPOOL模块与KP模块相连。更进一步地，对书脊数据集A做降噪处理；用仿射变换和ORB算法自动标注数据集A的特征点，得到带强监督标注的书脊数据集G；初始化XingxiPoint模型；用数据集G训练XingxiPoint，优化器选用小批量梯度下降算法；将XingxiPoint用于查询书脊Q，得到一系列特征点和描述符；在图书馆书脊库中，采用BF匹配算法将Q的若干可疑目标匹配出来。本专利技术进一步公开了一种电子设备，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于视觉的图书盘点系统的书脊匹配方法。本专利技术进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于视觉的图书盘点系统的书脊匹配方法。综上所述，本专利技术与现有视觉图书盘点系统中的书脊匹配方法相比具有如下优点：首先，可以产生更多稳健的书脊特征点，有利于提升匹配精度。对于特征点提取，普遍采用ORB特征点提取算法，但由于实际拍摄的书脊并不理想，导致特征点并不稳健，直接影响后续的匹配精度；本专利技术提出一种基于深度学习的XingxiPoint模型，在无需人工标注的情况下，可以拟合实际拍摄书脊中的仿射变换，对实际拍摄的光照和角度不敏感，有效提升后续的书脊匹配精度。其次，可以对匹配结果做自适应相似性度量，精准取出最终目标。在书脊匹配中，一般先用余弦距离度量查询书脊和可疑结果间的相似性，然后按相似性大小进行排序；一旦可疑结果比较像，或者计算精度不足，都会让最终目标错误，这是无法接受的；本专利技术提出的误检剔除模型XingxiJudge，本质上是将固定的相似性度量变成非固定的自适应相似性度量，从而提高最终目标准确性。附图说明从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。图1是本专利技术中的XingxiPoint模型结构示意图；图2是本专利技术中的XingxiJudge模型结构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。实施例一如图1-2所示，本实施例提出一种视觉图书盘点系统的书脊匹配方法，包括步骤：S1对书脊数据集A做降噪处理；对书脊图像的预处理，本实施例采用高斯滤波器做降噪处理；高斯滤波器是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用。高斯滤波器是一种加权矩阵，其权重表达式如下：其中Wij是权重，i和j是像素点索引，K是归一化常量，σ是高斯分布标准差。S2用仿射变换和ORB算法自动标注数据集A的特征点，得到带强监督标注的书脊数据集G；对书脊图像数据集中的每张图像做仿射变换，本实施例采用2000种变换，得到2000张变换后的图像。在这些图像上利用ORB分别提取特征点，可以得到2000张特征点定位图，把这2000张特征点定位图做逆仿射变换后累加到一起，得到最终的一张特征点定位图，这个就是原书脊图像的特征点标注，无需人工标注，节省成本。重复以上步骤即可获得数据集G。S3初始化XingxiPoint模型；XingxiPoint模型本质是目标检测本文档来自技高网...

【技术保护点】
1.一种基于视觉的图书盘点系统的书脊匹配方法，其特征在于，包括：/n步骤1，移动机器人通过摄像机实时采集书脊图像信息；/n步骤2，对采集到的书脊图像做特征提取，通过预设算法提取特征点和描述符；/n步骤3，采用虚拟的三维物体作为数据集，训练网格提取角点；/n步骤4，自动标注特征点，其中，采用真实的书脊图片数据，用所述步骤3训练出来的所述网络提取角点；/n步骤5，对所述真实的书脊图片数据进行稽核变化得到新的图片并组成已知位置关系的图片对，把所述图片对输入网络，提取特征点和描述符；对通过所述预设算法提取出来的特征送入送入Flann特征匹配器进行粗匹配并得到特征子集合；/n步骤6，特征遍历所述的特征子集合，计算距离，得到结果集合，逐一将结果集合里面元素送入误检剔除模型XingxiJudge，判断是否误检，若有所述误检，则进行第二次匹配，实现剔除误匹配操作，通过误检剔除的网络模型，优化该模型里面的参数，将书脊匹配出来。/n

【技术特征摘要】
1.一种基于视觉的图书盘点系统的书脊匹配方法，其特征在于，包括：
步骤1，移动机器人通过摄像机实时采集书脊图像信息；
步骤2，对采集到的书脊图像做特征提取，通过预设算法提取特征点和描述符；
步骤3，采用虚拟的三维物体作为数据集，训练网格提取角点；
步骤4，自动标注特征点，其中，采用真实的书脊图片数据，用所述步骤3训练出来的所述网络提取角点；
步骤5，对所述真实的书脊图片数据进行稽核变化得到新的图片并组成已知位置关系的图片对，把所述图片对输入网络，提取特征点和描述符；对通过所述预设算法提取出来的特征送入送入Flann特征匹配器进行粗匹配并得到特征子集合；
步骤6，特征遍历所述的特征子集合，计算距离，得到结果集合，逐一将结果集合里面元素送入误检剔除模型XingxiJudge，判断是否误检，若有所述误检，则进行第二次匹配，实现剔除误匹配操作，通过误检剔除的网络模型，优化该模型里面的参数，将书脊匹配出来。


2.如权利要求1所述的一种基于视觉的图书盘点系统的书脊匹配方法，其特征在于，所述预设算法为设计两个网络一个是BaseDetector网络，用于检测基本几何图像的角点；另一个是XingxiPoint模型网络，用于提取特征点和描述符。


3.如权利要求1所述的一种基于视觉的图书盘点系统的书脊匹配方法，其特征在于，所述步骤5进一步包括，特征匹配的结果会得到两个特征集合的对应关系列表，所述Flann在调用匹配函数之前，训练一个匹配器以达到提高匹配速度目的，在查询书脊集的特征逐个和训练器做匹配，查询书脊集的特征点会匹配若干可疑目标。

<...

【专利技术属性】
技术研发人员：蔡君，张立安，廖丽平，谭志坚，
申请(专利权)人：广东技术师范大学，广东省星溪智能科技有限公司，
类型：发明
国别省市：广东;44