向量模糊检索方法及技术

本发明专利技术提供一种向量模糊检索方法及

【技术实现步骤摘要】
向量模糊检索方法及NPU


[0001]本专利技术涉及信息
，具体涉及一种向量模糊检索方法及
NPU。

技术介绍

[0002]大模型时代，向量数据库展现出了无限的潜力
。
它为大型
AI
语言模型提供了记忆与灵魂，解决了模型“幻觉”的问题
。
随着
AI
技术的进步，向量数据库将在多个领域发挥关键作用，推动
AI
技术的发展
。
向量数据库的火爆发展和资本热度显示了其在市场上的重要地位，也为其未来发展奠定了坚实基础
。
因此，基于向量索引算法变得尤为重要
。
[0003]向量检索就是在一个给定向量数据集中，按照某种度量方式，检索出与查询向量相近的
K
个向量（
K
‑
Nearest Neighbor
，
KNN
），但由于
KNN
计算量过大，我们通常只关注近似近邻（
Approximate Nearest Neighbor
，
ANN
）问题
。
常见的向量度量有以下几种：欧式距离
、
余弦
、
内积
、
海明距离等
。
为了提高算法的速率，一些基于数据聚类的方法也随之产生如
IVFPQ
，
IVFFlat
等
。
虽然它们确实提高了算法速度，但是却使得召回率变低
。
[0004]此问题目前缺乏简便有效的解决方案
。

技术实现思路

[0005]本专利技术的目的在于提供一种向量模糊检索方法及
NPU
，利用向量维数与分量数值建立同型矩阵，能够提升检索效率与召回率，并可实现与
NPU
的有效配合
。
[0006]为实现上述目的，本专利技术提供一种向量模糊检索方法，包括以下步骤：获取查询向量；根据所述查询向量的维数和所述查询向量的分量的数值，将所述查询向量转化为第一归一化矩阵，根据向量数据库中的原始向量的维数和所述原始向量的分量的数值，将所述原始向量转化为第二归一化矩阵，所述第一归一化矩阵和所述第二归一化矩阵为同型矩阵；根据所述第一归一化矩阵和所述第二归一化矩阵，获取每一个所述第二归一化矩阵关于所述第一归一化矩阵的相似性得分；根据所述相似性得分，在所述原始向量中选取若干个候选向量，以所述候选向量为检索结果
。
[0007]可选的，将所述第一归一化矩阵和所述第二归一化矩阵的行的方向作为第一方向，或者，将所述第一归一化矩阵和所述第二归一化矩阵的列的方向作为所述第一方向，与所述第一方向垂直的方向作为第二方向；若所述查询向量和所述原始向量的任意一个分量的数值均小于所述查询向量的维数，则采用以下步骤将所述查询向量转化为所述第一归一化矩阵，将所述原始向量转化为所述第二归一化矩阵：将所述查询向量的维数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第一方向上的元素个数，将所述查询向量和所述原始向量中最大分量的数值或所述查询向量的维数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第二方向上的元素个数；以所述查询向量的每一个分量的序号作为所述第一归一化矩阵的在所述第一方向上的第一序号，并以该分量的数值作为所述第一归一化矩阵的在所述第二方向上的第二序号；以所述原始向量的每一个分量的序号作为所述第二归一化矩阵的在所述第一方向上第三序号，并以该分量的数值作为所述第二归一化矩阵
的在所述第二方向上的第四序号；根据所述第一序号和第二序号，选取所述第一归一化矩阵对应位置的元素作为标记元素，根据所述第三序号和第四序号，选取所述第二归一化矩阵对应位置的元素作为所述标记元素
。
[0008]可选的，将所述第一归一化矩阵和所述第二归一化矩阵的行的方向作为第一方向，或者，将所述第一归一化矩阵和所述第二归一化矩阵的列的方向作为所述第一方向，与所述第一方向垂直的方向作为第二方向；若所述查询向量和所述原始向量中存在数值大于所述查询向量的维数的分量，则采用以下步骤将所述查询向量转化为所述第一归一化矩阵，将所述原始向量转化为所述第二归一化矩阵：将所述查询向量的维数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第一方向上的元素个数，将所述查询向量和所述原始向量中最大分量的数值的预设比例数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第二方向上的元素个数；以所述查询向量的每一个分量的序号作为所述第一归一化矩阵的在所述第一方向上的第一序号，若该分量的数值小于所述预设比例数，则以该分量的数值作为所述第一归一化矩阵的在所述第二方向上的第二序号，若该分量的数值大于所述预设比例数，则以所述第二方向上的元素个数作为所述第二序号；以所述原始向量的每一个分量的序号作为所述第二归一化矩阵的在所述第一方向上第三序号，若该分量的数值小于所述预设比例数，则以该分量的数值作为所述第二归一化矩阵的在所述第二方向上的第四序号，若该分量的数值大于所述预设比例数，则以所述第二方向上的元素个数作为所述第四序号；根据所述第一序号和第二序号，选取所述第一归一化矩阵对应位置的元素作为标记元素，根据所述第三序号和第四序号，选取所述第二归一化矩阵对应位置的元素作为所述标记元素
。
[0009]可选的，所述根据所述第一归一化矩阵和所述第二归一化矩阵，获取每一个所述第二归一化矩阵关于所述第一归一化矩阵的相似性得分，具体包括：获取所述第一归一化矩阵与每一个所述第二归一化矩阵的与结果矩阵和或结果矩阵，所述第一归一化矩阵
、
所述第二归一化矩阵
、
所述与结果矩阵和所述或结果矩阵为同型矩阵；若所述第一归一化矩阵和所述第二归一化矩阵在各自矩阵内相同位置的元素均为所述标记元素，则将所述与结果矩阵在其矩阵内相同位置的元素的值记为1，否则记为0；若所述第一归一化矩阵和所述第二归一化矩阵在各自矩阵内相同位置的元素中的至少一者为所述标记元素，则将所述或结果矩阵在其矩阵内相同位置的元素的值记为1，否则记为0；根据所述与矩阵和所述或矩阵，获取所述相似性得分
。
[0010]可选的，所述根据所述与矩阵和所述或矩阵，获取所述相似性得分，具体包括：将所有所述与矩阵中的1累加以获得第一累加值，将所有所述或矩阵中的1累加以获得第二累加值；根据所述第一累加值和所述第二累加值，获取所述相似性得分
。
[0011]可选的，所述根据所述第一累加值和所述第二累加值，获取所述相似性得分，具体包括：将所述第一累加值和所述第二累加值进行除法计算，以所述除法计算的结果作为所述相似性得分
。
[0012]可选的，所述根据所述相似性得分，在所述原始向量中选取若干个候选向量，具体包括：将所有所述第二归一化矩阵按其所述相似性得分的数值大小排序，取排名前预设位数的所述第二归一化矩阵对应的所述原始向量作为所述候选向量，或者取所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种向量模糊检索方法，其特征在于，包括以下步骤：获取查询向量；根据所述查询向量的维数和所述查询向量的分量的数值，将所述查询向量转化为第一归一化矩阵，根据向量数据库中的原始向量的维数和所述原始向量的分量的数值，将所述原始向量转化为第二归一化矩阵，所述第一归一化矩阵和所述第二归一化矩阵为同型矩阵；根据所述第一归一化矩阵和所述第二归一化矩阵，获取每一个所述第二归一化矩阵关于所述第一归一化矩阵的相似性得分；根据所述相似性得分，在所述原始向量中选取若干个候选向量，以所述候选向量为检索结果输出的依据
。2.
如权利要求1所述的向量模糊检索方法，其特征在于，将所述第一归一化矩阵和所述第二归一化矩阵的行的方向作为第一方向，或者，将所述第一归一化矩阵和所述第二归一化矩阵的列的方向作为所述第一方向，与所述第一方向垂直的方向作为第二方向；若所述查询向量和所述原始向量的任意一个分量的数值均小于所述查询向量的维数，则采用以下步骤将所述查询向量转化为所述第一归一化矩阵，将所述原始向量转化为所述第二归一化矩阵：将所述查询向量的维数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第一方向上的元素个数，将所述查询向量和所述原始向量中最大分量的数值或所述查询向量的维数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第二方向上的元素个数；以所述查询向量的每一个分量的序号作为所述第一归一化矩阵的在所述第一方向上的第一序号，并以该分量的数值作为所述第一归一化矩阵的在所述第二方向上的第二序号；以所述原始向量的每一个分量的序号作为所述第二归一化矩阵的在所述第一方向上第三序号，并以该分量的数值作为所述第二归一化矩阵的在所述第二方向上的第四序号；根据所述第一序号和第二序号，选取所述第一归一化矩阵对应位置的元素作为标记元素，根据所述第三序号和第四序号，选取所述第二归一化矩阵对应位置的元素作为所述标记元素
。3.
如权利要求1所述的向量模糊检索方法，其特征在于，将所述第一归一化矩阵和所述第二归一化矩阵的行的方向作为第一方向，或者，将所述第一归一化矩阵和所述第二归一化矩阵的列的方向作为所述第一方向，与所述第一方向垂直的方向作为第二方向；若所述查询向量和所述原始向量中存在数值大于所述查询向量的维数的分量，则采用以下步骤将所述查询向量转化为所述第一归一化矩阵，将所述原始向量转化为所述第二归一化矩阵：将所述查询向量的维数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第一方向上的元素个数，将所述查询向量和所述原始向量中最大分量的数值的预设比例数作为所述第一归一化矩阵和所述第二归一化矩阵在所述第二方向上的元素个数；以所述查询向量的每一个分量的序号作为所述第一归一化矩阵的在所述第一方向上的第一序号，若该分量的数值小于所述预设比例数，则以该分量的数值作为所述第一归一化矩阵的在所述第二方向上的第二序号，若该分量的数值大于所述预设比例数，则以所述
第二方向上的元素个数作为所述第二序号；以所述原始向量的每一个分量的序号作为所述第二归一化矩阵的在所述第一方向上第三序号，若该分量的数值小于所述预设比例数，则以该分量的数值作为所述第二归一化矩阵的在所述第二方向上的第四序号，若该分量的数值大于所述预...

【专利技术属性】
技术研发人员：王鑫炜，李剑楠，苏鹏，黄炎，陈书俊，李恒，梁广涛，
申请(专利权)人：上海爱可生信息技术股份有限公司，
类型：发明
国别省市：