一种基于局部敏感哈希算法的相似人群的扩展算法制造技术

本发明专利技术提供一种基于局部敏感哈希算法的相似人群的扩展算法，通过采用开源工具datasketch对原始数据特征进行计算，以获得所述全体用户的特征向量的加权最小哈希，可以大大减少运算量，提升了运算速度和准确性的同时，降低计算成本；还使用开源工具datasketch构建的局部敏感哈希模型，可以根据存储器的内存大小及计算精确度的要求获得，使得局部敏感哈希模型的准确性高。

【技术实现步骤摘要】
一种基于局部敏感哈希算法的相似人群的扩展算法
本专利技术涉及信息处理
，尤其涉及一种基于局部敏感哈希算法的相似人群的扩展算法。
技术介绍
在数字营销中，如何快速、精准地找到目标客户群是互联网时代富有挑战的一项工作。相似人群的扩展(Look-alike)是从种子用户出发寻找最相似的人群算法的统称，其作为广告投放领域中一类重要的算法，可以帮助广告主高效地定位营销人群。常见的Look-alike算法思路具体如下：第一种，基于简单的相似度计算，比如Cosine(连续值)或者Jaccard(01值)，通过计算两两用户的相似度，从种子用户出发寻找相似的用户，该方法逻辑简单，但计算量大，使得其计算成本高，且计算准确性较差。第二种，基于逻辑回归进行有监督的二分类预测的方法，这种方法只需要线性的计算量，在线预测时算法复杂度较低，但是这一种方法存在负样本取样难、冷启动难等问题，造成计算准确性较差。第三种，基于segment的近似搜索系统，即对用户打标签，通过标签聚合用户群体并给出候选的营销对象，成熟的标签系统可以带来较好的营销效果，而且在线应用时非常简单和快速，但是这种系统需要花费大量资源来预先挖掘标签，同时该系统的后期维护和改进的成本都相对较高，计算准确性较差。
技术实现思路
本专利技术的目的在于，提供一种基于局部敏感哈希算法的相似人群的扩展算法，可以提高相似人群的扩展算法的高效性和准确性的同时，降低计算成本。为了解决上述问题，本专利技术提供一种基于局部敏感哈希算法的相似人群的扩展算法，包括以下步骤：步骤S1：根据返利网已有的用户画像准备全体用户的原始数据特征；步骤S2：根据所述原始数据特征使用开源工具datasketch计算出所述全体用户的特征向量的加权最小哈希，以及构建局部敏感哈希模型，以获得LSH索引；步骤S3：输入种子用户ID，根据所述原始数据特征得到所述种子用户的数据特征；步骤S4：根据所述LSH索引获得与所述种子用户的数据特征相似的候选用户ID及候选用户的数据特征，接着对所述候选用户的各数据特征进行打分，以获得候选用户的每个数据特征的分数；步骤S5：计算出所述种子用户的数据特征的重要程度；步骤S6：根据所述重要程度及所述分数计算所述候选用户的得分；以及步骤S7：对所述得分进行排序，并根据所述排序得到最终的目标用户。可选的，步骤S1包括：获取返利网已有的用户画像，根据所述用户画像得到全员用户的原始数据特征，其中，所述原始数据特征包括用户的类目偏好、品牌等级偏好、购物性别偏好、购物年龄段偏好、商城偏好、购买力、优惠敏感度、地域和手机os；对所述原始数据特征进行数据预处理；以及通过稀疏矩阵将经过数据预处理所得到的数据进行数据拼接。进一步的，对所述原始数据特征进行数据预处理包括：将所述原始数据特征分为分值数据和分类数据，其中，所述分值数据包括品牌等级偏好、优惠敏感度和购买力，所述分类数据包括类目偏好、购物性别偏好、购物年龄段偏好、商城偏好、地域和手机os；以及对所述分值数据进行归一化处理，对所述分类数据进行离散化处理。进一步的，步骤S2包括：使用开源工具datasketch并根据拼接后的数据计算出所述全体用户的特征向量的加权最小哈希；以及使用开源工具datasketch并根据所述加权最小哈希构建LSH模型，以获得LSH索引。进一步的，使用开源工具datasketch中的WeightedminHash算法并根据拼接后的数据计算出所述全体用户的特征向量的加权最小哈希。进一步的，使用开源工具datasketch中的局部敏感哈希算法并根据所述加权最小哈希构建LSH模型，以获得LSH索引。进一步的，步骤S4包括：在所述LSH索引中输入所述种子用户的数据特征，以对所述LSH模型进行扩展，从而得到与所述种子用户的数据特征相似的多个候选用户ID；根据所述候选用户ID匹配数据拼接后的所述数据，以得到所述候选用户的数据特征；以及对所述候选用户的各数据特征进行打分，以获得每个候选用户的每个数据特征的分数。可选的，步骤S5中，所有的所述种子用户的第j个数据特征的权重wj满足以下公式：其中，m为所述种子用户的数据特征的个数，m≥3且为正整数；pj为所有所述种子用户的第j个数据特征在种子用户的人群中出现的概率，且pj＞0.1；qj为所有所述种子用户的第j个数据特征在负样本中出现的概率，且j≤m。进一步的，步骤S6中，第i个所述候选用户的得分score-ui通过满足以下公式：其中，sij为第i个候选用户的第j个数据特征的分数；wj为所有所述种子用户的第j个数据特征的权重；n为候选用户的数据特征的个数，i≤n，且n为正整数。可选的，步骤S7中，根据所述得分对所有的候选用户的得分从高向低依次排序，并选出排序靠前的多个候选用户，以得到最终的目标用户。与现有技术相比，本专利技术具有以下有益效果：本专利技术提供一种基于局部敏感哈希算法的相似人群的扩展算法，包括以下步骤：根据返利网已有的用户画像准备全体用户的原始数据特征；根据所述原始数据特征使用开源工具datasketch计算出所述全体用户的特征向量的加权最小哈希，以及构建局部敏感哈希模型，以获得LSH索引；输入种子用户ID，根据所述原始数据特征得到所述种子用户的数据特征；根据所述LSH索引获得与所述种子用户的数据特征相似的候选用户ID及候选用户的数据特征，接着对所述候选用户的各数据特征进行打分，以获得候选用户的每个数据特征的分数；计算出所述种子用户的数据特征的重要程度；根据所述重要程度及所述分数计算所述候选用户的得分；以及对所述得分进行排序，并根据所述排序得到最终的目标用户。本专利技术通过采用开源工具datasketch对原始数据特征进行计算，以获得所述全体用户的特征向量的加权最小哈希，可以大大减少运算量，提升了运算速度和准确性的同时，降低计算成本；还使用开源工具datasketch构建的局部敏感哈希模型，可以根据存储器的内存大小及计算精确度的要求获得，使得局部敏感哈希模型的准确性高。进一步的，本专利技术的获取返利网已有的用户画像，根据所述用户画像得到全员用户的原始数据特征，其中，所述原始数据特征包括用户的类目偏好、品牌等级偏好、购物性别偏好、购物年龄段偏好、商城偏好、购买力、优惠敏感度、地域和手机os；对所述原始数据特征进行数据预处理；以及通过稀疏矩阵将经过数据预处理所得到的数据进行数据拼接。(权2)，本专利技术采用的稀疏矩阵可以在计算生成局部敏感哈希模型时大量减少没有意义的运算，大大减少了运算量，提升了运算速度，即提高相似人群的扩展算法的高效性的同时，降低计算成本。附图说明图1为本专利技术一实施例的一种基于局部敏感哈希算法的相似人群的扩展算法的流程图。具体实施方式以下将对本专利技术的一种基于局部敏感哈希算法的相似人群的扩展算法作进本文档来自技高网...

【技术保护点】
1.一种基于局部敏感哈希算法的相似人群的扩展算法，其特征在于，包括以下步骤：/n步骤S1：根据返利网已有的用户画像准备全体用户的原始数据特征；/n步骤S2：根据所述原始数据特征使用开源工具datasketch计算出所述全体用户的特征向量的加权最小哈希，以及构建局部敏感哈希模型，以获得LSH索引；/n步骤S3：输入种子用户ID，根据所述原始数据特征得到所述种子用户的数据特征；/n步骤S4：根据所述LSH索引获得与所述种子用户的数据特征相似的候选用户ID及候选用户的数据特征，接着对所述候选用户的各数据特征进行打分，以获得候选用户的每个数据特征的分数；/n步骤S5：计算出所述种子用户的数据特征的重要程度；/n步骤S6：根据所述重要程度及所述分数计算所述候选用户的得分；以及/n步骤S7：对所述得分进行排序，并根据所述排序得到最终的目标用户。/n

【技术特征摘要】
1.一种基于局部敏感哈希算法的相似人群的扩展算法，其特征在于，包括以下步骤：
步骤S1：根据返利网已有的用户画像准备全体用户的原始数据特征；
步骤S2：根据所述原始数据特征使用开源工具datasketch计算出所述全体用户的特征向量的加权最小哈希，以及构建局部敏感哈希模型，以获得LSH索引；
步骤S3：输入种子用户ID，根据所述原始数据特征得到所述种子用户的数据特征；
步骤S4：根据所述LSH索引获得与所述种子用户的数据特征相似的候选用户ID及候选用户的数据特征，接着对所述候选用户的各数据特征进行打分，以获得候选用户的每个数据特征的分数；
步骤S5：计算出所述种子用户的数据特征的重要程度；
步骤S6：根据所述重要程度及所述分数计算所述候选用户的得分；以及
步骤S7：对所述得分进行排序，并根据所述排序得到最终的目标用户。


2.如权利要求1所述的扩展算法，其特征在于，步骤S1包括：
获取返利网已有的用户画像，根据所述用户画像得到全员用户的原始数据特征，其中，所述原始数据特征包括用户的类目偏好、品牌等级偏好、购物性别偏好、购物年龄段偏好、商城偏好、购买力、优惠敏感度、地域和手机os；
对所述原始数据特征进行数据预处理；以及
通过稀疏矩阵将经过数据预处理所得到的数据进行数据拼接。


3.如权利要求2所述的扩展算法，其特征在于，对所述原始数据特征进行数据预处理包括：
将所述原始数据特征分为分值数据和分类数据，其中，所述分值数据包括品牌等级偏好、优惠敏感度和购买力，所述分类数据包括类目偏好、购物性别偏好、购物年龄段偏好、商城偏好、地域和手机os；以及
对所述分值数据进行归一化处理，对所述分类数据进行离散化处理。


4.如权利要求2所述的扩展算法，其特征在于，步骤S2包括：
使用开源工具datasketch并根据拼接后的数据计算出所述全体用户的特征向量的加权最小哈希；以及
使用开源...

【专利技术属性】
技术研发人员：葛永昌，
申请(专利权)人：上海垚亨电子商务有限公司，
类型：发明
国别省市：上海;31