System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据分析与挖掘和机器学习领域,具体涉及一种基于改进的频繁增长模式算法的资源智能推荐方法和装置。
技术介绍
1、推荐系统技术能够挖掘数据隐藏价值,协同用户数据和项目属性捕捉客户的需求,提供个性化信息服务,让用户获取所需要的信息,从而提高数据的有效利用率。推荐系统在缓解数据过载的问题中发挥着重要作用,能够协助用户发现潜在的兴趣,缓解数据过量导致用户无法发现自己需要的信息。
2、推荐系统已经成为许多电子商务和多媒体平台的内核,个性化推荐服务能够帮助平台吸引用户的注意力,提高用户访问量。推荐系统为网络平台的发展提供源源不断的动力,其商业价值也引起工业界和学术界的关注。深度学习作为一项热门技术,已经在计算机视觉、自然语言处理等多个领域展现出无限潜力,也为推荐系统提供了新的方法。凭借深度学习技术的强大表征能力,学习用户和项目的隐向量表示,挖掘用户的历史行为数据、商品的多样化数据以及上下文场景信息,捕获用户潜在偏好,向用户生成更加精确的个性化推荐列表。
3、传统推荐算法主要包括协同过滤推荐算法、矩阵分解、逻辑回归模型、因子分解机模型、梯度提升树+逻辑回归(gbdt+lr)模型。传统的推荐算法通常不需要大量的领域知识,容易损失上下文信息,而且表达能力较差,容易过拟合。
4、随着深度学习技术的发展,深度学习与推荐系统进行结合能够缓解传统推荐模型表达能力不足的问题。深度学习的表征能力更强,需要大量数据训练模型,能够缓解数据规模大和数据稀疏问题。深度学习常见的结构有:多层感知机、卷积神经网络、循环神经
5、多层感知机是前馈结构的神经网络,数据通过输入层,经过多个隐藏层,汇入输出层计算最终结果,利用bp反向传播算法来监督训练神经网络,调整每层神经元的权重,拟合非线性函数,缩小预测值与真实值的误差.多层感知机在推荐系统中常用于挖掘高阶特征交叉[8],学习潜在数据模式。
6、卷积神经网络cnn是模仿生物视觉系统构建的网络结构[9],使用卷积操作处理二维数据特征,在计算机视觉领域应用广泛。cnn中的卷积运算的参数共享减少了模型中需要学习的参数数量,相较于全连接神经网络计算效率更高。在推荐系统中卷积神经网络主要用于提取视觉特征、文本特征,融合用户画像特征,从更多方而捕获用户偏好,常应用于图片推荐、新闻推荐、多模态推荐等场景。
7、为了解决时间间隔过长导致的信息流失问题和梯度消失与爆炸问题,构建出新的变体长短期记忆网络(lstm)和门控循环单元(gru)。在推荐系统中,循环神经网络可用在基于会话推荐,基于用户当前会话行为,学习用户的兴趣迁移过程,预测用户下一个可能交互的项目。
8、注意力机制是一种模仿人类视觉的局部信号处理机制,人在观察事物过程中通常关注于部分重要信息,减少对无关信息的注意力,从而快速做出判断.注意力机制帮助推荐模型选择更有效的特征,让模型关注于更重要信息,减小数据噪声对结果的影响。深度学习的训练过程常被看做“黑盒”,整个训练过程无法预知,输出的结果无法提供很好的解释性.
技术实现思路
1、有鉴于此,本专利技术提供了一种基于改进的频繁增长模式算法的试验资源智能推荐方法,包括以下步骤:
2、步骤1,对原始试验资源数据进行预处理,输出预处理完成的数据集;
3、步骤2,对预处理后的试验资源数据进行特征提取,将结构化数据和非结构化数据映射为统一的特征向量表示,输出特征向量化的试验资源数据表示;
4、步骤3,接收用户输入的试验需求文本,进行语义理解后输出试验需求语义表示;
5、步骤4,基于特征向量化的所述试验资源数据表示,执行改进的频繁增长模式算法,输出频繁模式树;
6、步骤5,根据频繁模式树生成频繁模式,并根据预设指标筛选出频繁关联规则集;
7、步骤6,将筛选出的所述频繁关联规则集与所述试验需求语义表示相结合,应用于协同过滤推荐模型,为用户生成个性化的试验资源推荐列表。
8、特别地,所述步骤1中的预处理包括清洗、标准化和缺失值填补。
9、特别地,所述步骤2中,采用深度学习模型对所述试验资源数据进行特征提取和表示向量化。
10、特别地,所述步骤3执行以下子步骤:
11、步骤3.1采用预训练语言模型对所述试验需求文本进行分词和需求对象标注;
12、步骤3.2根据需求对象上下文进行段落划分;
13、步骤3.3将所述需求对象及所在段落输入语义理解模型,抽取关联属性词并标注。
14、特别地,所述步骤3.3具体为:
15、步骤3.3.1采用roberta-wwm-ext预训练模型对待抽取文本进行分词和标注需求对象,并根据需求对象上下文进行段落划分和标注;
16、步骤3.3.2将步骤3.3.1中的需求对象标注结果和对象所在段落作为roberta-wwm-ext模型的输入,抽取出与该段落中的需求对象关联的属性词,采用crf算法进行标签标注。
17、特别地,所述crf算法中,对于指定序列x(x1,x2,…,xn),其对应标签为y(y1,y2,…,yn),满足下列条件:
18、p(yi|x,y1,…,yi-1,yi+1,…,yn)=p(yi|x,yi-1,yi+1)
19、p表示条件概率,即在给定观测序列x和除了yi的其他标签序列y的条件下,第i个标签yi的条件概率;
20、设u为解码层输出的权重矩阵,进而可以得出评估分数s(x,y),即:
21、
22、其中,a为转移矩阵,n为序列长度,每个词语对应序列标签y的最大概率可以用softmax函数计算,训练时一般使用极大似然法求解p(y|x)的最大后验概率:
23、
24、特别地,所述步骤4中的改进的频繁增长模式算法包括:
25、步骤4.1扫描数据集,统计每个项的支持度扫描数据集统计项支持度;
26、步骤4.2使用k-means算法对所述每个项进行聚类,筛选出支持度不低于阈值的簇,构成支持度达到预先设定的阈值的单个项集合,即频繁1项集f1;
27、步骤4.3重复上述步骤,直到无法生成新的候选项集,得到高阶频繁项集列表;
28、步骤4.4将所述频繁项集按照支持度降序排序,将排序后的频繁项集列表中的项按照支持度插入到红黑树中,每个节点存储一个项及其支持度信息;
29、步骤4.5基于所述红黑树构建并输出所述频繁模式树。
30、特别地,所述步骤5包括:
31、步骤5.1,根据所述频繁模式树,对每个频繁项集构建对应的条件频繁模式树;
32、步骤5.2,对所述条件频繁模式树进行挖掘,生成频繁模式列表,每个频繁模式对应一个条件频繁模式树;
33、步骤5.3,计算每个频繁模式的支持度,和置信度,
34、步骤5.4,根据设定的最本文档来自技高网...
【技术保护点】
1.一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤1中的预处理包括清洗、标准化和缺失值填补。
3.根据权利要求2所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤2中,采用深度学习模型对所述试验资源数据进行特征提取和表示向量化。
4.根据权利要3所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤3执行以下子步骤:
5.根据权利要4所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤3.3具体为:
6.根据权利要求5所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述CRF算法中,对于指定序列X(x1,x2,...,xn),其对应标签为Y(y1,y2,...,yn),满足下列条件:
7.如权利要求6所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所
8.根据权利要求7所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤5包括:
9.根据权利要求8所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤6具体包括:
10.一种基于改进的频繁增长模式算法的试验资源智能推荐装置,其特征在于,包括:
...【技术特征摘要】
1.一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤1中的预处理包括清洗、标准化和缺失值填补。
3.根据权利要求2所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤2中,采用深度学习模型对所述试验资源数据进行特征提取和表示向量化。
4.根据权利要3所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤3执行以下子步骤:
5.根据权利要4所述的一种基于改进的频繁增长模式算法的试验资源智能推荐方法,其特征在于,所述步骤3.3具体为:
6.根...
【专利技术属性】
技术研发人员:包阳,李晶,张静,李飞翔,杜袁俊,李洋,戴文博,
申请(专利权)人:中国人民解放军军事科学院系统工程研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。