一种基于深度学习的化妆品防腐剂智能选择方法技术

本发明专利技术公开一种基于深度学习的化妆品防腐剂智能选择方法，包括如下步骤：步骤S1，首先采集现有的化妆品成分数据，其次对采集到的数据进行预处理，然后将预处理后的数据随机划分成训练集、验证集和测试集；步骤S2，构建BERT多标签分类模型，将训练集和验证集输入到模型中进行训练，使用测试集评估模型；步骤S3，将已确定的化妆品成分输入到训练好的BERT多标签分类模型中，输出一种或多种适宜的防腐剂类别。该方法能够帮助化妆品研发人员选择适宜的防腐剂类型，缩短研发周期，减少研发成本，其采用注意力机制和经过预训练之后的BERT模型，提高了模型的预测性能。了模型的预测性能。了模型的预测性能。

【技术实现步骤摘要】
一种基于深度学习的化妆品防腐剂智能选择方法


[0001]本专利技术属于人工智能
，尤其涉及一种基于深度学习的化妆品防腐剂智能选择方法。

技术介绍

[0002]化妆品中含有大量的营养成分，为微生物的生长和繁殖提供了适宜的条件。然而从化妆品打开到丢弃的整个过程里，消费者用未消过毒的手指或工具接触产品，化妆品非常容易被进一步污染。因此在化妆品之中加入一定量的防腐剂来抑制微生物是非常必要的。
[0003]目前防腐剂添加主要依靠研究人员的经验和多次试验，并且化妆品使用的防腐剂具有多样性和一定程度的复配性，因此选择适宜的防腐剂势必会耗费大量的时间和成本。而随着计算机网络技术的飞速发展，深度学习方法已经被广泛应用到各个领域，本专利技术采用深度学习的方法准确选择化妆品适用的防腐剂，节省了大量的研发时间和成本，对化妆品研发工作具有重要的意义。

技术实现思路

[0004]本专利技术的目的，在于提供一种基于深度学习的化妆品防腐剂智能选择方法，能够帮助化妆品研发人员选择适宜的防腐剂类别，其采用注意力机制和经过预训练之后的BERT模型，提高了模型的预测性能，从而提高智能选择结果的准确性。
[0005]为了达成上述目的，本专利技术的解决方案是：
[0006]一种基于深度学习的化妆品防腐剂智能选择方法，包括如下步骤：
[0007]步骤S1，首先采集现有的化妆品成分数据，其次对采集到的数据进行预处理，然后将预处理后的数据随机划分成训练集、验证集和测试集；
[0008]步骤S2，构建BERT多标签分类模型，将训练集和验证集输入到模型中进行训练，使用测试集评估模型，直至得到训练好的符合收敛条件的BERT多标签分类模型；
[0009]步骤S3，将已确定的化妆品成分输入到训练好的BERT多标签分类模型中，输出一种或多种适宜的防腐剂类别。
[0010]上述步骤S1中，采集现有的化妆品成分数据，包括，采用爬虫程序在网站上爬取化妆品成分的数据。
[0011]上述步骤S1中，对采集到的数据进行预处理，包括：
[0012]首先，数据清理：采用re库的正则表达式过滤掉数据中无意义的字符；
[0013]其次，中英文字符转换：将成分中的英文字符转换为中文；
[0014]再次，标签提取：将防腐剂按类别存储在列表中，再利用python的正则表达式匹配化妆品的每一个成分，从而提取出所有防腐剂；创建字典，将所提取的防腐剂映射到相应的类别，最终得到防腐剂类别标签；
[0015]最后，特征提取：为化妆品的成分设定一个固定长度，并将其作为模型的输入。
[0016]上述步骤S2中，构建的BERT多标签分类模型架构包含12个编码层和1个全连接层，其中每个编码层都由多头注意力机制、残差连接和层归一化、全连接层、残差连接和层归一化四个结构组成，编码层从输入的文本中获得包含上下文语义信息的句向量，全连接层将分布式特征表示映射到样本的标记空间，输出相应类别。
[0017]上述BERT多标签分类模型的建模过程是：
[0018]步骤S2
‑
1，调用经过中文预训练的BERT分词器，该分词器首先对文本进行分词，然后利用BERT固定词库将分词后的token映射为对应的ID，最终得到文本的词嵌入、分割嵌入和位置嵌入，将这三个嵌入以组合的方式作为模型的输入；
[0019]步骤S2
‑
2，BERT多标签分类模型计算输入中所有词的相关度，基于相关度进一步计算单头自注意力值向量；
[0020]步骤S2
‑
3，BERT多标签分类模型中的多头注意力机制将多个不同的单头自注意力值向量连接成一个向量，并与权重矩阵相乘，再经过残差连接和层归一化输入到全连接层进行降维输出，再将输出结果经过残差连接和层归一化，就得到嵌入全文语义特征的词向量，该向量与输入矩阵的维度相同；
[0021]步骤S2
‑
4，将最后一个编码器输出的词向量输入到全连接层中，输出预测概率大于设定值的类别；
[0022]上述步骤S2
‑
2的具体内容是：
[0023]步骤S2
‑2‑
1，将输入矩阵X分别与查询向量矩阵W
Q
，键向量矩阵W
K
，值向量矩阵W
V
相乘，得到Q，K，V：
[0024]Q＝X
·
W
Q
[0025]K＝X
·
W
K
[0026]V＝X
·
W
V
[0027]步骤2
‑2‑
2，将Q与K的转置矩阵K
T
相乘，再除以矩阵X的维度d
k
的均方根，得到X中各个词之间的相关度：
[0028][0029]步骤2
‑2‑
3，将E通过softmax函数归一化，得到归一化之后各个词之间的相关度Attn：
[0030]Attn＝Softmax(E)
[0031]步骤2
‑2‑
4，将Attn相关度矩阵与V相乘进行加权求和操作，得到单头自注意力值向量：
[0032][0033]上述步骤S2
‑
3中，将每一个单头自注意力值计算的向量作为一个头部，该模型的头部是八个，具体的计算过程如下：
[0034]head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
[0035]MultiHead(Q,K,V)＝Concat(head1,
…
,head8)W
O
[0036]其中，head
i
表示第i个单头自注意力值向量的头部，i＝1,2,
…
,8；W
O
表示权重矩阵；MultiHead(Q,K,V)表示最终得到的连接在一起的注意力值向量。
[0037]上述步骤S2中，BERT多标签分类模型的训练过程包括如下步骤：
[0038]步骤S21，将化妆品的成分输入到构建的BERT多标签分类模型中；
[0039]步骤S22，BERT多标签分类模型输出预测的防腐剂类别；
[0040]步骤S23，定义损失函数，利用损失函数计算预测值和真实值之间的损失，使用反向传播算法来迭代优化直到模型收敛并保存当前模型作为训练好的BERT多标签分类模型。
[0041]上述步骤S23中，定义损失函数为BCEWithLogitsLoss，其公式如下：
[0042][0043][0044][0045]其中，N表示样本个数，M表示标签个数，表示第n个样本的第i个标签的预测值，表示第n个样本的第i个标签实际值，W
i
是处理标签间样本不均衡问题的超参数；为sigmoid函数，能够把x映射到(0,1)之间。
[0046]上述步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的化妆品防腐剂智能选择方法，其特征在于包括如下步骤：步骤S1，首先采集现有的化妆品成分数据，其次对采集到的数据进行预处理，然后将预处理后的数据随机划分成训练集、验证集和测试集；步骤S2，构建BERT多标签分类模型，将训练集和验证集输入到模型中进行训练，使用测试集评估模型，直至得到训练好的符合收敛条件的BERT多标签分类模型；步骤S3，将已确定的化妆品成分输入到训练好的BERT多标签分类模型中，输出一种或多种适宜的防腐剂类别。2.如权利要求1所述的基于深度学习的化妆品防腐剂智能选择方法，其特征在于：所述步骤S1中，采集现有的化妆品成分数据，包括，采用爬虫程序在网站上爬取化妆品成分的数据。3.如权利要求1所述的基于深度学习的化妆品防腐剂智能选择方法，其特征在于：所述步骤S1中，对采集到的数据进行预处理，包括：首先，数据清理：采用re库的正则表达式过滤掉数据中无意义的字符；其次，中英文字符转换：将成分中的英文字符转换为中文；再次，标签提取：将防腐剂按类别存储在列表中，再利用python的正则表达式匹配化妆品的每一个成分，从而提取出所有防腐剂；创建字典，将所提取的防腐剂映射到相应的类别，最终得到防腐剂类别作为标签；最后，特征提取：为化妆品的成分设定一个固定长度，并将其作为模型的输入。4.如权利要求1所述的基于深度学习的化妆品防腐剂智能选择方法，其特征在于：所述步骤S2中，构建的BERT多标签分类模型架构包含12个编码层和1个全连接层，其中每个编码层都由多头注意力机制、残差连接和层归一化、全连接层、残差连接和层归一化四个结构组成，编码层从输入的文本中获得包含上下文语义信息的句向量，全连接层将分布式特征表示映射到样本的标记空间，输出相应类别。5.如权利要求4所述的基于深度学习的化妆品防腐剂智能选择方法，其特征在于：所述BERT多标签分类模型的建模过程是：步骤S2
‑
1，调用经过中文预训练的BERT分词器，该分词器首先对文本进行分词，然后利用BERT固定词库将分词后的token映射为对应的ID，最终得到文本的词嵌入、分割嵌入和位置嵌入，将这三个嵌入以组合的方式作为模型的输入；步骤S2
‑
2，BERT多标签分类模型计算输入中所有词的相关度，基于相关度进一步计算单头自注意力值向量；步骤S2
‑
3，BERT多标签分类模型中的多头注意力机制将多个不同的单头自注意力值向量连接成一个向量，并与权重矩阵相乘，再经过残差连接和层归一化输入到全连接层进行降维输出，再将输出结果经过残差连接和层归一化，就得到嵌入全文语义特征的词向量，该向量与输入矩阵的维度相；步骤S2
‑
4，将最后一个编码器输出的词向量输入到全连接层中，输出预测概率大于设定值的类别。6.如权利要求5所述的基于深度学习的化妆品防腐剂智能选择方法，其特征在于：所述步骤S2
‑
2的具体内容是：步骤S2
‑2‑
1，将输入矩阵X分别与查询向量矩阵W
Q
，键向量矩阵W
K
，值向量矩阵W
V
相乘，
得到Q，K...

【专利技术属性】
技术研发人员：赵鸿萍，杜克，司婉雨，唐丽，王倩，顾天骄，傅远鹏，王尔安，
申请(专利权)人：中国药科大学，
类型：发明
国别省市：