一种基于多模态融合神经网络的用户流失概率计算方法技术

本发明专利技术提供了一种基于多模态融合神经网络的用户流失概率计算方法，涉及深度学习领域，该用户流失概率计算方法包括构造多模态融合神经网络的初始化模型、训练所述多模态融合神经网络和基于所述多模态融合神经网络计算平台目标用户的流失概率三个实施步骤，通过新构建的多模态融合神经网络及特殊设计的训练方法取得更好的客户流失概率预测效果，具有良好的实用性。好的实用性。好的实用性。

【技术实现步骤摘要】
一种基于多模态融合神经网络的用户流失概率计算方法


[0001]本专利技术涉及深度学习领域，具体涉及到一种基于多模态融合神经网络的用户流失概率计算方法。

技术介绍

[0002]关于神经网络模型在用户流失预测方面的应用，主要有逻辑回归预测模型、决策树预测模型、K紧邻算法预测模型、自适应增强算法测试模型等模型。神经网络模型的性能的评价指标主要包括客户准确度(Accuracy)、精确率(Precision)、召回率(Recall)和综合评价指标(F
‑
Measure)，现有技术下应用于用户流失预测的相关预测模型的性能还具有一定的提升空间，需要进一步进行开发和挖掘。

技术实现思路

[0003]本专利技术提供了一种基于多模态融合神经网络的用户流失概率计算方法，通过新构建的多模态融合神经网络及特殊设计的训练方法取得更好的客户流失概率预测效果。
[0004]相应的，本专利技术还提供了一种基于多模态融合神经网络的用户流失概率计算方法，包括步骤一：构造多模态融合神经网络的初始化模型；
[0005]步骤二：训练所述多模态融合神经网络；
[0006]步骤三：基于所述多模态融合神经网络计算平台目标用户的流失概率：
[0007]所述步骤一包括：
[0008]所述初始化模型包括用于从数值型数据提取数值特征的数值特征提取神经网络、用于从文本型数据提取文本特征的文本特征提取神经网络、用于融合所述数值特征和所述文本特征并根据融合结果导出与用户流失概率关联的二分类结果的融合预测神经网络，任意给定所述数值特征提取神经网络、所述数值特征提取神经网络和所述融合预测神经网络的参数；
[0009]所述步骤二包括：
[0010]构造一用于从所述融合结果重构出文本型重构数据的文本特征重构神经网络和一用于从所述融合结果重构出数值型重构数据的数值特征重构神经网络，任意给定所述文本特征重构神经网络和所述数值特征重构神经网络的参数；
[0011]从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数；
[0012]使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数；
[0013]联合第一损失函数、第二损失函数和第三损失函数调整所述数值特征提取神经网络、所述数值特征提取神经网络、所述融合预测神经网络、文本特征重构神经网络和数值特征重构神经网络的参数并进行迭代训练，直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值；
[0014]所述步骤三包括：
[0015]提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据；
[0016]将所述数值型目标数据输入至所述多模态融合神经网络中的数值特征提取神经网络中，并将所述文本型目标数据输入至所述多模态融合神经网络中的文本特征提取神经网络中；
[0017]所述多模态融合神经网络的融合预测神经网络输出关于所述平台目标用户的流失概率的二分类结果。
[0018]可选的实施方式，所述数值特征提取神经网络和所述文本特征提取神经网络具有相同的隐藏层数，且所述数值特征提取神经网络和所述文本特征特区神经网络位于同一层级的隐藏层具有相同的隐藏层结构。
[0019]可选的实施方式，所述从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数包括：
[0020]从关于平台用户的N份训练数据中迭代提取第i位平台用户的训练数据x
i
＝(τ
i～0
，τ
i～1
，τ
i～2
，
…
τ
i～(d1+d2
))对所述初始化模型进行训练，其中，τ
i～0
为第i位平台用户的流失标签，留存用户的流失标签为(1，0)，流失用户的流失标签为(0，1)；
[0021]根据数据类型将所述训练数据x
i
拆分为数值型数据x
1，i
＝(ω
i～1
，ω
i～2
，
…
，ω
i～d1
)、文本型数据x
2，i
＝(λ
i～1
，λ
i～2
，
…
，λ
i～d2
)和流失标签x
0，i
＝(τ
i～0
)；
[0022]将所述数值型数据x
1，i
＝(ω
i～1
，ω
i～2
，
…
，ω
i～d1
)输入至所述数值特征提取神经网络中，将所述文本型数据x
2，i
＝(λ
i～1
，λ
i～2
，
…
，λ
i～d2
)输入至所述文本特征提取神经网络中；
[0023]所述数值特征提取神经网络从所述数值型数据x
1，i
＝(ω
i～1
，ω
i～2
，
…
，ω
i～d1
)提取出数值特征z
1，i
，所述文本特征提取神经网络从所述文本型数据x
2，i
＝(λ
i～1
，λ
i～2
，
…
，λ
i～d2
)提取出文本特征z
2，i
，对所述数值特征z
1，i
和文本特征z
2，i
进行级联得到级联特征z
i
＝[z
1，i
，z
2，i
]，利用融合预测神经网络从所述级联特征z
i
中提取融合特征z
i
′
并对所述融合特征z
i
′
进行二分类，得到二分类向量q
i
＝(μ
i～1
，μ
i～2
)，使用softmax函数对所述二分类向量q
i
＝(μ
i～1
，μ
i～2
)进行处理得到二分类概率向量其中，为实时状态下的平台目标用户的流失概率，为实时状态下的平台目标用户的留存概本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合神经网络的用户流失概率计算方法，其特征在于，包括步骤一，构造多模态融合神经网络的初始化模型；步骤二，训练所述多模态融合神经网络；步骤三，基于所述多模态融合神经网络计算平台目标用户的流失概率：所述步骤一包括：所述初始化模型包括用于从数值型数据提取数值特征的数值特征提取神经网络、用于从文本型数据提取文本特征的文本特征提取神经网络、用于融合所述数值特征和所述文本特征并根据融合结果导出与用户流失概率关联的二分类结果的融合预测神经网络，任意给定所述数值特征提取神经网络、所述数值特征提取神经网络和所述融合预测神经网络的参数；所述步骤二包括：构造一用于从所述融合结果重构出文本型重构数据的文本特征重构神经网络和一用于从所述融合结果重构出数值型重构数据的数值特征重构神经网络，任意给定所述文本特征重构神经网络和所述数值特征重构神经网络的参数；从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数；使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数；联合第一损失函数、第二损失函数和第三损失函数调整所述数值特征提取神经网络、所述数值特征提取神经网络、所述融合预测神经网络、文本特征重构神经网络和数值特征重构神经网络的参数并进行迭代训练，直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值；所述步骤三包括：提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据；将所述数值型目标数据输入至所述多模态融合神经网络中的数值特征提取神经网络中，并将所述文本型目标数据输入至所述多模态融合神经网络中的文本特征提取神经网络中；所述多模态融合神经网络的融合预测神经网络输出关于所述平台目标用户的流失概率的二分类结果。2.如权利要求1所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，所述数值特征提取神经网络和所述文本特征提取神经网络具有相同的隐藏层数，且所述数值特征提取神经网络和所述文本特征特区神经网络位于同一层级的隐藏层具有相同的隐藏层结构。3.如权利要求1所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在
于，所述从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数包括：从关于平台用户的N份训练数据中迭代提取第
i
位平台用户的训练数据x
i
＝(τ
i～0
，τ
i～1
，τ
i～2
，
…
τ
i～(d1+d2
))对所述初始化模型进行训练，其中，τ
i～0
为第i位平台用户的流失标签，留存用户的流失标签为(1，0)，流失用户的流失标签为(0，1)；根据数据类型将所述训练数据x
i
拆分为数值型数据x
1，i
＝(ω
i～1
，ω
i～2
，
…
，ω
i～d1
)、文本型数据x
2，i
＝(λ
i～1
，λ
i～2
，
…
，λ
i～d2
)和流失标签x
0，i
＝(τ
i～0
)；将所述数值型数据x
1，i
＝(ω
i～1
，ω
i～2，
…
，ω
i～d1
)输入至所述数值特征提取神经网络中，将所述文本型数据x
2，i
＝(λ
i～1
，λ
i～2
，
…
，λ
i～d2
)输入至所述文本特征提取神经网络中；所述数值特征提取神经网络从所述数值型数据x
1，i
＝(ω
i～1
，ω
i～2
，
…
，ω
i～d1
)提取出数值特征z
1，i
，所述文本特征提取神经网络从所述文本型数据x
2，i
＝(λ
i～1
，λ
i～2
，
…
，λ
i～d2
)提取出文本特征z
2，i
，对所述数值特征z
1，i
和文本特征z
2，i
进行级联得到级联特征z
i
＝[z
1，i
，z
2，i
]，利用融合预测神经网络从所述级联特征z
i
中提取融合特征z
i
′
并对所述融合特征z
i
′
进行二分类，得到二分类向量q
i
＝(μ
i～1
，μ
i～2
)，使用softmax函数对所述二分类向量q
i
＝(μ
i～1
，μ
i～2
)进行处理得到二分类概率向量其中，为实时状态下的平台目标用户的流失概率，为实时状态下的平台目标用户的留存概率；通过第一损失函数计算二分类概率向量相对于流失标签的第一损失值。4.如权利要求3所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，所述使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数包括：利用所述数值特征重构神经网络从所述z
i
′
重构出数值型数据x
1，i
′
＝(ω
i～1
′
，ω
i～2
′
，
…
，ω
i～d1
′
)并将数值型数据x
1，i
′
输入至所述数值特征提取神经网络迭代；利用所述文本特征重构神经网络从所述...

【专利技术属性】
技术研发人员：李云，夏国恩，王粟，
申请(专利权)人：广西财经学院，
类型：发明
国别省市：