【技术实现步骤摘要】
本专利技术涉及的是一种网络资源分配领域的技术，具体是一种基于感知不确定性轻量化模型的网络资源效用预估方法。
技术介绍
1、现有技术通过机器学习特别是深度学习的方法来进行网络资源的分配。深度学习能根据用户的历史记录数据，推测出哪些资源对哪些用户来说拥有更高的效用，也因而更值得分配给这些用户，从而优化用户的上网体验。现有的网络资源效用的预估算法主要聚焦于如何更好地利用用户的长历史信息，用更复杂的神经网络结构来更准确地进行预估。然而忽略一个问题，即在互联网爆炸性增长的背景下，网络资源的数量级不断增大、用户的历史记录也越来越长，也就意味在利用更复杂且准确的模型预估网络资源对用户的效用的同时，也需要耗费更多的算力和更长的计算时间。然而网络资源的分配往往需要实时产生，因为需要将其实时的推送给用户，过长的计算时间会影响用户的上网体验。因此，具有轻量化网络资源效用预估模型的需要。
2、但轻量化的网络资源效用预估模型为减少运算量，无法较好利用较多的信息作为输入，即无法使用用户的长历史记录和全部网络资源对象的特征；另外，这样的模型为更快地计算，模型结构也更为简单，参数量更少。这两者同时会使得预估的准确度下降，和复杂模型的精确度差距较大。在这种情况下，网络资源分配平台亟需解轻量化模型预估的不确定性，即和复杂准确模型预估的差异。如预估的不确定性过高，则平台无法保证该预估出来的网络资源的效用，那么不宜冒险分配给用户。
技术实现思路
1、本专利技术针对现有技术存在的上述不足，提出一种基于感知不确定
2、本专利技术是通过以下技术方案实现的：
3、本专利技术涉及一种基于感知不确定性轻量化模型的网络资源效用预估方法，通过在离线阶段构建并训练教师网络和学生网络，在在线阶段通过学生网络对输入用户历史信息和网络资源对象的特征进行预估，同时获得估计的该网络资源的效用和模型预估的不确定性。
4、所述的教师网络优选采用深度兴趣网络，具体包括：嵌入层、局部激活单元、连接和池化单元、全连接层和输出层，其中：嵌入层对全部用户历史信息和全部网络资源对象的特征离散特征(u,a)进行处理，得到等长的带语意信息的向量；局部激活单元根据用户历史行为交叉识别与当前候选对象相关的行为，根据相关性设置权重；连接和池化单元将所有的交叉特征连接，获得用于作为软标签训练学生网络的第一特征抽取层，以此表征用户兴趣；全连接层根据第一抽取层得到网络资源的效用在分对数空间的输出logitv(u,a)，最后通过输出层将值映射到(0,1)之间，得到网络资源的效用v(u,a)。
5、所述的学生网络优选采用条件变分自动编解码网络，具体包括：代表先验分布pθ(z|x)的先验网络、代表变分后验分布qφ(z|x,y)的编码网络代表pθ(y|x,z)的解码网络，其中：先验网络根据部分用户历史信息和部分网络资源对象的特征进行神经网络的权重运算，得到假定满足高斯分布的隐变量z的先验分布的均值和方差；编码器根据教师网络的第一特征抽取层、部分用户历史信息和部分网络资源对象的特征进行神经网络的权重运算，得到假定满足高斯分布的隐变量z的后验分布的均值和方差；解码器根据隐变量z和部分网络资源对象的特征进行神经网络的权重运算，得到网络资源效用的均值和方差。
6、所述的先验网络、编码器和解码器，进一步优选采用单隐藏层的全连接网络，
7、所述的教师网络，采用的训练样本来自互联网用户的历史浏览数据和网页信息，其训练标签为能代表网络资源效用价值的用户行为的二元标签l∈{0,1}，如用户是否点击，是否浏览；其具体通过以下方式进行训练：选择和合适的样本批次大小和学习率，将训练集通过小批次的方式进行分割分别输入模型，然后用损失函数根据输出结果和标签衡量模型拟合质量，之后根据交叉熵损失函数lbce(l,v(u,a))进行随机梯度下降。
8、所述的学生网络，采用的训练样本来自互联网用户的历史浏览数据和网页信息；其具体通过以下方式进行训练：选择和合适的样本批次大小和学习率，将训练集通过小批次的方式进行分割分别输入模型，然后用损失函数根据输出结果和标签衡量模型拟合质量，之后根据损失函数进行随机梯度下降。这里的标签分为两个，一个是硬标签，即能代表网络资源效用价值的用户行为的二元标签l∈{0,1}，如用户是否点击，是否浏览；第二个是软标签logitv(u,a)，为教师网络在分对数空间中的输出。
9、所述的学生网络，其训练采用的损失函数为其中：三个子损失函数的线性权重γ,β1,β2为超参数，需要在模型训练的时候进行手动调参，硬标签和学生网络输出之间的交叉熵用于让学生网络学习真实网络资源的效用，先验网络和编码器输出的隐变量分布之间的kl散度dkl(qφ(z|x,y)|pθ(z|x))用于条件自编码器的变分过程，是其变分下界的第一项，为在训练的过程中缩小先验分布和后验分布的差异，不确定性的衡量为学生网络与软标签之间的似然函数的相反数，从而缩小学生网络与教师网络输出之间的差距。
10、技术效果
11、本专利技术通过条件自编码器和知识蒸馏的方式在隐空间编码模型的缺失输入，然后用深度学习不确定性的量化在模型输出中获得输出的方差，从而在平台利用轻量化深度学习模型进行网络资源效用预估时，可以同时获得预估值和预估不确定性。该不确定性可以辅助资源分配，可认为不确定性较大的预估值不具有可靠性，平台可对其不予分配，从而保证分配结果的可靠性。
本文档来自技高网...【技术保护点】
1.一种基于感知不确定性轻量化模型的网络资源效用预估方法，其特征在于，通过在离线阶段构建并训练教师网络和学生网络，在在线阶段通过学生网络对输入用户历史信息和网络资源对象的特征进行预估，同时获得估计的该网络资源的效用和模型预估的不确定性；
2.根据权利要求1所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的教室网络包括：嵌入层、局部激活单元、连接和池化单元、全连接层和输出层，其中：嵌入层对全部用户历史信息和全部网络资源对象的特征离散特征(u，a)进行处理，得到等长的带语意信息的向量；局部激活单元根据用户历史行为交叉识别与当前候选对象相关的行为，根据相关性设置权重；连接和池化单元将所有的交叉特征连接，获得用于作为软标签训练学生网络的第一特征抽取层，以此表征用户兴趣；全连接层根据第一抽取层得到网络资源的效用在分对数空间的输出logitv(u，a)，最后通过输出层将值映射到(0，1)之间，得到网络资源的效用v(u，a)。
3.根据权利要求2所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的教师网络，采用的训练样本来自互联
4.根据权利要求1所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的学生网络具体包括：代表先验分布pθ(z|x)的先验网络、代表变分后验分布qφ(z|x，y)的编码器和代表pθ(y|x，z)的解码器，其中：先验网络根据部分用户历史信息和部分网络资源对象的特征进行神经网络的权重运算，得到假定满足高斯分布的隐变量z的先验分布的均值和方差；编码器根据教师网络的第一特征抽取层、部分用户历史信息和部分网络资源对象的特征进行神经网络的权重运算，得到假定满足高斯分布的隐变量z的后验分布的均值和方差；解码器根据隐变量z和部分网络资源对象的特征进行神经网络的权重运算，得到网络资源效用的均值和方差。
5.根据权利要求3所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的先验网络、编码器和解码器，进一步采用单隐藏层的全连接网络。
6.根据权利要求4或5所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的学生网络，采用的训练样本来自互联网用户的历史浏览数据和网页信息；其具体通过以下方式进行训练：选择和合适的样本批次大小和学习率，将训练集通过小批次的方式进行分割分别输入模型，然后用损失函数根据输出结果和标签衡量模型拟合质量，之后根据损失函数进行随机梯度下降。这里的标签分为两个，一个是硬标签，即能代表网络资源效用价值的用户行为的二元标签l∈{0，1}，如用户是否点击，是否浏览；第二个是软标签logitv(u，a)，为教师网络在分对数空间中的输出；
...【技术特征摘要】
1.一种基于感知不确定性轻量化模型的网络资源效用预估方法，其特征在于，通过在离线阶段构建并训练教师网络和学生网络，在在线阶段通过学生网络对输入用户历史信息和网络资源对象的特征进行预估，同时获得估计的该网络资源的效用和模型预估的不确定性；
2.根据权利要求1所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的教室网络包括：嵌入层、局部激活单元、连接和池化单元、全连接层和输出层，其中：嵌入层对全部用户历史信息和全部网络资源对象的特征离散特征(u，a)进行处理，得到等长的带语意信息的向量；局部激活单元根据用户历史行为交叉识别与当前候选对象相关的行为，根据相关性设置权重；连接和池化单元将所有的交叉特征连接，获得用于作为软标签训练学生网络的第一特征抽取层，以此表征用户兴趣；全连接层根据第一抽取层得到网络资源的效用在分对数空间的输出logitv(u，a)，最后通过输出层将值映射到(0，1)之间，得到网络资源的效用v(u，a)。
3.根据权利要求2所述的基于感知不确定性轻量化模型的网络资源效用预估方法，其特征是，所述的教师网络，采用的训练样本来自互联网用户的历史浏览数据和网页信息，其训练标签为能代表网络资源效用价值的用户行为的二元标签l∈{0，1}，如用户是否点击，是否浏览；其具体通过以下方式进行训练：选择和合适的样本批次大小和学习率，将训练集通过小批次的方式进行分割分别输入模型，然后用损失函数根据输出结果和标签衡量模型拟合质量，之后根据交叉熵损失函数lbce(l，v(u，a))进行随机梯度下...
【专利技术属性】
技术研发人员：郑臻哲，陈培煜，吴帆，陈贵海，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。