【技术实现步骤摘要】
本专利技术涉及教育，具体涉及一种基于分布式近似同态加密的教评短文本情感分类方法。
技术介绍
1、在高等学校的教学评价过程中，教师和学生往往会产生大量的文本数据，这些数据包含了对教学质量、课程内容、教学方式等方面的主观评价。这些教学评价数据不仅具有重要的分析价值，还能用于改进教学方法和提升教育质量。然而，这些数据往往包含敏感的个人信息，如学生对教师的评价、教师对课程的看法等，因此需要在数据处理和分析过程中特别注重隐私保护。
2、随着信息技术的发展，越来越多的高校选择将数据存储和计算任务部署在本地云端，以确保数据的安全性。然而，由于高校教学评价数据量庞大、结构复杂，为了提高计算效率和降低成本，许多高校需要借助公有云端的计算资源来完成情感分类等复杂任务。这种情况下，如何在云端处理和存储敏感数据并确保数据隐私不被泄露，成为一个亟待解决的问题。
3、同态加密技术是一种能够在加密状态下对数据进行计算的技术，它允许在不解密的情况下直接对密文执行加法和乘法运算，从而在云端实现数据的隐私保护。完全同态加密（fully homomorphic encryption, fhe）是一种能够支持任意次数加法和乘法同态运算的加密技术，被认为是隐私保护领域的一项重要突破。目前，fhe技术已经在图像加密等领域取得了显著成效，能够有效防止数据在云端被盗取或篡改。
4、然而，在自然语言处理领域，尤其是基于预训练模型（如transformer、bert）的文本情感分类方法中，完全同态加密（fhe）技术的应用仍然面临诸多挑战。尽管完
5、除此之外，高校教学评价短文本具有独特的特点，这些短文本往往带有强烈的主观性和差异性，内容中经常包含鲜明的网络文化特征，如表情符号、缩写词、网络俚语等，导致数据中存在大量噪声。此外，这些短文本通常缺乏上下文信息，单个文本之间的关联性较弱，这给情感分类任务带来了极大的挑战。
6、现有的基于深度学习的教评短文本情感分类方法，虽然在一定程度上提升了情感分类的准确性，但在处理这些复杂的短文本时仍然存在不足之处。当前主流的情感分类方法在语义特征提取和上下文信息捕捉能力方面仍有待提升，难以有效捕捉短文本之间的长距离关联信息和深层次语义内涵，这导致了情感分类的准确性和鲁棒性仍有提升空间。
7、综上所述，在自然语言处理领域，尤其是高校教学评价短文本的情感分类任务中，如何利用完全同态加密技术在云端实现安全计算，如何提高模型对复杂短文本的特征提取和语义分析能力，是当前研究和应用中的两个重要问题。
技术实现思路
1、有鉴于此，本专利技术提出了一种基于分布式近似同态加密的教评短文本情感分类方法，旨在确保教学评价数据隐私安全的同时，提升情感分类的准确性和处理效率，针对高等学校教学评价文本情感分类的需求，该方法有效结合了分布式近似同态加密（bhe，bert-based homomorphic encryption）算法与albert-mixplus融合模型，在保护高校教学评价数据的隐私的同时，提高情感分类任务的准确性和效率，以实现对海量教学评价短文本数据的加密处理和准确分类。
2、本专利技术采用以下技术方案实现：
3、第一方面，本专利技术提供了一种基于分布式近似同态加密的教评短文本情感分类方法，该方法包括以下步骤：
4、使用分布式近似同态加密（bhe）算法对输入的教学评价短文本数据进行加密；
5、将加密后的短文本数据输入到部署在云端的albert-mixplus融合模型进行特征提取和情感分类，其中，所述albert-mixplus融合模型包括：
6、元信息提取层，采用轻量级预训练的albert模型，通过多头自注意力机制对输入文本进行特征提取，并学习通用语义知识；
7、融合特征提取层，通过双向门控循环单元（bigru）、多尺度卷积神经网络（mcnn-mco）和自注意力机制(mcnn-sa)对albert模型输出的特征进行进一步提取；
8、拼接输出层，将融合特征提取层提取的特征进行拼接，通过近似appro-softmax函数进行情感分类的概率计算；
9、在本地用户侧对加密状态下的情感分类结果进行解密，并输出最终分类结果。
10、作为本专利技术的进一步方案，分布式近似同态加密（bhe）算法基于ckks（homomorphic encryption scheme for approximate arithmetic）加密方案，且由seal(simple encrypted arithmetic library)加密算法库调用。
11、作为本专利技术的进一步方案，所述基于分布式近似同态加密的教评短文本情感分类方法中，在云端执行albert-mixplus融合模型的计算，对加密后的短文本数据进行分类预测；其中，albert-mixplus融合模型的计算包括预训练模型的标准微调和ln-特征提取；对预训练albert-mixplus融合模型进行标准微调，将预训练模型中的非多项式函数替换为relu激活函数和appro-softmax函数；通过已标注的教学评价短文本数据对预训练albert-mixplus融合模型进行优化，并通过original ln计算模块和均方误差（mse）来优化模型参数，得到一个完全支持同态加密操作的albert-mixplus融合模型。
12、作为本专利技术的进一步方案，所述albert-mixplus融合模型中，albert模型的encoder层数设置为6层，多尺度卷积神经网络（mcnn-mco）使用不同大小的卷积核进行卷积操作，结合了三个卷积核大小分别为2、3、4的卷积层，并在卷积层输出后结合自身注意力机制（mcnn-sa）进一步提取关键情感特征。
13、作为本专利技术的进一步方案，为了满足基于bhe完全同态加密（fhe）体系下的融合情感分类模型中非多项式函数计算问题，在albert-mixplus融合情感分类模型结构中，选择relu作为激活函数，并在mcnn中舍弃池化操作，将max()计算放置到用户侧进行，同时采用bhe支持的近似appro-softmax函数作为分类器，情感分类的最终结果通过分布式近似同态加密（bhe）算法计算得出，并在加密状态下完成。
14、作为本专利技术的进一步方案，选择relu作为激活函数，进行relu函数中的max比较运算时，构建本地-公有云分布式完全同态加密（fhe）计算架构，其中，rel本文档来自技高网...
【技术保护点】
1.一种基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，分布式近似同态加密基于CKKS加密方案，且由SEAL加密算法库调用。
3.如权利要求2所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，所述基于分布式近似同态加密的教评短文本情感分类方法中，在云端执行ALBERT-Mixplus融合模型的计算，对加密后的短文本数据进行分类预测；其中，ALBERT-Mixplus融合模型的计算包括预训练模型的标准微调和LN-特征提取；对预训练ALBERT-Mixplus融合模型进行标准微调，将预训练模型中的非多项式函数替换为ReLU激活函数和Appro-Softmax函数；通过已标注的教学评价短文本数据对预训练ALBERT-Mixplus融合模型进行优化，并通过Original LN计算模块和均方误差来优化模型参数，得到一个完全支持同态加密操作的ALBERT-Mixplus融合模型。
4.如权利要求3所述的基于分布式近似同态加密
5.如权利要求4所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，在ALBERT-Mixplus融合模型结构中，选择ReLU作为激活函数，并在多尺度卷积神经网络中舍弃池化操作，将Max()计算放置到用户侧进行，同时采用分布式近似同态加密支持的近似Appro-Softmax函数作为分类器，情感分类的最终结果通过分布式近似同态加密（BHE）算法计算得出，并在加密状态下完成。
6.如权利要求5所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，选择ReLU作为激活函数，进行ReLU函数中的MAX比较运算时，构建本地-公有云分布式完全同态加密计算架构，其中，ReLU完全同态包括以下步骤：云端侧将加密后的短文本数据的密文数据输入传递给本地侧进行本地Max()计算；一旦接收到连接，本地侧的用户设备调用本地Max函数来获取结果，使用私钥在本地侧将密文解密为明文数据，本地侧经过Max()运算后的明文数据用公钥加密后，将重新加密的结果返回给云端侧。
7.如权利要求6所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，所述近似Appro-Softmax函数利用加法和乘法的估计网络实现，近似Appro-Softmax函数的计算公式为：
8.如权利要求7所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，分布式近似同态加密采用分段多项式拟合进行LayerNorm的近似代替，LayerNorm的计算公式为：
9.如权利要求6所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，ALBERT-Mixplus融合模型进行特征提取和情感分类，包括以下步骤：
10.如权利要求9所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，本地侧将词向量分布式计算结果加密后传输至云端，云端使用近似同态加密算法进行分类任务计算，并且激活函数的计算在本地侧进行。
...【技术特征摘要】
1.一种基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，分布式近似同态加密基于ckks加密方案，且由seal加密算法库调用。
3.如权利要求2所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，所述基于分布式近似同态加密的教评短文本情感分类方法中，在云端执行albert-mixplus融合模型的计算，对加密后的短文本数据进行分类预测；其中，albert-mixplus融合模型的计算包括预训练模型的标准微调和ln-特征提取；对预训练albert-mixplus融合模型进行标准微调，将预训练模型中的非多项式函数替换为relu激活函数和appro-softmax函数；通过已标注的教学评价短文本数据对预训练albert-mixplus融合模型进行优化，并通过original ln计算模块和均方误差来优化模型参数，得到一个完全支持同态加密操作的albert-mixplus融合模型。
4.如权利要求3所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，所述albert-mixplus融合模型中，albert模型的encoder层数设置为6层，多尺度卷积神经网络使用不同大小的卷积核进行卷积操作，结合了三个卷积核大小分别为2、3、4的卷积层，并在卷积层输出后结合自身注意力机制提取关键情感特征。
5.如权利要求4所述的基于分布式近似同态加密的教评短文本情感分类方法，其特征在于，在albert-mixplus融合模型结构中，选择relu作为激活函数，并在多尺度卷积神经网络中舍弃池化操作，将ma...
【专利技术属性】
技术研发人员：张敬仁，王安琪，侯剑，张海，庄须强，邢吉和，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。