【技术实现步骤摘要】
本专利技术属于语义挖掘，涉及一种基于多层次语义挖掘的学生评语生成方法。
技术介绍
1、随着教育信息化的发展，相关研究者越来越重视于创新信息化评价工具，推动学生数字档案在评价中的应用，转变简单以考试成绩为唯一标准的学生评价模式。然而，在应用到具体的教育评价场景中时，学生评语生成模型通常致力于精准挖掘学生数据，虽然保证了生成评价的真实性和可靠度，但会造成评价文本的不连贯、语法性弱的现象。这样弱语法性的评价可能会导致读者难以从中了解到学生的综合素质状况，从而偏离了建立学生评价制度的初衷。因此，如何解决上述学生评价撰写的语法性和流畅度问题，是目前急需解决的问题。
2、如今，大规模的预训练语言模型得到广泛应用，但具体应用于不同场景中，需要根据场景特点对其进行模型调整和改进。在表格到文本的生成任务中，由于输入数据和输出形式不一的特点，模型在致力于精准挖掘输入信息时保证了预测文本对于输入数据的忠诚度，但会造成输出文本的不连贯、语法性弱的现象。过去几年中，深度学习技术的快速发展促进了自然语言生成领域的进步，许多基于神经网络的自然语言生成模型在实践中取得了很好的效果。虽然现有的文本生成模型能够生成具有良好句内连贯性的文本，但难以在整个文本中规划连贯的语句，生成的文本可能会出现重复、不连贯、语法性差的情况。以上现象都归根于模型无法充分捕捉输入的语义信息并将其转换为语句级表示。提高模型生成流畅连贯文本的方法有很多，例如卷积神经网络、编码器-解码器模型、预训练语言模型、数据增强等，这些方法都致力于提高模型的语句级表征能力。语句级表征是自然语
3、最新基于深度学习的自然语言生成方法于2015年开始，区别于传统管道模型，使用非常成功的编码器-解码器架构进行端到端方式的训练。该类模型不需要明确地建模任何内容规划任务，不包含人为划分的子问题，使用编码器-解码器结构将中间的操作包含在神经网络中。具体地，首先从输入端输入原始数据，通过数据加工从输出端输出预测结果，之后将预测结果与参照内容进行对比，将得到的误差反向传播，进而调整每一层的参数直到模型收敛。如序列到序列(sequence-to-sequence，seq2seq)模型，文献[luong m t,phamh,manning c d.effective approaches to attention-based neural machinetranslation[c].empirical methods in natural language processing,lisbon,portugal,2015:1412–1421.]提出的模型利用编码器将输入序列转变为固定长度的表征向量，然后再通过解码器将其转变为目标输出序列。这类模型省去了代价高且易出错的数据标注工作，通过缩减人工预处理工作、增加模型的整体契合度，提高了系统解决文本生成问题的效率，具有更强的学习能力和扩展性，已成为数据到文本生成任务的主流模型，在天气预报、人物传记、病例生成等领域都具有良好的应用前景。
4、自然语言生成模型在大规模数据集和端到端模型的支持下，能够生成信息丰富且流畅的文本。但各个领域收集大规模的带有标注的数据集并不总是可行的，训练数据有限是导致模型性能不佳的重要因素之一。随着深度学习的发展，大量预训练模型涌入公众视野，它们可以在大规模数据集上通过预训练学习到大量的语言知识，能够为下游任务提供丰富的先验知识，进而能够应用于标记数据较少的目标领域中。因此，在自然语言生成领域中的许多研究通过预训练模型进行迁移学习，这样能够减少训练下游任务的损失，通过微调就可以使得下游任务的优化过程收敛速度变快。文献[chen w,su y,yan x,et al.kgpt:knowledge-grounded pre-training for data-to-text generation[c].empiricalmethods in natural language processing,punta cana,dominican republic,2020:8635-8648.]提出的基于知识的预训练模型(knowledge-grounded pre-training model，kgpt)通过远程监督的方式为输入数据进行注释，能够在少样本(few-shot)下达到和基线模型在大量标注数据集上训练的同样优秀的性能。文献[chang e,shen x,zhu d,etal.neural data-to-text generation with lm-based text augmentation[c].europeanchapter of the association for computational linguistics,beijing,china,2021:758–768.]提出的模型通过槽值替换和文本样本增强来扩充文本样本的规模，然后将表格和构造的文本进行匹配，有效解决了表格-文本数据对稀缺的问题。文献[chen z,eavanih,chen w,et al.few-shot nlg with pre-trained language model[c].associationfor computational linguistics,seattle,washington,usa,2020:183–190.]所提模型通过指针网络和gpt-2，将输入表格中要选择的内容和语言模型中的生成词汇相结合，以达到生成准确文本的目的。另外作者还创建了多域表格数据集，以证明模型能够在few-shot场景下具备良好的通用性。文献[xing x,wan x.structure-aware pre-training for atable-to-text generation[c].association for computational linguistics,bangkok,thailand,2021:2273-2278.]提出的表格感知预训练模型(通过覆盖表格语言模型、相邻区域预测和上下文重建三个自监督任务，进一步提升了预训练模型在表格到文本生成任务中的性能。文献[guan j,mao x,fan c,et al.long text generation bymodeling sentence-level and discourse-level coherence[c].association forcomputational linguistics and the 11th international joint conference onnatural language processing,beijing,china,2021:6379–6393.]提出的高级表征长文本生成模本文档来自技高网...
【技术保护点】
1.一种基于多层次语义挖掘的学生评语生成方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的基于多层次语义挖掘的学生评语生成方法，其特征在于：步骤S1中，以自回归的方式从输入原始表格到输出预测文本的条件概率如下：
3.根据权利要求1所述的基于多层次语义挖掘的学生评语生成方法，其特征在于：步骤S2中所述考虑序列级的语义相似度，将结构化数据与参照自然语言文本进行对齐，具体包括：
4.根据权利要求1所述的基于多层次语义挖掘的学生评语生成方法，其特征在于：步骤S3所述提取模型预测文本内表格所包含的信息，并与输入表格数据进行匹配和比对，检验预测文本的准确性和可靠性，具体包括以下步骤：
5.根据权利要求1所述的基于多层次语义挖掘的学生评语生成方法，其特征在于：步骤S4所述通过语义相似度预测以及语句顺序预测得到流畅、连贯的准确性评语文本，具体包括以下步骤：
【技术特征摘要】
1.一种基于多层次语义挖掘的学生评语生成方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的基于多层次语义挖掘的学生评语生成方法，其特征在于：步骤s1中，以自回归的方式从输入原始表格到输出预测文本的条件概率如下：
3.根据权利要求1所述的基于多层次语义挖掘的学生评语生成方法，其特征在于：步骤s2中所述考虑序列级的语义相似度，将结构化数据与参照自然语言文本进行对齐，具体包...
【专利技术属性】
技术研发人员：熊余，何承阳，蔡婷，黄容，储雯，王盈，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。