【技术实现步骤摘要】
本专利技术属于翻译质量评估领域，涉及一种法语译文质量的评估方法，尤其涉及一种基于大语言模型的法语译文质量自动化评估方法、系统、设备及存储介质。
技术介绍
1、翻译质量评估（tqa）是翻译领域的重要研究方向，国内外翻译学家先后提出了影响深远的翻译质量评估模式，从不同维度、不同层次、不同的文化因素等多个角度定义了翻译质量的评估标准。但是这种翻译质量评估模式有两个缺陷：首先是对于翻译文本，需要翻译评估领域的专家人工地评审翻译质量，没有自动化方法，效率较低，对于普通的法语的学习者和从业者来说，难以实际应用；其次是没有综合的可量化的译文质量评估指标，难以直观的度量译文的优劣。
2、现有的自动化翻译质量评估方法，例如bleu、comet、hlepor等都是基于参考译文和机器译文的差异，用于评价机器翻译水平的，对于没有参考译文的场景难以适用。而且这些方法大都只能给出翻译质量评分，却不能解释评分的理由，难以给法语的学习者和从业者提出有效的改进翻译的思路。
3、随着chatgpt等大语言模型的快速发展，模型在语言理解能力上有了大幅度的提升，基于transform网络结构的仅解码器模型（decoder only）在文本生成方面取得了突破。它们在大规模的无监督文本数据上进行预训练，然后针对特定的任务进行微调。尽管这些模型只是被训练来预测下一个词，但是模型却表现出来了较强的涌现能力，预训练后的模型能够很好地执行文本分类、问答、翻译等多种任务，并且能够通过上下文学习来完成新任务，而无需更新模型参数。这种模型的能力，提供了一种构建法
技术实现思路
1、本专利技术针对现有技术的不足，提出一种基于大语言模型的法语译文质量自动化评估方法、系统、设备及存储介质，可以自动完成对法语译文质量的评估，评估包括可量化的译文质量综合评估指标和可解释的翻译评估理由。
2、为实现上述目的，本专利技术所采用的技术方案如下：
3、一种基于大语言模型的法语译文质量自动化评估方法，包括：
4、获取中文源语句和待评估的法语译文在bge m3-emebdding模型的表征向量a、b；
5、计算所述中文源语句的表征向量a及所述法语译文的表征向量b的距离d，作为初始的翻译评估得分；
6、将所述表征向量a、表征向量b以及距离d输入至训练好的深层dnn网络模型中，其中表征向量a及表征向量b作为网络第一层的输入，距离d作为所述深层dnn网络最后一层的补充输入特征；所述模型的输出即为可量化的翻译评估得分。
7、上述技术方案中，进一步的，所述深层dnn网络模型的结构包括输入层、5层中间层、输出层，其中5层中间层的维度分别为512、256、128、64、31+1，是将中文源语句和对应法语译文的表征向量作为dnn网络模型的底层交叉特征输入，并将初始的翻译评估得分作为该网络模型中最后一中间层的补充输入特征参与训练，经sigmod函数后输出层输出得到可量化的翻译评估得分。
8、进一步的，所述深层dnn网络模型的训练，其样本的构建包括：
9、构建中文源语句和对应法语译文的翻译样本，数据来源于联合国中法平行语料库，作为正样本；负样本包含两个部分：一是通过batch内负采样生成随机样本，二是使用google翻译的法语译文构建的困难负样本；对于正样本、负样本分别获取中文源语句和对应法语译文的bge m3-embedding模型的表征向量用于训练。
10、进一步的，负样本中困难负样本的比例不宜过高，随机生成负样本与困难负样本的比例为127:1，同时对google翻译的法语译文采用dropout的方式随机丢弃10%的向量表征。
11、进一步的，在得到可量化的翻译评估得分后，将中文源语句和待评估的法语译文和对应的可量化的翻译评估得分填充到预先设计的prompt（提示词）模版中，访问法语译文质量评估的微调大模型，得到可解释的翻译评估理由。
12、进一步的，所述的法语译文质量评估的微调大模型是在llama3模型基础上，使用高质量的sft（supervised fine-tuning）数据集合，采用lora微调的方法得到。
13、进一步的，所述的高质量的sft数据集合的构建方法如下：
14、在联合国中法平行语料库选取n条未参与所述深层dnn网络模型训练的数据，其中，n通常应不少于1000条，同时获取其中文源语句和对应google翻译的法语译文，得到2n个中法句子对，利用训练好的深层dnn网络模型得到所述中法句子对的可量化的翻译评估得分，并依照翻译质量评估模式（translation quality assessment model），人工产出翻译质量评估理由，得到高质量的sft数据集合。
15、一种基于大语言模型的法语译文质量自动化评估系统，用于实现如上任一项所述的方法。
16、一种电子设备，包括：
17、一个或多个处理器；
18、存储器，用于存储一个或多个程序；
19、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的方法。
20、一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实
21、现如上任一项所述的方法。
22、本专利技术的优势在于：
23、（1）提出了一种可量化和可解释相结合的自动化法语译文质量评估方法，能有效的提升翻译的效率；（2）利用bge m3-embedding模型在中法语言上表征的准确性和向量的可比性，构建法语译文质量评估的深度神经网络结构，并将向量距离的初始得分作为神经网络的最后一层的特征输入，保证了法语译文质量评分的准确性；（3）结合人类翻译评估专家的翻译评估模式和机器的自然语言理解能力，利用大语言模型的涌现能力，采用lora的微调方法，在保证模型效果的前提下，大规模的降低了了微调成本，从而生成合理的可解释的译文质量评估理由。
本文档来自技高网...【技术保护点】
1.一种法语译文质量自动化评估方法，其特征在于，包括：
2.根据权利要求1所述的法语译文质量自动化评估方法，其特征在于，所述深层DNN网络模型的结构包括输入层、5层中间层、输出层，其中5层中间层的维度分别为512、256、128、64、31+1，是将中文源语句和对应法语译文的表征向量作为DNN网络模型的底层交叉特征输入，并将初始的翻译评估得分作为该网络模型中最后一中间层的补充输入特征参与训练，经sigmod函数后输出层输出得到可量化的翻译评估得分。
3.根据权利要求1所述的法语译文质量自动化评估方法，其特征在于，所述深层DNN网络模型的训练，其样本的构建包括：
4.根据权利要求3所述的法语译文质量自动化评估方法，其特征在于，负样本中困难负样本的比例不宜过高，随机生成负样本与困难负样本的比例为127:1，同时对google翻译的法语译文采用dropout的方式随机丢弃10%的向量表征。
5.根据权利要求1所述的法语译文质量自动化评估方法，其特征在于，在得到可量化的翻译评估得分后，将中文源语句和待评估的法语译文和对应的可量化的翻译评估得
6.根据权利要求5所述的法语译文质量自动化评估方法，其特征在于，所述的法语译文质量评估的微调大模型是在LlaMA3模型基础上，使用高质量的SFT数据集合，采用LoRA微调的方法得到。
7.根据权利要求6所述的法语译文质量自动化评估方法，其特征在于，所述的高质量的SFT数据集合的构建方法如下：
8.一种法语译文质量自动化评估系统，其特征在于，用于实现如权利要求1-7任一项所述的方法。
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实
...【技术特征摘要】
1.一种法语译文质量自动化评估方法，其特征在于，包括：
2.根据权利要求1所述的法语译文质量自动化评估方法，其特征在于，所述深层dnn网络模型的结构包括输入层、5层中间层、输出层，其中5层中间层的维度分别为512、256、128、64、31+1，是将中文源语句和对应法语译文的表征向量作为dnn网络模型的底层交叉特征输入，并将初始的翻译评估得分作为该网络模型中最后一中间层的补充输入特征参与训练，经sigmod函数后输出层输出得到可量化的翻译评估得分。
3.根据权利要求1所述的法语译文质量自动化评估方法，其特征在于，所述深层dnn网络模型的训练，其样本的构建包括：
4.根据权利要求3所述的法语译文质量自动化评估方法，其特征在于，负样本中困难负样本的比例不宜过高，随机生成负样本与困难负样本的比例为127:1，同时对google翻译的法语译文采用dropout的方式随机丢弃10%的向量表征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。