机器学习模型训练方法和装置、语义分割方法和装置制造方法及图纸

本公开提供一种机器学习模型训练方法和装置、语义分割方法和装置，涉及人工智能领域。机器学习模型训练方法包括：利用源域图像和目标域图像交替训练第一机器学习模型；利用源域三维数据和目标域三维数据交替训练第二机器学习模型；利用源域三维数据训练第一机器学习模型，并利用源域图像训练第二机器学习模型；利用目标域三维数据训练第一机器学习模型，并利用目标域图像训练第二机器学习模型。本公开通过融合不同模态的特性，从而有效提升机器学习模型在不同环境下的鲁棒性。习模型在不同环境下的鲁棒性。习模型在不同环境下的鲁棒性。

【技术实现步骤摘要】
机器学习模型训练方法和装置、语义分割方法和装置


[0001]本公开涉及人工智能领域，特别涉及一种机器学习模型训练方法和装置、语义分割方法和装置。

技术介绍

[0002]目前，三维语义分割在诸如机器人、自动驾驶和虚拟现实等场景中得到了广泛的应用。为了提高语义分割效果，通常采用二维图像和三维点云数据对语义分割模型进行训练。

技术实现思路

[0003]专利技术人注意到，在相关技术的训练过程中，分别利用二维图像和三维点云数据对语义分割模型进行训练，使得经过训练的语义分割模型无法融合不同模态的特性，从而导致语义分割模型在不同环境下体现出欠鲁棒性。
[0004]据此，本公开提供一种机器学习模型训练方案，通过融合不同模态的特性，从而有效提升机器学习模型在不同环境下的鲁棒性。
[0005]根据本公开实施例的第一方面，提供一种机器学习模型训练方法，包括：利用源域图像和目标域图像交替训练第一机器学习模型；利用源域三维数据和目标域三维数据交替训练第二机器学习模型；利用所述源域三维数据训练所述第一机器学习模型，并利用所述源域图像训练所述第二机器学习模型；利用所述目标域三维数据训练所述第一机器学习模型，并利用所述目标域图像训练所述第二机器学习模型。
[0006]在一些实施例中，所述利用所述源域三维数据训练所述第一机器学习模型包括：利用所述源域三维数据，获取所述源域图像中各像素点的第一深度信息和第一高度信息；将所述第一机器学习模型输出的与所述源域图像相对应的第一特征向量从像素特征空间转换到几何空间，以获取各像素点的第二深度信息和第二高度信息；利用所述第一深度信息、所述第一高度信息、所述第二深度信息和所述第二高度信息确定第一损失函数；利用所述第一损失函数对所述第一机器学习模型进行训练。
[0007]在一些实施例中，利用所述源域图像训练所述第二机器学习模型包括：获取所述源域图像中各像素点的第一灰度值和各像素点的局部邻域的第一灰度变换量；根据所述第二机器学习模型输出的与所述源域三维数据相对应的第二特征向量预测各像素点的第二灰度值和各像素点的局部邻域的第二灰度变换量；利用所述第一灰度值、所述第一灰度变换量、所述第二灰度值、所述第二灰度变换量确定第二损失函数；利用所述第二损失函数对所述第二机器学习模型进行训练。
[0008]在一些实施例中，所述利用所述目标域三维数据训练所述第一机器学习模型包括：利用所述目标域三维数据，获取所述目标域图像中各像素点的第三深度信息和第三高度信息；将所述第一机器学习模型输出的与所述目标域图像相对应的第三特征向量从像素特征空间转换到几何空间，以获取各像素点的第四深度信息和第四高度信息；利用所述第
三深度信息、所述第三高度信息、所述第四深度信息和所述第四高度信息确定第三损失函数；利用所述第三损失函数对所述第一机器学习模型进行训练。
[0009]在一些实施例中，利用所述目标域图像训练所述第二机器学习模型包括：获取所述目标域图像中各像素点的第三灰度值和各像素点的局部邻域的第三灰度变换量；根据所述第二机器学习模型输出的与所述目标域三维数据相对应的第四特征向量预测各像素点的第四灰度值和各像素点的局部邻域的第四灰度变换量；利用所述第三灰度值、所述第三灰度变换量、所述第四灰度值、所述第四灰度变换量确定第四损失函数；利用所述第四损失函数对所述第二机器学习模型进行训练。
[0010]在一些实施例中，所述利用源域图像训练第一机器学习模型包括：将所述源域图像输入所述第一机器学习模型，以生成第一特征向量；对所述第一特征向量进行分类处理以生成第一语义分割预测结果；利用所述源域图像中包括的标签和所述第一语义分割预测结果确定第五损失函数值，并利用所述第五损失函数值对所述第一机器学习模型进行训练。
[0011]在一些实施例中，所述利用源域三维数据训练第二机器学习模型包括：将所述源域三维数据输入所述第二机器学习模型，以生成第二特征向量；对所述第二特征向量进行分类处理以生成第二语义分割预测结果；利用所述源域三维数据中包括的标签和第二语义分割预测结果确定第六损失函数值，并利用所述第六损失函数值对所述第二机器学习模型进行训练。
[0012]在一些实施例中，利用所述第一语义分割预测结果和所述第二语义分割预测结果确定第一联合损失函数值；利用所述第一联合损失函数值分别对所述第一机器学习模型和所述第二机器学习模型进行训练。
[0013]在一些实施例中，所述第一联合损失函数值为所述第一语义分割预测结果和所述第二语义分割预测结果的相对熵。
[0014]在一些实施例中，所述利用目标域图像训练第一机器学习模型包括：将所述目标域图像输入所述第一机器学习模型，以生成第三特征向量；对所述第三特征向量进行分类处理以生成第三语义分割预测结果；利用第一伪标签和所述第三语义分割预测结果确定第七损失函数值，并利用所述第七损失函数值对所述第一机器学习模型进行训练。
[0015]在一些实施例中，根据所述源域图像和所述目标域图像中的每个像素点的特征相似度，为所述目标域图像分配第一伪标签。
[0016]在一些实施例中，所述利用目标域三维数据训练第二机器学习模型包括：将所述目标域三维数据输入所述第二机器学习模型，以生成第四特征向量；对所述第四特征向量进行分类处理以生成第四语义分割预测结果；利用第二伪标签和所述第四语义分割预测结果确定第八损失函数值，并利用所述第八损失函数值对所述第二机器学习模型进行训练。
[0017]在一些实施例中，根据所述源域三维数据和所述目标域三维数据中的每个数据点的特征相似度，为所述目标域三维数据分配第二伪标签。
[0018]在一些实施例中，利用所述第三语义分割预测结果和所述第四语义分割预测结果确定第二联合损失函数值；利用所述第二联合损失函数值分别对所述第一机器学习模型和所述第二机器学习模型进行训练。
[0019]在一些实施例中，所述第二联合损失函数值为所述第三语义分割预测结果和所述
第四语义分割预测结果的相对熵。
[0020]在一些实施例中，利用所述第一机器学习模型输出的与所述源域图像相对应的第一特征向量确定对应的第一模态类别原型；利用所述第一机器学习模型输出的与所述目标域图像相关联的第三特征向量确定对应的第二模态类别原型；根据所述第一模态类别原型和所述第二模态类别原型的一致性确定第九损失函数值，并利用所述第九损失函数值对所述第一机器学习模型进行训练。
[0021]在一些实施例中，利用所述第二机器学习模型输出的与所述源域三维数据相对应的第二特征向量确定对应的第三模态类别原型；利用所述第二机器学习模型输出的与所述目标域三维数据相对应的第四特征向量确定对应的第四模态类别原型；根据所述第三模态类别原型和所述第四模态类别原型的一致性确定第十损失函数值，并利用所述第十损失函数值对所述第二机器学习模型进行训练。
[0022]根据本公开实施例的第二方面，提供一种机器学习模型训练装置，包括：第一训练处理模块，被配置为利用源域图像和目标域图像交替训练第一机器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型训练方法，包括：利用源域图像和目标域图像交替训练第一机器学习模型；利用源域三维数据和目标域三维数据交替训练第二机器学习模型；利用所述源域三维数据训练所述第一机器学习模型，并利用所述源域图像训练所述第二机器学习模型；利用所述目标域三维数据训练所述第一机器学习模型，并利用所述目标域图像训练所述第二机器学习模型。2.根据权利要求1所述的方法，其中，所述利用所述源域三维数据训练所述第一机器学习模型包括：利用所述源域三维数据，获取所述源域图像中各像素点的第一深度信息和第一高度信息；将所述第一机器学习模型输出的与所述源域图像相对应的第一特征向量从像素特征空间转换到几何空间，以获取各像素点的第二深度信息和第二高度信息；利用所述第一深度信息、所述第一高度信息、所述第二深度信息和所述第二高度信息确定第一损失函数；利用所述第一损失函数对所述第一机器学习模型进行训练。3.根据权利要求1所述的方法，其中，利用所述源域图像训练所述第二机器学习模型包括：获取所述源域图像中各像素点的第一灰度值和各像素点的局部邻域的第一灰度变换量；根据所述第二机器学习模型输出的与所述源域三维数据相对应的第二特征向量预测各像素点的第二灰度值和各像素点的局部邻域的第二灰度变换量；利用所述第一灰度值、所述第一灰度变换量、所述第二灰度值、所述第二灰度变换量确定第二损失函数；利用所述第二损失函数对所述第二机器学习模型进行训练。4.根据权利要求1所述的方法，其中，所述利用所述目标域三维数据训练所述第一机器学习模型包括：利用所述目标域三维数据，获取所述目标域图像中各像素点的第三深度信息和第三高度信息；将所述第一机器学习模型输出的与所述目标域图像相对应的第三特征向量从像素特征空间转换到几何空间，以获取各像素点的第四深度信息和第四高度信息；利用所述第三深度信息、所述第三高度信息、所述第四深度信息和所述第四高度信息确定第三损失函数；利用所述第三损失函数对所述第一机器学习模型进行训练。5.根据权利要求1所述的方法，其中，利用所述目标域图像训练所述第二机器学习模型包括：获取所述目标域图像中各像素点的第三灰度值和各像素点的局部邻域的第三灰度变换量；根据所述第二机器学习模型输出的与所述目标域三维数据相对应的第四特征向量预
测各像素点的第四灰度值和各像素点的局部邻域的第四灰度变换量；利用所述第三灰度值、所述第三灰度变换量、所述第四灰度值、所述第四灰度变换量确定第四损失函数；利用所述第四损失函数对所述第二机器学习模型进行训练。6.根据权利要求1所述的方法，其中，所述利用源域图像训练第一机器学习模型包括：将所述源域图像输入所述第一机器学习模型，以生成第一特征向量；对所述第一特征向量进行分类处理以生成第一语义分割预测结果；利用所述源域图像中包括的标签和所述第一语义分割预测结果确定第五损失函数值，并利用所述第五损失函数值对所述第一机器学习模型进行训练。7.根据权利要求6所述的方法，其中，所述利用源域三维数据训练第二机器学习模型包括：将所述源域三维数据输入所述第二机器学习模型，以生成第二特征向量；对所述第二特征向量进行分类处理以生成第二语义分割预测结果；利用所述源域三维数据中包括的标签和第二语义分割预测结果确定第六损失函数值，并利用所述第六损失函数值对所述第二机器学习模型进行训练。8.根据权利要求7所述的方法，还包括：利用所述第一语义分割预测结果和所述第二语义分割预测结果确定第一联合损失函数值；利用所述第一联合损失函数值分别对所述第一机器学习模型和所述第二机器学习模型进行训练。9.根据权利要求8所述的方法，其中，所述第一联合损失函数值为所述第一语义分割预测结果和所述第二语义分割预测结果的相对熵。10.根据权利要求1所述的方法，其中，所述利用目标域图像训练第一机器学习模型包括：将所述目标域图像输入所述第一机器学习模型，以生成第三特征向量；对所述第三特征向量进行分类处理以生成第三语义分割预测结果；利用第一伪标签和所述第三语义分割预测结果确定第七损失函数值，并利用所述第七损失函数值对所述第一机器学习模型进行训练。11.根据权利要求10所述的方法，还包括：根据所述源域图像和所述目标域图像中的每个像素点的特征相似度，为所述目标域图像分配第一伪标签。1...

【专利技术属性】
技术研发人员：申童，张炜，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，
类型：发明
国别省市：