用于姿态估计的网络训练方法及装置制造方法及图纸

本公开涉及一种用于姿态估计的网络训练方法及装置，涉及计算机技术领域，所述方法包括：将获取的训练数据集中的样本图像输入预设的特征提取网络，以根据特征提取网络输出的样本图像中目标对象的特征张量，对初始姿态网络进行训练，得到目标姿态网络。本公开实施例可提高训练效率，进一步减少对处理器算力资源和内存资源的消耗。内存资源的消耗。内存资源的消耗。

【技术实现步骤摘要】
用于姿态估计的网络训练方法及装置


[0001]本公开涉及计算机
，尤其涉及一种用于姿态估计的网络训练方法及装置。

技术介绍

[0002]在机器人视觉、动作跟踪和单照相机定标等很多应用领域，都需要对图像中的目标对象进行姿态估计，并基于姿态估计结果进行后续的业务处理。比如，在人脸识别的场景中，可以先通过头部姿态估计筛选出符合条件的人脸图像，再对筛选出的人脸图像进行识别；在增强现实（Augmented Reality，AR）交互场景中，可以对拍摄的人脸图像进行头部位姿估计，以便为用户提供更真实的虚拟特效（例如发卡等装饰品特效）；在安全驾驶的检测场景中，可以对驾驶员的人脸图像进行头部位姿估计，判断驾驶员是否左顾右盼等。
[0003]其中，以安全驾驶的检测场景为例，随机智能座舱技术的发展，驾驶员监控系统(Driver Monitor System, DMS)由于其实用性和安全性成为了智能座舱必备技术之一。DMS在行车过程中实时地对驾驶员进行疲劳监测、注意力监测、危险驾驶行为监测，可以有效避免由驾驶员主观因素引起的交通事故。
[0004]在DMS中进行疲劳检测时，不仅要基于人脸特征判断眼睛睁闭状态和嘴部哈欠动作，还依赖头部姿态的角度范围综合判定驾驶员的专心程度以及是否在打瞌睡。另外，在DMS中进行分心检测中也会基于头部姿态初步判断驾驶员的低头扭头行为。因此，头部姿态估计成为DMS技术中不可或缺的部分。

技术实现思路

[0005]本公开提出了一种用于姿态估计的网络训练方法及装置。
[0006]根据本公开的一方面，提供了一种用于姿态估计的网络训练方法，包括：获取训练数据集；将所述训练数据集中的样本图像输入预设的特征提取网络，确定所述样本图像中目标对象的特征张量；根据所述目标对象的特征张量，对初始姿态网络进行训练，得到目标姿态网络，其中，所述目标姿态网络用于结合所述特征提取网络，确定待处理图像中目标对象的姿态信息。
[0007]在一种可能的实现方式中，根据所述目标对象的特征张量，对初始姿态网络进行训练，得到目标姿态网络，包括：根据目标对象的特征张量，对初始姿态网络进行多轮的迭代训练，得到多个备选姿态网络；在满足训练结束条件的情况下，从多个备选姿态网络中选择目标姿态网络，所述训练结束条件包括对所述初始姿态网络的迭代训练轮数大于或等于第一预设阈值，和/或，当前轮迭代训练的学习率小于第二预设阈值。
[0008]在一种可能的实现方式中，根据目标对象的特征张量，对初始姿态网络进行多轮的迭代训练，得到多个备选姿态网络，包括：对于所述初始姿态网络的任一轮的迭代训练，将所述目标对象的特征张量输入初始姿态网络，得到姿态预测结果；根据预设的姿态损失函数、所述姿态预测结果、所述训练数据集的标注信息，确定姿态损失，其中，所述姿态损失
用于指示所述初始姿态网络对目标对象的姿态信息的检测误差；根据所述姿态损失，对初始姿态网络进行迭代训练，得到当前轮迭代训练对应的备选姿态网络。
[0009]在一种可能的实现方式中，所述初始姿态网络包括用于预测目标对象的旋转矩阵的第一网络，将所述目标对象的特征张量输入初始姿态网络，得到姿态预测结果，包括：将所述目标对象的特征张量输入第一网络，得到姿态预测结果，所述姿态预测结果包括所述第一网络预测的目标对象的旋转矩阵；所述预设的姿态损失函数包括第一损失函数，所述第一损失函数用于指示所述第一网络预测目标对象的旋转矩阵的检测误差，根据预设的姿态损失函数、所述姿态预测结果、所述训练数据集的标注信息，确定姿态损失，包括：将所述述第一网络预测的目标对象的旋转矩阵、所述目标对象对应的所述训练数据集的标注信息输入第一损失函数，确定姿态损失。
[0010]在一种可能的实现方式中，所述初始姿态网络包括用于预测目标对象的旋转矩阵的第一网络，以及预测目标对象的姿态角度的第二网络，将所述目标对象的特征张量输入初始姿态网络，得到姿态预测结果，包括：将所述目标对象的特征张量分别输入第一网络和第二网络，得到姿态预测结果，所述姿态预测结果包括所述第一网络预测的目标对象的旋转矩阵，以及所述第二网络预测的目标对象的姿态角度；所述预设的姿态损失函数包括第一损失函数与第二损失函数的乘积，所述第一损失函数用于指示所述第一网络预测目标对象的旋转矩阵的检测误差，所述第二损失函数用于指示所述第二网络预测的目标对象的姿态角度的检测误差，根据预设的姿态损失函数、所述姿态预测结果、所述训练数据集的标注信息，确定姿态损失，包括：将所述第一网络预测的目标对象的旋转矩阵、所述第二网络预测的目标对象的姿态角度、所述目标对象对应的所述训练数据集的标注信息输入所述预设的姿态损失函数，确定姿态损失。
[0011]在一种可能的实现方式中，所述初始姿态网络包括用于预测目标对象的旋转矩阵的第一网络，所述第一网络包括第一网络层、第二网络层、第三网络层；其中，所述第一网络层包括卷积核尺寸为第一预设尺寸的卷积单元、归一化单元、非线性激活单元；所述第二网络层包括卷积核尺寸为第二预设尺寸的深度可分离卷积单元、归一化单元、非线性激活单元，所述第二预设尺寸大于所述第一预设尺寸；所述第三网络层包括单位卷积单元。
[0012]在一种可能的实现方式中，所述初始姿态网络包括用于预测目标对象的旋转矩阵的第一网络，以及用于预测目标对象的姿态角度的第二网络；所述第一网络包括第一网络层、第二网络层、第三网络层，所述第二网络包括第四网络层、第五网络层、第六网络层、第七网络层；其中，所述第一网络层包括卷积核尺寸为第一预设尺寸的卷积单元、归一化单元、非线性激活单元；所述第二网络层包括卷积核尺寸为第二预设尺寸的深度可分离卷积单元、归一化单元、非线性激活单元，所述第二预设尺寸大于所述第一预设尺寸；所述第三网络层包括单位卷积单元；所述第四网络层包括卷积核尺寸为所述第一预设尺寸的卷积单元、归一化单元、非线性激活单元；所述第五网络层包括卷积核尺寸为所述第二预设尺寸的深度可分离卷积单元、归一化单元、非线性激活单元；所述第六网络层包括单位卷积单元、归一化单元、非线性激活单元；所述第七网络层包括单位卷积单元。
[0013]在一种可能的实现方式中，获取训练数据集，包括：获取第一样本集，所述第一样本集包括目标对象的姿态角度大于预设角度阈值的样本图像；获取第二样本集，所述第二样本集包括多种传感器在不同场景下采集的样本图像；对所述第一样本集和/或所述第二
样本集进行数据集增强处理，得到第三样本集；根据所述第一样本集、所述第二样本集、所述第三样本，确定训练数据集。
[0014]根据本公开的一方面，提供了一种姿态估计方法，所述方法包括：获取待处理图像；将所述待处理图像输入预设的特征提取网络，得到所述待处理图像中目标对象的特征张量；将所述待处理图像中目标对象的特征张量输入目标姿态网络中处理，确定所述待处理图像的检测结果，所述检测结果包括所述目标对象的姿态信息；其中，所述目标姿态网络是根据上述的用于姿态估计的网络训练方法训练得到的。
[0015]根据本公开的一方面，提供了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于姿态估计的网络训练方法，其特征在于，包括：获取训练数据集；将所述训练数据集中的样本图像输入预设的特征提取网络，确定所述样本图像中目标对象的特征张量；根据所述目标对象的特征张量，对初始姿态网络进行训练，得到目标姿态网络，其中，所述目标姿态网络用于结合所述特征提取网络，确定待处理图像中目标对象的姿态信息。2.根据权利要求1所述的方法，其特征在于，根据所述目标对象的特征张量，对初始姿态网络进行训练，得到目标姿态网络，包括：根据目标对象的特征张量，对初始姿态网络进行多轮的迭代训练，得到多个备选姿态网络；在满足训练结束条件的情况下，从多个备选姿态网络中选择目标姿态网络，所述训练结束条件包括对所述初始姿态网络的迭代训练轮数大于或等于第一预设阈值，和/或，当前轮迭代训练的学习率小于第二预设阈值。3.根据权利要求2所述的方法，其特征在于，根据目标对象的特征张量，对初始姿态网络进行多轮的迭代训练，得到多个备选姿态网络，包括：对于所述初始姿态网络的任一轮的迭代训练，将所述目标对象的特征张量输入初始姿态网络，得到姿态预测结果；根据预设的姿态损失函数、所述姿态预测结果、所述训练数据集的标注信息，确定姿态损失，其中，所述姿态损失用于指示所述初始姿态网络对目标对象的姿态信息的检测误差；根据所述姿态损失，对初始姿态网络进行迭代训练，得到当前轮迭代训练对应的备选姿态网络。4.根据权利要求3所述的方法，其特征在于，所述初始姿态网络包括用于预测目标对象的旋转矩阵的第一网络，将所述目标对象的特征张量输入初始姿态网络，得到姿态预测结果，包括：将所述目标对象的特征张量输入第一网络，得到姿态预测结果，所述姿态预测结果包括所述第一网络预测的目标对象的旋转矩阵；所述预设的姿态损失函数包括第一损失函数，所述第一损失函数用于指示所述第一网络预测目标对象的旋转矩阵的检测误差，根据预设的姿态损失函数、所述姿态预测结果、所述训练数据集的标注信息，确定姿态损失，包括：将所述述第一网络预测的目标对象的旋转矩阵、所述目标对象对应的所述训练数据集的标注信息输入第一损失函数，确定姿态损失。5.根据权利要求3所述的方法，其特征在于，所述初始姿态网络包括用于预测目标对象的旋转矩阵的第一网络，以及预测目标对象的姿态角度的第二网络，将所述目标对象的特征张量输入初始姿态网络，得到姿态预测结果，包括：将所述目标对象的特征张量分别输入第一网络和第二网络，得到姿态预测结果，所述姿态预测结果包括所述第一网络预测的目标对象的旋转矩阵，以及所述第二网络预测的目标对象的姿态角度；所述预设的姿态损失函数包括第一损失函数与第二损失函数的乘积，所述第一损失函数用于指示所述第一网络预测目标对象的旋转矩阵的检测误差，所述第二损失函数用于指
示所述第二网络预测的目标对象的姿态角度的检测误差，根据预设的姿态损失函数、所述姿态预测结果、所述训练数据集的标注信息，确定姿态损失，包括：将所述第一网络预测的目标对象的旋转矩阵、所述第二网络预测的目标对象的姿态角度、所述目标对象对应的所述训练数据集的标注信息输入所述预设的姿态损失函数，确定姿态损失。6.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：