数据处理方法、神经网络训练方法、装置、设备及介质制造方法及图纸

本公开提供了一种数据处理方法、神经网络训练方法、装置、设备及介质，涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术、自动驾驶、智能交通等领域。具体实现方案为：获取联合标注数据集，所述联合标注数据集包括三维数据、与所述三维数据对应的二维数据、至少一个三维标注框、以及与所述三维标注框对应的二维标注框；其中，所述三维标注框与所述三维数据中的待检测目标对应；从所述三维标注框中获取多个顶点与所述三维数据的位置关系满足预设的第一条件的目标三维标注框，将所述目标三维标注框以及与所述目标三维标注框对应的二维标注框，从所述联合标注数据集中删除。删除。删除。

【技术实现步骤摘要】
数据处理方法、神经网络训练方法、装置、设备及介质


[0001]本公开涉及人工智能
，尤其涉及深度学习、图像处理、计算机视觉技术、自动驾驶、智能交通等领域，具体而言，本公开涉及一种数据处理方法、神经网络训练方法、装置、设备及介质。

技术介绍

[0002]随着智能技术的发展，尤其是神经网络技术的发展，使用融合数据对神经网络进行训练已经成为一些
，由于是自动驾驶
，行之有效的方法。
[0003]例如在自动驾驶领域，可以使用进行了时间和空间对齐并且联合标注的3D(3Dimensional，三维)数据和2D(2Dimensional，二维)数据训练神经网络获取环境信息。
[0004]联合标注数据的质量将影响训练得到的神经网络的质量，进而影响获取的环境信息的准确性。

技术实现思路

[0005]本公开为了解决上述缺陷中的至少一项，提供了一种数据处理方法、神经网络训练方法、装置、设备及介质。
[0006]根据本公开的第一方面，提供了一种数据处理方法，该方法包括：
[0007]获取联合标注数据集，所述联合标注数据集包括三维数据、与所述三维数据对应的二维数据、至少一个三维标注框、以及与所述三维标注框对应的二维标注框；其中，所述三维标注框与所述三维数据中的待检测目标对应；
[0008]从所述三维标注框中获取多个顶点与所述三维数据的位置关系满足预设的第一条件的目标三维标注框，将所述目标三维标注框以及与所述目标三维标注框对应的二维标注框，从所述联合标注数据集中删除。r/>[0009]根据本公开的第二方面，提供了一种神经网络训练方法，该方法包括：
[0010]获取联合标注数据集，所述联合标注数据集包括三维数据、与所述三维数据对应的二维数据、至少一个三维标注框、以及与所述三维标注框对应的二维标注框；其中，所述三维标注框与所述三维数据中的待检测目标对应；
[0011]根据上述的数据处理方法对所述联合标注数据集进行处理，获取联合训练数据集；
[0012]根据所述联合训练数据集对待训练神经网络进行训练。
[0013]根据本公开的第三方面，提供了一种数据处理装置，该装置包括：
[0014]数据模块，用于获取联合标注数据集，所述联合标注数据集包括三维数据、与所述三维数据对应的二维数据、至少一个三维标注框、以及与所述三维标注框对应的二维标注框；其中，所述三维标注框与所述三维数据中的待检测目标对应；
[0015]删除模块，用于从所述三维标注框中获取多个顶点与所述三维数据的位置关系满足预设的第一条件的目标三维标注框，将所述目标三维标注框以及与所述目标三维标注框
对应的二维标注框，从所述联合标注数据集中删除。
[0016]根据本公开的第四方面，提供了一种神经网络训练装置，该装置包括：
[0017]获取模块，用于获取联合标注数据集，所述联合标注数据集包括三维数据、与所述三维数据对应的二维数据、至少一个三维标注框、以及与所述三维标注框对应的二维标注框；其中，所述三维标注框与所述三维数据中的待检测目标对应；
[0018]处理模块，用于根据权利要求1
‑
8任一项所述的数据处理方法对所述联合标注数据集进行处理，获取联合训练数据集；
[0019]训练模块，用于根据所述联合训练数据集对待训练神经网络进行训练。
[0020]根据本公开的第五方面，提供了一种电子设备，该电子设备包括：
[0021]至少一个处理器；以及
[0022]与上述至少一个处理器通信连接的存储器；其中，
[0023]存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述数据处理方法或上述神经网络训练方法。
[0024]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述上述数据处理方法或上述神经网络训练方法。
[0025]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述数据处理方法或上述神经网络训练方法。
[0026]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0028]图1是本公开实施例提供的一种数据处理方法的流程示意图；
[0029]图2是本公开实施例提供的另一种数据处理方法的部分步骤的流程示意图；
[0030]图3是本公开实施例提供的另一种数据处理方法的部分步骤的流程示意图；
[0031]图4是本公开实施例提供的另一种数据处理方法的部分步骤的流程示意图；
[0032]图5是本公开实施例提供的另一种数据处理方法的部分步骤的流程示意图；
[0033]图6是本公开实施例提供的另一种数据处理方法的部分步骤的流程示意图；
[0034]图7是本公开实施例提供的一种神经网络训练方法的流程示意图；
[0035]图8是本公开实施例提供的一种数据处理装置的结构示意图；
[0036]图9是本公开实施例提供的一种神经网络训练装置的结构示意图；
[0037]图10是用来实现本公开实施例的数据处理方法或神经网络训练方法的电子设备的框图。
具体实施方式
[0038]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0039]在一些相关技术中，在3D数据(例如雷达数据)中标注出包裹目标的3D标注框(3D box)，通过相机的内外参将3D box投影到2D数据(例如图像)中，得到包裹目标的2D标注框(2D box)，进而获取2D数据、3D数据联合标注数据，即23D联合标注数据。
[0040]由于2D box是通过3D box投影得到的，位于数据边缘的目标，其对应的2D box可能有一部分位于图像之外，导致2D box对应的位于图像内的目标不完整以及尺寸较小，神经网络可能无法学习其特征。
[0041]同时，在一些具体实现中，相机的内外参也许会存在误差，导致将3Dbox投影到图像上也会存在误差，进而导致投影后的2D box与图像只在边缘存在交集，且由于该交集过小，其可能大部分都是背景，基本不包含目标，神经网络也无法学习其特征。
[0042]本公开实施例提供的数据处理方法、神经网络训练方法、装置、设备及介质，旨在解决现有技术的如上技术问题中的至少一个。
[0043]图1示出了本公开实施例提供的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取联合标注数据集，所述联合标注数据集包括三维数据、与所述三维数据对应的二维数据、至少一个三维标注框、以及与所述三维标注框对应的二维标注框；其中，所述三维标注框与所述三维数据中的待检测目标对应；从所述三维标注框中获取多个顶点与所述三维数据的位置关系满足预设的第一条件的目标三维标注框，将所述目标三维标注框以及与所述目标三维标注框对应的二维标注框，从所述联合标注数据集中删除。2.根据权利要求1所述的方法，其中，所述从所述三维标注框中获取多个顶点与所述三维数据的位置关系满足预设的第一条件的目标三维标注框，将所述目标三维标注框以及与所述目标三维标注框对应的二维标注框，从所述联合标注数据集中删除，包括：根据所述三维标注框的所有顶点与所述三维数据的位置关系确定所述三维标注框的位于所述三维数据对应的三维空间边缘的边缘顶点的个数；从所述三维标注框中获取边缘顶点的个数满足预设的第一条件的目标三维标注框，将所述目标三维标注框以及与所述目标三维标注框对应的二维标注框，从所述联合标注数据集中删除。3.根据权利要求1所述的方法，其中，所述获取联合标注数据集之后，还包括：从所述二维标注框中获取尺寸满足预设的第二条件的目标二位标注框，将所述目标二维标注框以及所述目标二维标注框对应的三维标注框，从所述联合标注数据集中删除。4.根据权利要求3所述的方法，其中，所述方法还包括：获取二维标注数据集，所述二维标注数据集包括图像数据以及至少一个图像标注框；所述图像标注框与所述图像数据中的待检测目标对应；根据所述图像标注框的尺寸，确定尺寸阈值；所述从所述二维标注框中获取尺寸满足预设的第二条件的目标二位标注框，将所述目标二维标注框以及所述目标二维标注框对应的三维标注框，从所述联合标注数据集中删除，包括：从所述二维标注框中获取尺寸小于所述尺寸阈值的目标二位标注框，将所述目标二维标注框以及所述目标二维标注框对应的三维标注框，从所述联合标注数据集中删除。5.根据权利要求4所述的方法，其中，所述尺寸阈值包括宽度阈值；所述根据所述图像标注框的尺寸，确定尺寸阈值，包括：获取待检测目标的类别，确定每个类别对应的第一截断标注框，所述类别对应的第一截断标注框为对应的待检测目标的类别为所述类别的上下截断标注框；所述上下截断标注框为存在至少一个顶点位于所述图像数据对应的二维空间的上边缘或下边缘的图像标注框；统计每个类别对应的第一截断标注框的宽度值，确定每个类别对应的所述宽度值中的最小值为所述类别对应的宽度阈值；所述从所述二维标注框中获取尺寸小于所述尺寸阈值的目标二位标注框，将所述目标二维标注框以及所述目标二维标注框对应的三维标注框，从所述联合标注数据集中删除，包括：确定每个类别对应的第一截断二维框，所述类别对应的第一截断二维框为对应的待检
测目标的类别为所述类别的上下截断二维框；所述上下截断二维框为存在至少一个顶点位于所述二维数据对应的二维空间的上边缘或下边缘的二维标注框；从每个类别对应的第一截断二维框中获取宽度值小于所述类别对应的宽度阈值的目标第一截断二维框，将所述目标第一截断二维框以及所述目标第一截断二维框对应的三维标注框，从所述联合标注数据集中删除。6.根据权利要求4所述的方法，其中，所述尺寸阈值包括长度阈值；所述根据所述图像标注框的尺寸，确定尺寸阈值，包括：获取待检测目标的类别，确定每个类别对应的第二截断标注框，所述类别对应的第二截断标注框为对应的待检测目标的类别为所述类别的左右截断标注框；所述左右截断标注框为存在至少一个顶点位于所述图像数据对应的二维空间的左边缘或右边缘的图像标注框；统计每个类别对应的第二截断标注框的长度值，确定每个类别对应的所述长度值中的最小值为所述类别对应的长度阈值；所述从所述二维标注框中获取尺寸小于所述尺寸阈值的目标二位标注框，将所述目标二维标注框以及所述目标二维标注框对应的三维标注框，从所述联合标注数据集中删除，包括：确定每个类别对应的第二截断二维框，所述类别对应...

【专利技术属性】
技术研发人员：刘博，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：