神经网络训练方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种神经网络训练方法及装置、电子设备和存储介质，所述方法包括：获取样本图像中目标区域的位置信息及类别信息；根据目标区域的位置信息，裁剪出至少一个目标区域；根据类别信息，将裁剪出的至少一个目标区域进行归类，得到N类样本图像块；将N类样本图像块输入至神经网络中进行训练。根据本公开的实施例的神经网络训练方法，可获得样本图像块的精细分类，并对神经网络进行训练，使得神经网络可对图像进行精细分类，提高分类效率，并提高医疗诊断准确度。

Neural network training method and device, electronic equipment and storage medium

【技术实现步骤摘要】
神经网络训练方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种神经网络训练方法及装置、电子设备和存储介质。
技术介绍
机器学习等方法在图像处理领域有着广泛应用，例如，可应用于普通图像或三维图像的分类和图像检测等领域。例如，在医学图像的处理中，可通过机器学习方法来确定患病的类别以及检测病变区域等。在医学图像的处理中，肺部医学图像(例如，肺部计算机断层扫描(CT，ComputedTomography))的分类和检测在医学筛查和肺炎、肺癌等诊断的诊断中具有重要作用。肺癌是我国最常见的恶性肿瘤之一，其死亡率无论是在城市或农村、男性或女性，均居癌症死亡的首位，其中，腺癌约占所有肺癌的40％。使用医学图像(例如，肺部CT和低剂量螺旋CT)进行筛查，越来越多的早期肺腺癌被发现并表现为磨玻璃结节(ground-glassnodule，GGN)。腺癌分为浸润前腺癌非典型腺瘤增生(Atypicaladenomatoushyperplasiaofpreinvasiveadenocarcinoma，AAH)，原位腺癌(adenocarcinomainsitu，AIS)，微创腺癌(Minimallyinvasiveadenocarcinoma，MIA)和浸润性腺癌(invasiveadenocarcinoma，IA)。随着肿瘤大小的增加，生存期会出现显著下降，这表明早期发现和诊断是降低患者死亡率的有效且至关重要的方法。因此，在手术前及早发现侵袭性特征在临床上将是重要的，并可为临床决策提供指导。但是，由于缺乏早期癌症的典型放射学特征(气泡清晰，胸膜回缩等)，临床上，专家或放射科医生很难准确地从CT图像上鉴别诊断亚型GGN类别。在这种情况下，基于人工智能的计算机辅助诊断是评估结节侵袭性的一种更加有效方法，有望在临床评估任务中发挥重要作用。在相关技术中，通常是通过机器学习等方式预测输入的结节的图像属于恶性肿瘤还是良性肿瘤，还没有进一步做细分类的技术。
技术实现思路
本公开提出了一种神经网络训练方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种神经网络训练方法，包括：获取样本图像中目标区域的位置信息及类别信息；根据所述目标区域的位置信息，裁剪出至少一个所述目标区域；根据所述类别信息，将裁剪出的至少一个所述目标区域进行归类，得到N类样本图像块，N为整数，且N≧1；将所述N类样本图像块输入至神经网络中进行训练。根据本公开的实施例的神经网络训练方法，可获得样本图像块的精细分类，并对神经网络进行训练，使得神经网络可对图像进行精细分类，提高分类效率，并提高医疗诊断准确度。在一种可能的实现方式中，所述样本图像为医学影像图片。在一种可能的实现方式中，所述获取样本图像中目标区域的位置信息及类别信息包括：对医学影像图片上的目标区域进行定位，得到所述目标区域的位置信息；获取与所述医学影像图片关联的病理学图片；根据所述病理学图片上的各目标区域的病理信息，标注所述影像学图片上的目标区域的类别信息。在一种可能的实现方式中，将所述N类样本图像块输入至神经网络中进行训练，包括：将任一的样本图像块输入所述神经网络进行处理，获得样本图像块的类别预测信息和预测目标区域；至少根据所述类别预测信息和所述样本图像块的类别信息，确定分类损失；根据所述预测目标区域和所述样本图像块的位置信息，确定分割损失；根据所述分类损失和所述分割损失，训练所述神经网络。在一种可能的实现方式中，根据所述类别预测信息和所述样本图像块的类别信息，确定分类损失，包括：根据所述类别预测信息和所述样本图像块的类别信息，确定第一分类损失；根据所述类别预测信息和所述样本图像块所属类别的类中心的类别信息，确定第二分类损失；对所述第一分类损失和所述第二分类损失进行加权求和处理，获得所述分类损失。通过这种方式，可在训练中使相同类别的样本图像块的类别特征更聚集，使不同类别的样本图像块的类别信息之间的特征距离更大，有助于提升分类性能，提高分类准确率。在一种可能的实现方式中，根据所述预测目标区域和所述样本图像块的位置信息，确定分割损失，包括：根据所述预测目标区域的像素数量在所述样本图像块中所占的第一比例，确定所述预测目标区域的第一权重和所述样本图像块中样本背景区域的第二权重；根据所述第一权重、第二权重、所述预测目标区域和所述样本图像块的位置信息，确定所述分割损失。在一种可能的实现方式中，根据所述预测目标区域的像素数量在所述样本图像块中所占的第一比例，确定所述预测目标区域的第一权重和所述样本图像块中样本背景区域的第二权重，包括：根据所述预测目标区域的像素数量在所述样本图像块中所占的第一比例，确定所述样本图像块中样本背景区域的第二比例；将所述第二比例确定为所述第一权重，并将所述第一比例确定为第二权重。通过这种方式，可平衡目标区域的误差和非目标区域的误差，有利于网络参数优化，提升训练效率和训练效果。在一种可能的实现方式中，所述类别为包括：腺癌分为浸润前腺癌非典型腺瘤增生结节、原位腺癌结节、微创腺癌结节和浸润性腺癌结节。在一种可能的实现方式中，所述神经网络包括共享特征提取网络、分类网络和分割网络，所述方法还包括：将待处理图像块输入共享特征提取网络进行处理，获得待处理图像块的目标特征，其中，所述共享特征提取网络包括M个共享特征提取块，第i个共享特征提取块的输入特征包括前i-1个共享特征提取块的输出特征，i，M为整数且1＜i≤M；将所述目标特征输入分类网络进行分类处理，获得所述待处理图像块的类别信息；将所述目标特征输入分割网络进行分割处理，获得所述待处理图像块中的目标区域。通过这种方式，能够通过共享特征提取网络来获得目标特征，共享特征提取网络的共享特征提取块可获得之前所有共享特征提取块的输出特征，并将自身的输出特征输入至后续所有共享特征提取块。可加强网络内的梯度流动，缓解梯度消失现象，同时提高特征提取和学习能力，有利于对输入的待处理图像块进行更精细分类和分割处理。并可获得待处理图像块的较精细的类别信息和目标区域，提升图像处理效率。在一种可能的实现方式中，将待处理图像块输入共享特征提取网络进行处理，获得待处理图像块的目标特征，包括：对待处理图像块进行第一特征提取处理，获得待处理图像块的第一特征；将所述第一特征输入第一个共享特征提取块，获得第一个共享特征提取块的输出特征，并将第一个共享特征提取块的输出特征输出至后续的M-1个共享特征提取块；将前j-1个共享特征提取块的输出特征输入至第j个共享特征提取块，获得第j个共享特征提取块的输出特征，其中，j为整数且1＜j＜M；将第M个共享特征提取层的输出特征进行第二特征提取处理，获得待处理图像块的第二特征；将第二特征进行池化处理，获得所述目标特征。通过这种方式，能够通过共享特征提取网络来获得目标特征，共享特征提取网络的共享特征提取块可获得之前所有共享特征提取块的输出特征，并将自身的输出特征输入至后续所有共享特征提取块。可加强网络内的梯度流动，缓解梯度消失现象，同本文档来自技高网...

【技术保护点】
1.一种神经网络训练方法，其特征在于，包括：/n获取样本图像中目标区域的位置信息及类别信息；/n根据所述目标区域的位置信息，裁剪出至少一个所述目标区域；/n根据所述类别信息，将裁剪出的至少一个所述目标区域进行归类，得到N类样本图像块，N为整数，且N≧1；/n将所述N类样本图像块输入至神经网络中进行训练。/n

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，包括：
获取样本图像中目标区域的位置信息及类别信息；
根据所述目标区域的位置信息，裁剪出至少一个所述目标区域；
根据所述类别信息，将裁剪出的至少一个所述目标区域进行归类，得到N类样本图像块，N为整数，且N≧1；
将所述N类样本图像块输入至神经网络中进行训练。


2.根据权利要求1所述的方法，其特征在于，所述样本图像为医学影像图片。


3.根据权利要求2所述的方法，其特征在于，所述获取样本图像中目标区域的位置信息及类别信息包括：
对医学影像图片上的目标区域进行定位，得到所述目标区域的位置信息；
获取与所述医学影像图片关联的病理学图片；
根据所述病理学图片上的各目标区域的病理信息，标注所述影像学图片上的目标区域的类别信息。


4.根据权利要求1所述的方法，其特征在于，将所述N类样本图像块输入至神经网络中进行训练，包括：
将任一的样本图像块输入所述神经网络进行处理，获得样本图像块的类别预测信息和预测目标区域；
至少根据所述类别预测信息和所述样本图像块的类别信息，确定分类损失；
根据所述预测目标区域和所述样本图像块的位置信息，确定分割损失；
根据所述分类损失和所述分割损失，训练所述神经网络。


5.根据权利要求4所述的方法，其特征在于，根据所述类别预测信息和所述样本图像块的类别信息，确定分类损失，包括：
根据所述类别预测信息和所述样本图像块的类别信息，确定第一分类损失；
根据所述类别预测信息和所述样本图像块所属类别的类中心的类别信息，确定第二分类损失；
对所述第一分类损失和所述第二分类损失进行加权求和处理，获得所述分类损失。


6.根据权利要求4所述的方法，其特征在于，根据所述预测目标区域和所述样本图像块的位置信息，确定分割损失，包括：
根据所述预测目标区域的像素数量在所述样本图像块中所占的第一比例，确定所述预测目标区域的第一权重和所述样本图像块中样本背景区域的第二权重；
根据所述第一权重、第二权重、所述预测目标区域和所述样本图像块的位置信息，确定所述分割损失。


7.根据权利要求6所述的方法，其特征在于，根据所述预测目标区域的像素数量在所述样本图像块中所占的第一比例，确定所述预测目标区域的第一权重和所述样本图像块中样本背景区域的第二权重，包括：
根据所述预测目标区域的像素数量在所述样本图像块中所占的第一比例，确定所述样本图像块中样本背景区域的第二比例；
将所述第二比例确定为所述第一权重，并将所述第一比例确定为第二权重。


8.根据权利要求1-7任意...

【专利技术属性】
技术研发人员：王娜，宋涛，刘星龙，黄宁，张少霆，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31