一种微型网络算法、存储介质以及计算机制造技术

本发明专利技术涉及数据处理技术领域，具体涉及一种微型网络算法、存储介质以及计算机，所述算法通过仅在最佳分辨率下使用的特征图的数量，且放弃通道数量加倍后得到的卷积核在每个分辨率深度；能够与全尺寸网络具有相似的性能，同时具有更快的训练时间和更低的内存需求的优势，可以降低在资源紧张的环境下训练深度学习模型的成本。习模型的成本。习模型的成本。

【技术实现步骤摘要】
一种微型网络算法、存储介质以及计算机


[0001]本专利技术涉及数据处理
，具体涉及一种微型网络算法、存储介质以及计算机。

技术介绍

[0002]深度学习在医学图像处理和分析中应用广泛，例如，描述感兴趣的区域(即图像分割)对于计算机辅助诊断、干预和治疗是必要的。手动图像分割是一项繁琐、耗时的任务，其结果往往有很大的差异。另一方面，全自动分割可以大大减少对目标区域进行描述所需的时间，生成更一致的分割掩模。在过去的几年里，深度学习方法在肿瘤或其它解剖结构分类或分割任务中取得了不错的成绩。
[0003]然而，使用深度学习方法需要使用具有足够计算能力和可用内存的计算设备训练和评估网络，处理大型数据集，这需要付出巨大的金钱成本和计算成本，这与对数据质量的要求关系并不大。一台具有合适硬件规格来训练大型深度学习模型的工作站的成本大约从36000元到310000元不等。基于云的解决方案为训练模型提供了一个更经济的选择，可以为用户在加速计算实例上支付时间。然而，这类选择必须采取额外措施来保护患者的隐私。另外可能涉及机构与云计算资源提供商签订服务协议，这一项协议的费用是必须考虑到的因素。
[0004]在过去的几年里，人们已经多次尝试减少医学图像处理中深度学习模型的参数数量，如剪枝、深度可分离卷积和减少滤波器等方法。然而这些方法都存在各自的不足。

技术实现思路

[0005]本专利技术所要解决的技术问题是：提供一种为了保证深度学习模型性能的同时，减少与训练相关的成本，极大地减少了这些架构中参数的数量的微型网络算法、存储介质以及计算机。
[0006]为了解决上述技术问题，本专利技术采用的第一种技术方案为：
[0007]一种微型网络算法，包括
[0008]假设在不同分辨率下执行的卷积数是相同的，并采用C表示；并假设每个卷积核的窗口是各向同性的，每个维度的模板宽度为k；D表示最大分辨率深度；
[0009]所述微型网络算法通过仅在最佳分辨率下使用的特征图的数量，且放弃通道数量加倍后得到的卷积核在每个分辨率深度具有k
n
c
in
c
out
个参数，在图像通道数为d的nD图像上运行卷积核，放弃后的具有以下数量的参数n
m
为
[0010][0011]其中n为维度，c
in
为卷积操作的输入通道数，c
out
为卷积操作的输出通道数。
[0012]为了解决上述技术问题，本专利技术采用的第二种技术方案为：
[0013]一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的微型网络算法。
[0014]为了解决上述技术问题，本专利技术采用的第三种技术方案为：
[0015]一种计算机，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述的微型网络算法。
[0016]本专利技术的有益效果在于：通过本申请的微型网络，能够与全尺寸网络具有相似的性能，同时具有更快的训练时间和更低的内存需求的优势，可以降低在资源紧张的环境下训练深度学习模型的成本。
附图说明
[0017]图1为本专利技术具体实施方式的微型网络算法的网络构架。
具体实施方式
[0018]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0019]请参照图1，一种微型网络算法，包括
[0020]在深度学习模型中，假设在不同分辨率下执行的卷积数是相同的，并采用C表示；并假设每个卷积核的窗口是各向同性的，每个维度的模板宽度为k；D表示最大分辨率深度；
[0021]在一个全尺寸的网络中，在图像通道数为d的nD图像上运行的卷积核，则该卷积核具有k
n
(c
in2d
)(c
out2d
)个参数；
[0022]全尺寸的网络具有以下数量的参数n
full
为
[0023][0024]其中n为维度，c
in
为卷积操作的输入通道数，c
out
为卷积操作的输出通道数；所述微型网络算法通过仅在最佳分辨率下使用的特征图的数量，且放弃通道数量加倍后得到的卷积核在每个分辨率深度具有k
n
c
in
c
out
个参数，放弃后的具有以下数量的参数n
m
为
[0025][0026][0027]savings为网络中参数数量减少倍数。
[0028]其中，所述n＝2，则图像表示为d
×
width
×
height。
[0029]所述n＝3，则图像表示为d
×
width
×
height
×
depth。
[0030]实施例一
[0031]一种微型网络算法，
[0032]许多用于图像处理任务的网络架构依赖于在多个尺度上操作图像，因为自然图像
以多个分辨率封装数据。如在首先提出的U
‑
Net结构中，由于特征映射数量的增加抵消了信息的损失，每当图像的分辨率降低时，每个卷积运算符中的特征映射(即通道)的数量就会增加一倍。
[0033]然而，对于U
‑
Net算法来说，通道数量加倍本质上并不是必要的。U
‑
Net算法与用于求解线性方程组Au＝f的几何多重网格求解器的单个V循环几乎相同，其中A和u与一个包含多个分辨率的几何网格有关。以下给出了一个V循环的算法。
[0034][0035]在这个多重网格求解器的每个分辨率下，构造简化操作A
d
的范围和零空间，使残差有效地分解为高频和低频分量。随后，每个频率在一个适当分辨率的网格上被求解。所以多重网格求解器并不需要通过增加维度来补偿下采样“丢失”的信息(即无需增加2
d
，就是全尺寸网络的k
n
(c
in2d
)(c
out2d
)与本申请的k
n
c
in
c
out
的区别)。
[0036]本技术方案设计的微型网络范式正是利用了多重网格方法和U
‑
Net架构之间的这种相似性，指出在最佳分辨率下使用的特征图的数量足以捕获图像处理任务所需的相关信息，而通道数量加倍是没有必要的，因此可以大大减少了这个过程中模型中的参数数量。图1表示应用于U
‑
Net的微型网络范式的可视化表示。微型网络范式的形式化定义为：如果网
络中所有的卷积操作(除了最终的输出层外)的输出结果都在width
×
height
×
c
out
的范围之内，那么这样的网络结构就是所设计的微型网络，其中输出通道数c
o本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微型网络算法，其特征在于，包括假设在不同分辨率下执行的卷积数是相同的，并采用C表示；并假设每个卷积核的窗口是各向同性的，每个维度的模板宽度为k；D表示最大分辨率深度；所述微型网络算法通过仅在最佳分辨率下使用的特征图的数量，且放弃通道数量加倍后得到的卷积核在每个分辨率深度具有k
n
c
in
c
out
个参数，在图像通道数为d的nD图像上运行卷积核，放弃后的具有以下数量的参数n
m
为其中n为维度，c
in
为卷积操作的输入通道数，c
out
为卷积操作的输出通道数。2.根据权利要求1所述的微型网络算法，其特征在于...

【专利技术属性】
技术研发人员：李灯熬，刘萍，赵菊敏，刘秉文，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：