基于卷积复变换神经网络的舌苔图像特征提取方法和系统技术方案

本发明专利技术公开了一种基于卷积复变换神经网络的舌苔图像特征提取方法和系统，方法包括：构建卷积复变换神经网络，包括：卷积层和复数变换层；复数变换层由多个Wave

【技术实现步骤摘要】
基于卷积复变换神经网络的舌苔图像特征提取方法和系统


[0001]本专利技术涉及特征提取
，更具体的说是涉及一种基于卷积复变换神经网络的舌苔图像特征提取方法和系统。

技术介绍

[0002]舌与五脏六腑之间的相互关系早在中国古书《黄帝内经》中已有记载，人类的五脏六腑内脏器官的情况会表现在舌头的相关区域，中医临床诊断证明，通过观察人的舌头气色可以掌握人类的内脏器官情况，但很大程度上依赖中医专家的经验。
[0003]随着人工智能的发展，出现了诸多基于大数据的深度神经网络机器学习技术，但目前的学习技术均无法很好的识别舌苔图像的深层特征，导致后续无法根据舌苔图像的特征准确掌握人体内脏器官的情况，
[0004]而且对于舌苔图像，由于每个类别的样本分布不均，使得训练出的模型泛化能力欠佳，难以有效表达出图像数据的区分性特征，无法满足当前的需求。
[0005]因此，如何克服上述问题，在舌像样本分布不均的情况下得到具有较强泛化能力且能准确充分表达识别出图像数据的区分性特征的特征提取模型或网络，是本领域技术人员亟需解决的问题。
[0006]同时，应注意，公开于该
技术介绍
部分的信息仅仅旨在加深对本专利技术总体
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成本领域技术人员所公知的现有技术。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种基于卷积复变换神经网络的舌苔图像特征提取方法和系统，目的在于充分利用有限的舌苔图像，并在类别分布不均的情况下，准确提取其中隐含的深层特征。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]一方面，本专利技术公开了一种基于卷积复变换神经网络的舌苔图像特征提取方法，包括，
[0010]构建卷积复变换神经网络，所述卷积复变换神经网络依次包括：卷积层、和复数变换层；
[0011]所述复数变换层由多个Wave
‑
CT模块和下采样层交替组成，
[0012]所述Wave
‑
CT模块用于提取输入图像的空间特征以及对应通道的权重特征；将所述空间特征和所述权重特征转换为具有振幅和相位的波，根据复数变换原理，对特征聚合权重进行学习更新，根据更新后的特征聚合权重以及提取的空间特征和权重特征，输出聚合后的特征；
[0013]训练所述卷积复变换神经网络，并利用训练好的所述卷积复变换神经网络对舌苔图像进行特征提取。
[0014]作为优选，所述Wave
‑
CT模块包括PATM块，所述PATM块包括Channel
‑
FC、Channel
‑
MLP和Token
‑
FC，其中，所述Channel
‑
FC，用于从不同的维度提取输入图像的空间特征；所述Channel
‑
MLP，用于提取不同通道的权重特征；所述Token
‑
FC用于根据学习后的聚合权重对所述空间特征和所述权重特征进行聚合，得到聚合后的特征。。
[0015]作为优选，所述卷积层包括卷积层一，所述卷积层一包括多个卷积块，每个所述卷积块包括3
×
3卷积、归一化和ReLU激活函数。
[0016]作为优选，所述卷积层还包括卷积层二，所述卷积层二包括多个堆叠的Blocks块,和下采样层，所述Blocks块由两个1
×
1卷积层、归一化、ReLU激活函数和一个3
×
3卷积层、归一化和ReLU激活函数交替组成。
[0017]作为优选，按如下步骤对所述卷积复变换神经网络进行训练，
[0018]S1、将所述卷积复变换神经网络和sigmoid分类器组成内脏器官状态识别模型；
[0019]S2、获取舌苔图像，以及对应的内脏器官状态标签；其中，所述内脏器官状态包括内脏器官种类和内脏器官属性；
[0020]S3、利用所述舌苔图像和所述对应的内脏器官状态标签，对所述内脏器官状态识别模型进行训练。
[0021]作为优选，其特征在于，训练时，以内脏器官种类和内脏器官属性的损失之和作为损失函数，表达式为：
[0022]L
total
＝L
loc
+L
nat
[0023]式中，L
loc
表示器官种类的损失函数，L
nat
表示器官属性的损失函数。
[0024]作为优选，所述内脏器官种类和所述内脏器官属性的损失函数均包括分类损失函数和认知引力损失函数；其中，所述分类损失函数的表达式为：
[0025][0026]式中，m表示内脏器官特征类别的个数，C表示类别标签的数量，y
i
表示器官类别标签，t
i
表示特征x
i
对应的内脏器官类别，p(t
i
|x
i
,θ)表示内脏器官t
i
的位置概率；
[0027]所述认知引力损失函数的表达式为：
[0028][0029]其中，m表示内脏器官特征类别的个数，S(x
i
)表示是x
i
同类的样本集合，N表示样本标签数量，D(x
i
)是与x
i
不同类的样本集合，F(x
i
,x
j
)表示特征x
i
和特征x
j
之间的认知引力。
[0030]作为优选，认知引力的计算公式为：
[0031][0032]式中，G为参数，I(x
i
)和I(x
j
)分别表示两个特征的自信息，其中自信息的计算公式为：
[0033]I(x)＝
‑
log P(x)
[0034]其中，P(x)表示样本标签概率密度，且P(x)表达式为：
[0035][0036]式中，f
d
(x)表示样本的密度，N表示样本标签数量。
[0037]另一方面，本专利技术还公开了一种基于卷积复变换神经网络的舌苔图像特征提取系统，包括，
[0038]图像处理模块，用于接收舌苔图像并进行预处理；
[0039]特征提取模块，应用如上所述的卷积复变换神经网络，用于根据预处理后的舌苔图像进行特征提取。
[0040]作为优选，所述预处理的步骤包括：对接收的舌苔图像进行数据增广，并对三个基础颜色通道进行归一化和标准化处理。
[0041]经由上述的技术方案可知，本专利技术公开提供了一种基于卷积复变换神经网络的舌苔图像特征提取方法和系统，与现有技术相比，本专利技术创新性的构建了基于可学习卷积运算和复数变换的卷积复变换神经网络，该网络通过可学习的复数变换层提取舌苔图像的深层特征，同时，本专利技术考虑舌苔类别分布不均的因素，训练时，采用了包含引力损失的损失函数，进而引导模型在一定程度上跳出局部最优。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积复变换神经网络的舌苔图像特征提取方法，其特征在于，包括：构建卷积复变换神经网络，所述卷积复变换神经网络依次包括：卷积层和复数变换层；所述复数变换层由多个Wave
‑
CT模块和下采样层交替组成，所述Wave
‑
CT模块用于提取输入图像的空间特征以及对应通道的权重特征；并将所述空间特征和权重特征转换为具有振幅和相位的波，根据复数变换原理，对特征聚合权重进行学习更新，根据更新后的特征聚合权重以及提取的空间特征和权重特征，输出聚合后的特征；训练所述卷积复变换神经网络，并利用训练好的所述卷积复变换神经网络对舌苔图像进行特征提取。2.根据权利要求1所述的一种基于卷积复变换神经网络的舌苔图像特征提取方法，其特征在于，所述Wave
‑
CT模块包括PATM块，所述PATM块包括Channel
‑
FC、Channel
‑
MLP和Token
‑
FC，其中，所述Channel
‑
FC，用于从不同的维度提取输入图像的空间特征；所述Channel
‑
MLP，用于提取不同通道的权重特征；所述Token
‑
FC用于根据学习后的聚合权重对所述空间特征和所述权重特征进行聚合，得到聚合后的特征。3.根据权利要求1所述的一种基于卷积复变换神经网络的舌苔图像特征提取方法，其特征在于，所述卷积层包括卷积层一，所述卷积层一包括多个卷积块，每个所述卷积块包括3
×
3卷积、归一化和ReLU激活函数。4.根据权利要求3所述的一种基于卷积复变换神经网络的舌苔图像特征提取方法，其特征在于，所述卷积层还包括卷积层二，所述卷积层二包括多个堆叠的Blocks块,和下采样层，所述Blocks块由两个1
×
1卷积层、归一化、ReLU激活函数和一个3
×
3卷积层、归一化和ReLU激活函数交替组成。5.根据权利要求1所述的一种基于卷积复变换神经网络的舌苔图像特征提取方法，其特征在于，按如下步骤对所述卷积复变换神经网络进行训练，S1、将所述卷积复变换神经网络和sigmoid分类器组成内脏器官状态识别模型；S2、获取舌苔图像，以及对应的内脏器官状态标签；S3、利用所述舌苔图像和所述对应的内脏器官状态标签，对所述内脏器官状态识别模型进行训练。6.根据权利要求1或5所述的一种基于卷积复变换神经网络的舌苔图像特征...

【专利技术属性】
技术研发人员：文贵华，张孟健，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：