本发明专利技术提供一种耳穴检测方法、装置和计算机设备，该方法包括：获取多视角下采集的耳部图像数据序列，耳部图像数据序列中每一图像帧均为RGBD多模态图像，根据TSDF算法和多视角的表面结构分析方法，利用输入的多视角耳廓图像实现耳廓的三维模型重建，在获得精细度较高的重建模型的同时保证实时性，根据输入图像估计拍摄环境的照明度、反照率、光度法线，然后利用这些信息进行三维模型逆渲染，得到高精度的多视角融合的耳廓重建结果，最后，利用耳穴识别模型对耳廓图像的结构特征信息和医学特征信息进行学习，以确定每一耳廓图像中的各个耳穴位置点，实现高精度二维耳穴定位，并配合之前得到的三维耳廓重建结果，精确实现三维耳穴对齐与显示。
【技术实现步骤摘要】
本专利技术涉及耳穴定位，尤其涉及耳穴检测方法、装置和计算机设备。
技术介绍
1、耳穴疗法是中医的重要组成部分。通过准确地刺激不同耳穴可以起到对相应病症的治疗效果。
2、耳穴定位是耳穴疗法的重要前提。但是由于耳廓面积小，人耳个体差异较大，耳部图像纹理欠丰富，导致耳穴的寻穴定位非常复杂。现有技术中，大多通过采集耳朵的rgb图像，并通过对图像进行特征识别，实现耳穴模型的构建。但是二维rgb图像无法反映耳穴的三维空间位置信息，导致模型欠完整、精度不足。
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供一种解决上述技术问题或者至少部分地解决上述技术问题的耳穴检测方法、装置和计算机设备。
2、本专利技术的一个方面，提供了一种耳穴检测方法，所述方法包括：
3、获取多视角下采集的耳部图像数据序列，所述耳部图像数据序列中每一图像帧均为rgbd多模态图像；
4、将耳部图像数据序列基于tsdf截断地带符号距离函数进行融合，融合得到初步耳廓三维模型；
5、从耳部图像数据序列的各个图像帧中分别获取对应图像采集环境的照明度、反照率和光度法线，将图像帧的照明度、反照率和光度法线作为当前图像的光学特征信息映射到初步耳廓三维模型，得到耳廓三维模型；
6、提取所述耳部图像数据序列中各个耳廓图像的结构特征信息和医学特征信息，采用预先构建的耳穴识别模型对所述结构特征信息和医学特征信息进行学习，以确定每一耳廓图像中的各个耳穴位置点；
>7、将每一耳廓图像中的各个耳穴位置点在耳廓三维模型中进行定位标识，实现三维耳穴对齐与显示。8、进一步地，所述从耳部图像数据序列的各个图像帧中分别获取对应图像采集环境的照明度、反照率和光度法线包括：
9、根据每一图像帧的深度信息和颜色信息估计当前图像的采集环境的初始漫反射照度；
10、根据每一图像帧的颜色信息和对应的初始漫反射照度计算当前图像的照明度；
11、构建由反照率、光度法线和照明度表示的漫反射照度函数，通过迭代优化算法求解当前图像的反照率估计值和光度法线估计值，以使计算出的漫反射照度与初始漫反射照度之差最小。
12、进一步地，所述构建由反照率、光度法线和照明度表示的漫反射照度函数，通过迭代优化算法求解当前图像的反照率估计值和光度法线估计值，包括：
13、在构建由反照率、光度法线和照明度表示的漫反射照度函数时，将所述光度法线转换为由深度信息表示的光度法线函数，通过迭代优化算法求解当前图像的反照率估计值和深度信息的优化值；
14、根据所述深度信息的优化值基于光度法线函数计算光度法线估计值。
15、进一步地，所述将图像帧的照明度、反照率和光度法线作为当前图像的光学特征信息映射到耳廓三维模型，包括：
16、对当前图像帧的光度法线进行旋转，使得当前图像的光度法线方向与前一图像帧的光度法线方向一致；
17、将当前图像帧的照明度、反照率和光度法线长度信息按照预设的权重与原模型的相应数据做加权平均，以实现光学特征信息的融合。
18、进一步地，所述提取所述耳部图像数据序列中各个耳廓图像的结构特征信息，包括：
19、从各个耳廓图像的颜色通道和深度通道提取图像的灰度特征和深度特征；
20、分别从耳廓图像的灰度特征和深度特征中学习当前输入耳廓图像的颜色通道注意力信息和深度通道注意力信息，得到颜色通道的注意力特征矩阵为vr、kr、qr，得到深度通道的注意力特征矩阵为vd、kd、qd；
21、在颜色通道特征图的获取过程中，采用softmax函数对颜色通道的kr矩阵和深度通道的qd矩阵进行跨模态的注意力计算，并将得到的计算结果和颜色通道的vr矩阵再次进行softmax计算得到融合后的灰度特征，在深度通道特征图的获取过程中，采用softmax函数对深度通道的kd矩阵和颜色通道的qr矩阵进行跨模态的注意力计算，并将得到的计算结果和深度通道的vd矩阵再次进行softmax计算得到融合后的深度特征，实现深度信息和灰度信息的聚合；
22、将得到的灰度特征和深度特征分别送入对应的堆叠网络层进行处理，将处理得到的灰度特征和深度特征进行叠加，得到耳廓图像的结构特征信息。
23、进一步地，所述方法还包括：
24、预先训练耳穴识别模型的步骤，具体包括：
25、根据预设的耳廓图像样本集中各个图像样本的结构信息利用transformer网络进行结构自监督训练，以实现图像样本的结构重建，根据每一图像样本中标识的各个耳穴位置点对图像样本对应的多个结构重建图像进行耳穴位置点标识，图像样本均为rgbd多模态图像；
26、将耳廓图像样本集中各个图像样本以及每一图像样本对应的多个结构重建图像作为训练数据集，对训练数据集中各个训练样本进行结构特征信息提取，以及，对训练数据集中各个训练样本进行第一病状指标识别和/或接收用户上传的第二病状指标，实现医学特征信息提取；
27、采用预设的初始识别网络模型对所述训练数据集中各个训练样本的结构信息和医学特征信息进行训练，得到耳穴识别模型。
28、进一步地，所述根据预设的耳廓图像样本集中各个图像样本的结构信息利用transformer网络进行结构自监督训练，以实现图像样本的结构重建，包括：
29、将耳廓图像样本集中各个图像样本分成若干小块，并送入transformer网络的编码结构中，分别学习图像样本在颜色通道和深度通道的灰度特征和深度特征；
30、基于每一图像样本在颜色通道和深度通道的灰度特征和深度特征，对输入transformer网络的解码结构的掩模图像中灰度值为0的位置区域进行估计，实现图像样本的结构重建，所述掩模数据是对当前输入transformer网络的图像样本进行随机位置区域选取并对所选位置区域的灰度值赋0值得到的掩模图像。
31、本专利技术的另一个方面，提供了一种耳穴检测装置，所述装置包括用于实现如上任一项所述的耳穴检测方法的功能模块；
32、所述装置包括：
33、获取模块，用于获取多视角下采集的耳部图像数据序列，所述耳部图像数据序列中每一图像帧均为rgbd多模态图像；
34、模型构建模块，用于将耳部图像数据序列基于tsdf截断地带符号距离函数进行融合，融合得到初步耳廓三维模型；
35、特征映射模块，用于从耳部图像数据序列的各个图像帧中分别获取对应图像采集环境的照明度、反照率和光度法线，将图像帧的照明度、反照率和光度法线作为当前图像的光学特征信息映射到初步耳廓三维模型，得到耳廓三维模型；
36、识别模块，用于提取所述耳部图像数据序列中各个耳廓图像的结构特征信息和医学特征信息，采用预先构建的耳穴识别模型对所述结构特征信息和医学特征信息进行学习，以确定每一耳廓图像中的各个耳穴位置点；
37、定位模块，用于将本文档来自技高网...
【技术保护点】
1.一种耳穴检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从耳部图像数据序列的各个图像帧中分别获取对应图像采集环境的照明度、反照率和光度法线包括：
3.根据权利要求2所述的方法，其特征在于，所述构建由反照率、光度法线和照明度表示的漫反射照度函数，通过迭代优化算法求解当前图像的反照率估计值和光度法线估计值，包括：
4.根据权利要求1所述的方法，其特征在于，所述将图像帧的照明度、反照率和光度法线作为当前图像的光学特征信息映射到耳廓三维模型，包括：
5.根据权利要求1所述的方法，其特征在于，所述提取所述耳部图像数据序列中各个耳廓图像的结构特征信息，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述根据预设的耳廓图像样本集中各个图像样本的结构信息利用Transformer网络进行结构自监督训练，以实现图像样本的结构重建，包括：
8.一种耳穴检测装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
...
【技术特征摘要】
1.一种耳穴检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从耳部图像数据序列的各个图像帧中分别获取对应图像采集环境的照明度、反照率和光度法线包括：
3.根据权利要求2所述的方法，其特征在于，所述构建由反照率、光度法线和照明度表示的漫反射照度函数，通过迭代优化算法求解当前图像的反照率估计值和光度法线估计值，包括：
4.根据权利要求1所述的方法，其特征在于，所述将图像帧的照明度、反照率和光度法线作为当前图像的光学特征信息映射到耳廓三维模型，包括：
5.根据权利要求1所述的方法，其特征在于，所述...
【专利技术属性】
技术研发人员：荣培晶，张弘，赵亚楠，袁丁，孟羽倩，
申请(专利权)人：中国中医科学院中医临床基础医学研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。