一种基于制造技术

本发明专利技术涉及一种基于

【技术实现步骤摘要】
一种基于FPGA的透射电镜图像实时处理方法和系统


[0001]本专利技术涉及透射电镜图像处理
，特别是涉及一种基于
FPGA
的透射电镜图像实时处理方法和系统
。

技术介绍

[0002]先进电子材料是集成电路的基础材料，而电子材料的显微缺陷会影响集成电路的性能
。
为了高效定位与可视化识别缺陷，以高空间和时间分辨率实时对材料进行表征和分析成为集成电路行业的发展趋势
。
[0003]透射电子显微镜因其高分辨率而应用于晶体分析，原位透射电镜的空间解析度可达硅晶格的边长为有足够的分辨率识别集成电路材料硅晶格中的缺陷，原始
TEM
视频流的分辨率可达
4k*4k@10
‑
100Hz
，在压缩传感重构算法下可达上千帧
。
[0004]原位
TEM
高速摄像机产生的高帧速率视频流已经大大超出了使用传统手工方法识别的能力范围，这对数据处理提出了更高层次的要求
。
为了应对这个严峻的挑战，国内外研究人员开展了使用机器学习进行低延迟
TEM
分析的研究
。
利用深度神经网络对图像处理的难点是处理的数据量较大，计算量大，处理过程非常耗时
。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种基于
FPGA
的透射电镜图像实时处理方法和系统，可以高效可靠地完成实时电镜图像分析
。
[0006]本专利技术解决其技术问题所采用的技术方案是：提供一种基于
FPGA
的透射电镜图像实时处理方法，包括以下步骤：
[0007]获取
TEM
视频；
[0008]将所述
TEM
视频输入至植入在
FPGA
中的量化模型文件中，确定所述
TEM
视频的透射电镜图像帧中是否存在缺陷，并在存在缺陷时标记缺陷位置和面积；
[0009]其中，所述量化模型文件由透射电镜图像识别模型转换得到，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到
。
[0010]所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到，具体为：
[0011]收集包含各种缺陷类型的透射电镜图像；
[0012]采用标注工具对透射电镜图像中的缺陷的位置和面积进行标注，并使用
K
‑
means
聚类分析法确定透射电镜图像中的缺陷类型；
[0013]将标注好缺陷类型
、
位置以及面积的透射电镜图像分为训练集
、
验证集和测试集；
[0014]采用训练集和验证集对神经网络模型进行训练，采用测试集对训练后神经网络模型进行测试；
[0015]训练至符合要求后，得到透射电镜图像识别模型
。
[0016]所述训练集中每种缺陷类型的透射电镜图像占比相同
。
[0017]所述采用训练集和验证集对神经网络模型进行训练时，当所述神经网络模型预测出的缺陷部位和没有缺陷部位的面积与实际缺陷部位和没有缺陷部位的面积之比大于或等于阈值，则表示所述神经网络模型预测正确
。
[0018]所述量化模型文件由透射电镜图像识别模型转换得到，具体为：
[0019]采用
Vitis AI
开发工具将所述透射电镜图像识别模型转换为量化模型文件
。
[0020]所述采用
Vitis AI
开发工具将所述透射电镜图像识别模型转换为量化模型文件时，将
DPU
指纹信息和所述透射电镜图像识别模型一起作为量化输入文件进行量化
。
[0021]所述神经网络模型为
U
‑
Net
模型
。
[0022]所述获取
TEM
视频具体为：读取预存的
TEM
视频或读取实时采集的
TEM
视频
。
[0023]本专利技术解决其技术问题所采用的技术方案是：提供一种基于
FPGA
的透射电镜图像实时处理系统，包括：
[0024]获取模块，用于获取
TEM
视频；
[0025]处理模块，用于将所述
TEM
视频输入至植入在
FPGA
中的量化模型文件中，确定所述
TEM
视频的透射电镜图像帧中是否存在缺陷，并在存在缺陷时标记缺陷位置和面积；
[0026]其中，所述量化模型文件由透射电镜图像识别模型转换得到，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到
。
[0027]有益效果
[0028]由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术可以高效可靠地完成实时电镜图像分析，相比现有的技术，突破了传统深度学习方法实时性弱的缺点，通过使用
Vitis AI
开发工具方法，将深度学习模型转化为
FPGA
可执行的量化模型文件，节省了大量时间与人力，降低了使用
FPGA
实现深度学习算法的时间和周期
。
同时，本方法还对量化模型进行优化，使其在推理准确度和推理速度之间实现很好的平衡
。
附图说明
[0029]图1是本专利技术第一实施方式基于
FPGA
的透射电镜图像实时处理方法的流程图；
[0030]图2是本专利技术第一实施方式中
FPGA
开发板的示意图；
[0031]图3是本专利技术第一实施方式中对透射电镜图像进行标注的示意图；
[0032]图4是浮点模型推理和
FPGA
推理的对比示意图
。
具体实施方式
[0033]下面结合具体实施例，进一步阐述本专利技术
。
应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围
。
此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围
。
[0034]本专利技术的第一实施方式涉及一种基于
FPGA
的透射电镜图像实时处理方法，该方法以
FPGA
开发板为核心，本实施方式中的
FPGA
开发板如图2所示，采用
Xilinx KV260
开发板，其存储部件为内存卡，采集部件为
mipi
摄像头，其还连接有电源和显示部件
。
该
FPGA
开发板还设置有联网模块，所述联网模块为
WiFi
模块，
2G
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
FPGA
的透射电镜图像实时处理方法，其特征在于，包括以下步骤：获取
TEM
视频；将所述
TEM
视频输入至植入在
FPGA
中的量化模型文件中，确定所述
TEM
视频的透射电镜图像帧中是否存在缺陷，并在存在缺陷时标记缺陷位置和面积；其中，所述量化模型文件由透射电镜图像识别模型转换得到，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到
。2.
根据权利要求1所述的基于
FPGA
的透射电镜图像实时处理方法，其特征在于，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到，具体为：收集包含各种缺陷类型的透射电镜图像；采用标注工具对透射电镜图像中的缺陷的位置和面积进行标注，并使用
K
‑
means
聚类分析法确定透射电镜图像中的缺陷类型；将标注好缺陷类型
、
位置以及面积的透射电镜图像分为训练集
、
验证集和测试集；采用训练集和验证集对神经网络模型进行训练，采用测试集对训练后神经网络模型进行测试；训练至符合要求后，得到透射电镜图像识别模型
。3.
根据权利要求2所述的基于
FPGA
的透射电镜图像实时处理方法，其特征在于，所述训练集中每种缺陷类型的透射电镜图像占比相同
。4.
根据权利要求1所述的基于
FPGA
的透射电镜图像实时处理方法，其特征在于，所述采用训练集和验证集对神经网络模型进行训练时，当所述神经网络模型预测出的缺陷部位和没有缺陷部位的面积与实际缺陷部位和没有缺陷部位的面积之比大于或等于阈值，则表示所述神经网络模型预测正确
。...

【专利技术属性】
技术研发人员：黄于搏，李泽昊，郑馨悦，叶长青，吕良剑，王超伦，吴幸，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：