采用优化的集成AI解决方案的多功能计算机辅助胃镜检查系统以及方法技术方案

公开了一种采用优化的集成AI解决方案的多功能计算机辅助胃镜检查系统。该系统利用多个深度学习神经模型来实现多个任务的低延迟和高性能要求。优化在三个层次上进行：架构层面、模块化层面和功能层面。在架构层面，模型的设计方式使其能够以进行一次推理来同时完成HP感染分类以及检测一些病变，由此可以降低计算成本。在模块化层面，作为HP感染分类的子模型，利用时间信息对部位识别模型进行了优化。它不仅提高了HP感染分类的性能，而且对于病变检测和程序状态确定也有重要作用。在功能层面，通过配置和资源感知优化将推理延迟降至最低。同样在功能层面，通过图像大小调整并行化和统一预处理来加速预处理。和统一预处理来加速预处理。和统一预处理来加速预处理。

【技术实现步骤摘要】
【国外来华专利技术】采用优化的集成AI解决方案的多功能计算机辅助胃镜检查系统以及方法
[0001]优先权申请
[0002]本申请要求于2022年4月25日提交的美国非临时申请第17/660,442号的优先权，该申请通过引用并入本文。


[0003]本专利技术总体上涉及一种计算机辅助胃镜检查系统，尤其涉及一种利用其集成AI解决方案优化的多功能计算机辅助胃镜检查系统。

技术介绍

[0004]最近报道了基于深度学习的技术在内窥镜领域非常有益。根据一些试验，检出率可提高约50％，而内窥镜检查相关成本可降低7
‑
20％。尽管内窥镜行业涌现出数种具有AI功能的商业产品，但其中许多仍然存在各种局限性，开发一种能够实现低延迟和高准确度、处理来自最新的胃镜仪器的4K视频流、可同时检测不同的病变、癌症、幽门螺杆菌(HP)感染并可在不同硬件配置下运行的多功能胃镜检查系统仍然存在许多挑战。因此，本专利技术的一个目的是开发一种利用AI解决方案优化的多功能、紧密集成的胃镜检查系统。

技术实现思路

[0005]鉴于上述背景，本专利技术提供了一种利用其集成AI方案优化的多功能计算机辅助胃镜检查系统。
[0006]因此，本专利技术的示例性实施例提供了一种计算机辅助胃镜检查系统，包括：中央处理器单元，其与存储可执行软件程序的存储器耦合，其中该软件程序包括：AI图像处理系统，用于分析从胃镜检查仪器获得的胃图像序列。所述AI图像处理系统包括协同执行图像质量评估、病变检测和癌症鉴定、HP分类以及部位识别的至少三个架构级模块，其中，所述模块中的至少一个包括一个或多个神经模型，每个神经模型从所述胃图像序列中提取不同但相关的信息，并与其它模块共享从所述胃图像序列中提取的信息；并且至少一个所述神经模型将HP感染特征和从其它神经模型中提取的部位信息融合在一起，以提高所述计算机辅助胃镜检查系统的分类准确度。
[0007]本专利技术的另一示例性实施例提供了一种通过计算机辅助胃镜检查系统处理胃图像序列的方法，包括：从胃镜检查仪器获取所述胃图像序列图像序列；通过包括协同地执行图像质量评估、病变检测和癌症鉴定、HP分类和病变部位识别的至少三个架构级模块的AI图像处理系统分析所述胃图像序列，其中，所述模块中的至少一个包括一个或多个神经模型，每个神经模型从所述胃镜图像序列中提取不同但相关的信息，并与其它模块共享从所述胃图像序列中提取的信息；并且至少一个所述神经模型将从其它神经网络模型中提取的HP感染特征和部位信息融合在一起，以提高所述计算机辅助胃镜检查系统的分类准确度；由所述至少三个模块中的每一个创建子任务列表以供所述计算机辅助胃镜检查系统执行；
以及当所述计算机辅助胃镜检查系统还包括至少一个协处理器、并且在所述计算机辅助胃镜检查系统的中央处理器单元处执行的软件程序根据所述子任务的预先指派的优先级以及每个所述协处理器的容量和能力来明智地将子任务分配给所述至少一个协处理器时，减少对用户的响应延迟，使得所述计算机辅助胃镜检查系统能够以对用户的低延迟响应来实现高精度检测和分类。
[0008]以上示例实施例具有优于传统技术的益处和优点。例如，所公开的计算机辅助胃镜检查系统不仅可以满足医疗专业人员提出的所有检测和分类性能标准，而且还能够在具有各种计算能力的不同硬件平台上运行，以实现低延迟响应。
附图说明
[0009]通过以下参照附图的详细描述，本专利技术实施例的上述和其它特征、优点和方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元件，其中：
[0010]图1示出了根据本公开的实施例的计算机辅助胃镜检查系统的框图；
[0011]图2示出了根据本公开的一些实施例的图1的计算机辅助胃镜检查系统中的AI功能和图像处理模块的框图；
[0012]图3示出了根据本公开的一些实施例的各种神经模型的训练过程；
[0013]图4示出了根据本公开的一个实施例的用于HP分类的HP特征表；
[0014]图5示出了根据本公开的一个实施例的第三模块的复合神经模型以及如何对其进行训练；
[0015]图6示出了根据本公开的实施例的用于胃部位识别的部位标签；
[0016]图7图示了在本专利技术的一个实施例中的部位识别模型的各种组件以及如何对其进行训练；
[0017]图8图示了在本公开的一个示例性实施例中创建伪视频序列的方法；
[0018]图9示出了根据本公开的一个实施例的训练部位识别神经模型的示例性实例。
[0019]图10示出了根据本公开的一个实施例的关于累积位置变化与帧索引的示例性实验结果。
[0020]图11示出了根据本公开的一些实施例的两种不同的预处理方法。
[0021]图12示出了根据本公开的一个示例性实施例的修改神经架构的示例。
[0022]图13示出了根据本公开的一个实施例的关于准备用于调整大小的图像的流程图。
[0023]图14示出了根据本公开的一个实施例的对胃图像执行并行调整大小的方法。
[0024]图15图示了根据本公开的一个实施例的计算机辅助胃镜检查系统如何能够检测可用的硬件配置并充分利用其计算能力。
[0025]图16示出了根据本公开的一个实施例的动态批处理推理过程。
[0026]图17示出了根据本公开的一个实施例的神经模型优先级排列。
[0027]图18图示了根据本公开的一个实施例的有界长度双端队列操作的时序图。
[0028]图19示出了根据本公开的一个实施例的在线操作模式下的神经推理执行流程。
[0029]图20示出了在本公开的一个示例性实施例中如何进行模型选择。
[0030]图21示出了在本公开的一个示例性实施例中的计算机辅助胃镜检查系统的硬件示意图。
具体实施方式
[0031]如本文和权利要求中使用的，“包括”是指包括以下元素但不排除其它元素。“基于”一词应理解为“至少部分基于”。术语“一个示例实施例”和“示例实施例”将被理解为“至少一个示例实施例”。术语“另一实施例”应理解为“至少一个其它实施例”。
[0032]如本文和权利要求中使用的，“模块”本身通常指代软件中的主要软件组件，除非另有说明。
[0033]如本文和权利要求中使用的，“神经模型”是指具有预先指定的神经架构的神经网络。“神经架构”是指神经网络不同层的节点之间的特定互连配置。
[0034]如本文和权利要求中使用的，“张量”是指多维数学对象。例如，[256x256x3]张量表示一个三维数组，其第一维和第二维为256，第三维为3。最后一维也称为该张量的“通道”。
[0035]如本文和权利要求中使用的，“图像”是指具有以具有一定高度和宽度的二维阵列排列的多个像素的数字图像。“视频”是按一定顺序排列的一系列图像。视频中的图像也称为“帧”。带有表示该图像特定属性的标签的图像称为“标记图像”，而“伪视频”是按特定顺序排列以模仿视频的标记图像的集合。在本说明书中，术语“视频”和“图像序列”可互换使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机辅助胃镜检查系统，包括：中央处理器单元，其与存储可执行软件程序的存储器耦合，其中，该软件程序包括：AI图像处理系统，用于分析从胃镜检查仪器获得的胃图像序列，其中，所述AI图像处理系统包括协同执行图像质量评估、病变检测、癌症鉴定、HP分类以及部位识别的至少三个架构级模块，其中，所述模块中的至少一个包括一个或多个神经模型，所述神经模型从所述胃图像序列中提取不同但相关的信息，并与其它模块共享从所述胃图像序列中提取的信息；并且至少一个所述神经模型将HP感染特征和从其它神经模型中提取的部位信息融合在一起，以提高所述计算机辅助胃镜检查系统的分类准确度。2.根据权利要求1所述的系统，其中，所述至少三个模块包括：用于图像质量控制以过滤掉所述胃图像序列中的不合格图像的第一模块；用于病变检测、癌症鉴定和病变跟踪的第二模块；以及用于分类所述HP感染和部位识别的第三模块，其中，这些模块中的每一个均包括一个或多个神经模型。3.根据权利要求2所述的系统，其中，所述第三模块还包括复合神经模型，所述复合神经模型包括：第一神经模型，以所述胃图像序列为输入，执行HP特征提取，以及输出第一数量的特征通道；第二神经模型，也以所述胃图像序列为输入，执行包含胃肠道的时空部位信息的部位特征提取，并输出第二数量的特征通道；以及第三神经模型，以所述第一数量的特征通道和所述第二数量的特征通道的级联作为输入并产生第三数量的类标签，每个所述类标签指示HP感染特征。4.根据权利要求3所述的系统，其中，所述第一神经模型产生六十四通道元素的第一张量；所述第二神经模型产生十二个通道元素的第二张量，所述十二个通道元素中的每一个对应于一个部位分类标签；并且所述第三神经模型以所述第一张量和所述第二张量的级联作为输入，并输出与九个所述HP感染特征相对应的九个元素分类标签。5.根据权利要求3所述的系统，还包括统一预处理模块，其中，所述统一预处理模块将所述胃图像序列作为输入，并对于所述胃图像序列中的每个图像产生统一张量作为输出，所述统一张量被馈送到所述AI图像处理系统的所述第一模块、所述第二模块和所述第三模块的神经模型。6.根据权利要求5所述的系统，其中，所述第一模块、所述第二模块和所述第三模块的神经网络架构被调整，使得所述神经模型的输出张量保持相同，就好像每个所述神经网络架构使用专门为神经网络架构设计的不同的预处理模块一样。7.根据权利要求5所述的系统，其中，调整所述第一模块、所述第二模块和所述第三模块的神经网络架构，使得每个神经模型的性能不会降低。8.根据权利要求5所述的系统，其中，如果进入所述统一预处理模块的胃图像序列中的图像的高度或宽度大于阈值，则调用并行化调整大小进程来对所述图像进行调整大小，其中，所述并行化调整大小进程包括以下步骤：如果高度为奇数，则用一行零填充原始图像，如果宽度为奇数，则用一列零填充所述原始图像；
将填充图像划分为四个象限；并行地对每个象限调整大小以产生四个调整大小后的象限；以及将四个调整大小后的象限拼接在一起以获得均匀的调整大小后的图像。9.根据权利要求2所述的系统，其中所述第一模块的神经模型使用图像质量数据集进行训练，以产生完整的图像质量神经模型；所述第二模块的一个或多个神经模型使用病变数据集进行训练，以产生完整的病变检测神经模型；并且所述第三模块的一个或多个神经模型使用胃部位数据集和幽门螺杆菌数据集进行训练，以产生完整的HP加部位神经模型。10.根据权利要求9所述的系统，还包括模型修剪和量化模块，其中，通过修剪层连接和量化连接权重来优化完整的图像质量神经模型、完整的病变检测神经模型和完整的HP加部位神经模型，以分别产生优化的图像质量神经模型、优化的病变检测神经模型和优化的HP加部位神经模型。11.根据权利要求10所述的系统，其中，所述计算机辅助胃镜检查系统还包括至少一个协处理器，并且在所述中央处理器单元处执行的所述软件程序根据子任务的预先指派优先级和每个所述协处理器的能力明智地将由所述模块中的每一个发起的子任务分配给所述至少一个协处理器，使得所述计算机辅助胃镜检查系统能够以对用户的低延迟响应实现高检测和分类准确度。12.根据权利要求11所述的系统，其中，当所述计算机辅助胃镜检查系统配备有所述至少一个协处理器时，所述计算机辅助胃镜检查系统能够以离线处理模式和在线处理模式运行。13.根据权利要求12所述的系统，其中，当所述计算机辅助胃镜检查系统被设置为以所述离线处理模式运行时，所述计算机辅助胃镜检查系统将所述至少一个协处理器中的每一个配置为运行动态批处理过程，所述动态批处理过程包括以下步骤：将至少一个完整的神经模型加载到所述协处理器；以及将一批次胃图像加载到所述协处理器，其中，批次大小是基于协处理器中可用的计算能力和资源动态确定的。14.根据权利要求12所述的系统，其中，当所述计算机辅助胃镜检查系统配备有所述至少一个协处理器并被设置为以在线处理模式运行时，所述计算机辅助胃镜检查系统执行延迟控制程序，所述延迟控制程序包括以下步骤：根据每个优化的神经模型的计算资源需求预先确定每个优化的神经...

【专利技术属性】
技术研发人员：何学俭，王陆，梁秉舜，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：