用于基于患者的医学图像生成报告的系统、方法和介质技术方案

本公开涉及用于基于患者的医学图像生成报告的系统、方法和介质。示例性系统包括配置为接收由图像采集装置获取的医学图像的通信接口。所述系统还包括至少一个处理器。所述至少一个处理器配置为接收用户对至少一个视图中的至少一幅医学图像的选择。所述至少一个处理器还配置为基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词。所述至少一个处理器还配置为接收在所生成的关键词中的关键词选择并基于所述关键词选择生成报告。所述系统另外包括被配置为显示所选择的医学图像和所述报告的显示器。

Systems, methods and media for generating medical image reports based on patients

The present disclosure relates to a system, method and medium for generating a report based on a patient's medical image. The exemplary system includes a communication interface configured to receive medical images acquired by an image acquisition device. The system also includes at least one processor. The at least one processor is configured to receive a user's selection of at least one medical image in at least one view. The at least one processor is also configured to automatically generate keywords describing selected medical images based on a learning network comprising a series connected convolutional neural network and a recursive neural network. The at least one processor is also configured to receive keyword selection in generated keywords and generate reports based on the keyword selection. The system also includes a display configured to display the selected medical image and the report.

【技术实现步骤摘要】
用于基于患者的医学图像生成报告的系统、方法和介质相关申请的交叉引用本申请基于并要求2017年11月6日提交的美国临时申请No.62/582,092的优先权的利益，并且其是2018年10月8日提交的美国申请No.16/154,681的部分继续申请，这两个申请均以引用的方式整体并入本文。
本公开涉及诊断报告系统，更具体地，涉及诊断报告系统，该诊断报告系统基于用户对医学图像的关注的视图和/或区域的选择来生成医学诊断报告，生成描述医学图像的关键词，并根据用户对关键词的选择来创建诊断报告。
技术介绍
放射科医生解读医学图像，以观察异常并对疾病进行诊断。撰写诊断报告也是放射科医师/临床医生日常工作的一部分。例如，医学诊断报告描述和总结了医学图像(例如X射线图像、计算机断层扫描(CT)图像、磁共振成像(MRI)图像、超声图像等)中的重要发现。患者的医学诊断报告通常被认为是患者的医学概况的非常重要的组成部分。然而，目前可用于生成医学诊断报告的过程是低效的。具体地，当前可用于生成医学诊断报告的过程是耗时的，这主要是由于两个原因。首先，当前可用的过程需要在能够记录任何发现之前仔细地人工肉眼检查患者的一个或数幅医学图像。与稀疏分布的病变相比，医学图像可能非常大，因此搜索可疑区域可能花费大量时间。其次，发现和初步结论可能需要被手动构建成报告，该报告只能由经授权的医学专业人员(如放射科医生或临床医生)书写或录音(口述)。本公开的实施例通过提供能够自动分析医学图像、检测可疑区域并生成诊断报告的诊断报告系统来解决上述问题。
技术实现思路
本公开的实施例提供一种用于基于患者的医学图像生成报告的系统。所述系统包括配置为接收由图像采集装置获取的医学图像的通信接口。所述系统还包括至少一个处理器。所述至少一个处理器配置为接收用户对至少一个视图中的至少一幅医学图像的选择。所述至少一个处理器还配置为基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词。所述至少一个处理器还配置为接收在所生成的关键词中的关键词选择并基于所述关键词选择生成报告。所述系统另外包括被配置为显示所选择的医学图像和所述报告的显示器。本公开的实施例还提供一种用于基于患者的医学图像生成报告的方法。所述方法包括由通信接口接收由图像采集装置获取的医学图像。所述方法还包括接收用户对至少一个视图中的至少一幅医学图像的选择。所述方法还包括由至少一个处理器基于学习网络自动生成描述所选择的医学图像的关键词，所述学习网络包括串联连接的卷积神经网络和递归神经网络。所述方法还包括接收在所生成的关键词中的关键词选择，由所述至少一个处理器基于所述关键词选择生成所述报告，并且在显示器上显示所选择的医学图像和所述报告。本公开的实施例还提供一种非暂时性计算机可读介质，其具有存储在其上的指令，所述指令在由至少一个处理器运行时，使得所述至少一个处理器执行用于基于患者的医学图像生成报告的方法。所述方法包括接收由图像采集装置获取的医学图像。所述方法还包括接收用户对至少一个视图中的至少一幅医学图像的选择。所述方法还包括基于学习网络自动生成描述所选择的医学图像的关键词，所述学习网络包括串联连接的卷积神经网络和递归神经网络。所述方法还包括接收对所生成的关键词中的关键词选择，基于所述关键词选择生成所述报告，并且在显示器上显示所选择的医学图像和所述报告。应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本专利技术的限制。附图说明图1示出了根据本公开的实施例的示例性诊断报告生成系统的框图。图2A-图2D示出了根据本公开的实施例的图1的诊断报告生成系统的示例性用户界面。图3示出了根据本公开的实施例的用于生成诊断报告的示例性方法的流程图。图4示出了根据本公开的实施例的示例性深度学习诊断报告生成过程的数据流程图。具体实施方式现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部件。本公开的实施例提供医学图像的自动分析和医学诊断报告的自动生成。具体地，根据本公开的实施例构成的系统可以自动分析医学图像，检测可疑区域，并生成诊断报告。在一些实施例中，可以通过基于深度学习的图像处理和自然语言处理的后端处理来支持该系统。在一些实施例中，使用该系统的医学专业人员(例如，放射科医师、临床医生或医生)可以编辑/修正算法生成的诊断报告，并且可以通过交互式用户界面添加新的发现。放射科医师/临床医生可以例如通过交互式用户界面手动录入或口述编辑/修正。例如，医生可以通过从生成的报告中选择至少一个医学关键词在生成的报告中过滤期望的句子。在一些实施例中，除了提供基于全部图像的诊断报告之外，根据本公开的实施例配置的系统还可以支持更精细尺度的描述的生成。例如，用户可以在至少一幅医学图像中选择至少一个关注区域，并且系统可以根据所选择的关注区域自动生成诊断描述。预期的是，本公开中所公开的系统和方法可以显著减少医学专业人员需要花费在每个患者身上的时间量，并且能够帮助提高疾病诊断的效率。在一些实施例中，根据本公开的实施例配置的系统可以支持针对全部图像(或同一患者的多幅图像)和/或特定的关注区域两者的医学报告的自动或半自动生成。所述报告可包括临床观察的描述。所述报告还可以包括与观察相关的图像。在一些实施例中，根据本公开的实施例配置的系统可以生成并显示临床观察的描述的关键词。所述系统可以提供允许用户通过选择关键词来选择要报告的内容的界面。在一些实施例中，可以基于用户选择观看的图像来交互地生成描述和关键词。例如，如果用户选择平铺所有图像以供查看，则系统可以生成对图像的整体印象的描述。另一方面，如果用户选择观看三维(3D)图像的切片，则系统可以生成该特定切片的描述。如果用户选择放大并查看图像切片的放大部分，则系统可以相应地生成放大部分的描述。在一些实施例中，可以通过结合系统可用的标注信息来交互地生成描述和关键词。例如，用户可以在图像上标注，并且系统可以在生成描述和关键词时包括标注信息。在一些实施例中，可以通过结合系统可用的语音信息来交互地生成描述和关键词。例如，用户可以选择记录(例如，描述图像或图像的一部分的)语音，并且系统可以在生成描述和关键词时包括语音信息。在一些实施例中，根据本公开的实施例配置的系统可以自动检测所记录的语音是否是完整描述(例如，不仅仅是一组关键词)。如果确定语音是完整描述，则系统可以将语音转换为文本(例如，利用至少一种语音识别技术)并将转换后的文本添加到报告中。在一些实施例中，可以通过结合系统可用的文本信息来交互地生成描述和关键词。例如，用户可以录入关键词或句子作为文本信息，并且系统可以在生成描述和关键词时包括所述文本信息。在一些实施例中，根据本公开的实施例配置的系统可以由端(例如，医学图像)到端(例如，诊断报告)的深度学习模型后台处理来支持。所述端到端的深度学习模型后台处理可以被配置为结合图像处理卷积神经网络(CNN)、自然语言处理递归神经网络(RNN)和注意力处理。在一些实施例中，根据本公开的实施例配置的系统可以允许用户在其向报告添加描述时将相关图像添加到所述系统。在一些实施例中，，根据本公开的实施例配置的交互系统与传统本文档来自技高网...

【技术保护点】
1.一种用于基于患者的医学图像生成报告的系统，其包括：通信接口，其配置为接收由图像采集装置获取的医学图像；至少一个处理器，其配置为：接收用户对至少一个视图中的至少一幅医学图像的选择；基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词；接收在所生成的关键词中的关键词选择；以及基于所述关键词选择生成所述报告；以及显示器，被配置为显示所选择的医学图像和所述报告。

【技术特征摘要】
2017.11.06 US 62/582,092;2018.11.04 US 16/179,9521.一种用于基于患者的医学图像生成报告的系统，其包括：通信接口，其配置为接收由图像采集装置获取的医学图像；至少一个处理器，其配置为：接收用户对至少一个视图中的至少一幅医学图像的选择；基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词；接收在所生成的关键词中的关键词选择；以及基于所述关键词选择生成所述报告；以及显示器，被配置为显示所选择的医学图像和所述报告。2.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为使用所述卷积神经网络从所选择的医学图像中提取图像特征。3.根据权利要求2所述的系统，其中，所述至少一个处理器还被配置为使用所述递归神经网络基于所述图像特征生成所选择的医学图像的自然语言描述。4.根据权利要求3所述的系统，其中，所述关键词选自所选择的医学图像的所述自然语言描述。5.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为通过优化所述卷积神经网络和所述递归神经网络的联合损失函数来训练所述学习网络。6.根据权利要求1所述的系统，其中，所述用户的选择还包括所选择的医学图像中的关注区域，并且所述至少一个处理器被配置为基于所述学习网络自动更新所述关键词以描述所选择的关注区域。7.根据权利要求2所述的系统，其中，所述至少一个处理器还被配置为：确定指示从所选择的医学图像提取的各个图像特征对每个生成的关键词的贡献的注意力权重；和对所提取的图像特征用相应的注意力权重进行加权。8.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为：接收与生成所述关键词相关联的要求；和将所述要求输入到所述递归神经网络。9.根据权利要求1所述的系统，还包括：麦克风，其被配置为接收语音输入，其中，所述至少一个处理器还被配置为基于所述语音输入的内容来调整所生成的关键词。10.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为在所述显示器上示出绘图工具，所述绘图工具被配置为接收标注，其中，所述至少一个处理器还被配置为基于所述标注调整所生成的关键词。11.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为：接收文本输入；和基于所述文本输入调整所生...

【专利技术属性】
技术研发人员：高峰，白军杰，陈翰博，孙善辉，尹游兵，特铮，宋麒，
申请(专利权)人：北京昆仑医云科技有限公司，
类型：发明
国别省市：北京,11