The present disclosure relates to a system, method and medium for generating a report based on a patient's medical image. The exemplary system includes a communication interface configured to receive medical images acquired by an image acquisition device. The system also includes at least one processor. The at least one processor is configured to receive a user's selection of at least one medical image in at least one view. The at least one processor is also configured to automatically generate keywords describing selected medical images based on a learning network comprising a series connected convolutional neural network and a recursive neural network. The at least one processor is also configured to receive keyword selection in generated keywords and generate reports based on the keyword selection. The system also includes a display configured to display the selected medical image and the report.
【技术实现步骤摘要】
用于基于患者的医学图像生成报告的系统、方法和介质相关申请的交叉引用本申请基于并要求2017年11月6日提交的美国临时申请No.62/582,092的优先权的利益,并且其是2018年10月8日提交的美国申请No.16/154,681的部分继续申请,这两个申请均以引用的方式整体并入本文。
本公开涉及诊断报告系统,更具体地,涉及诊断报告系统,该诊断报告系统基于用户对医学图像的关注的视图和/或区域的选择来生成医学诊断报告,生成描述医学图像的关键词,并根据用户对关键词的选择来创建诊断报告。
技术介绍
放射科医生解读医学图像,以观察异常并对疾病进行诊断。撰写诊断报告也是放射科医师/临床医生日常工作的一部分。例如,医学诊断报告描述和总结了医学图像(例如X射线图像、计算机断层扫描(CT)图像、磁共振成像(MRI)图像、超声图像等)中的重要发现。患者的医学诊断报告通常被认为是患者的医学概况的非常重要的组成部分。然而,目前可用于生成医学诊断报告的过程是低效的。具体地,当前可用于生成医学诊断报告的过程是耗时的,这主要是由于两个原因。首先,当前可用的过程需要在能够记录任何发现之前仔细地人工肉眼检查患者的一个或数幅医学图像。与稀疏分布的病变相比,医学图像可能非常大,因此搜索可疑区域可能花费大量时间。其次,发现和初步结论可能需要被手动构建成报告,该报告只能由经授权的医学专业人员(如放射科医生或临床医生)书写或录音(口述)。本公开的实施例通过提供能够自动分析医学图像、检测可疑区域并生成诊断报告的诊断报告系统来解决上述问题。
技术实现思路
本公开的实施例提供一种用于基于患者的医学图像生成报告 ...
【技术保护点】
1.一种用于基于患者的医学图像生成报告的系统,其包括:通信接口,其配置为接收由图像采集装置获取的医学图像;至少一个处理器,其配置为:接收用户对至少一个视图中的至少一幅医学图像的选择;基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词;接收在所生成的关键词中的关键词选择;以及基于所述关键词选择生成所述报告;以及显示器,被配置为显示所选择的医学图像和所述报告。
【技术特征摘要】
2017.11.06 US 62/582,092;2018.11.04 US 16/179,9521.一种用于基于患者的医学图像生成报告的系统,其包括:通信接口,其配置为接收由图像采集装置获取的医学图像;至少一个处理器,其配置为:接收用户对至少一个视图中的至少一幅医学图像的选择;基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词;接收在所生成的关键词中的关键词选择;以及基于所述关键词选择生成所述报告;以及显示器,被配置为显示所选择的医学图像和所述报告。2.根据权利要求1所述的系统,其中,所述至少一个处理器还被配置为使用所述卷积神经网络从所选择的医学图像中提取图像特征。3.根据权利要求2所述的系统,其中,所述至少一个处理器还被配置为使用所述递归神经网络基于所述图像特征生成所选择的医学图像的自然语言描述。4.根据权利要求3所述的系统,其中,所述关键词选自所选择的医学图像的所述自然语言描述。5.根据权利要求1所述的系统,其中,所述至少一个处理器还被配置为通过优化所述卷积神经网络和所述递归神经网络的联合损失函数来训练所述学习网络。6.根据权利要求1所述的系统,其中,所述用户的选择还包括所选择的医学图像中的关注区域,并且所述至少一个处理器被配置为基于所述学习网络自动更新所述关键词以描述所选择的关注区域。7.根据权利要求2所述的系统,其中,所述至少一个处理器还被配置为:确定指示从所选择的医学图像提取的各个图像特征对每个生成的关键词的贡献的注意力权重;和对所提取的图像特征用相应的注意力权重进行加权。8.根据权利要求1所述的系统,其中,所述至少一个处理器还被配置为:接收与生成所述关键词相关联的要求;和将所述要求输入到所述递归神经网络。9.根据权利要求1所述的系统,还包括:麦克风,其被配置为接收语音输入,其中,所述至少一个处理器还被配置为基于所述语音输入的内容来调整所生成的关键词。10.根据权利要求1所述的系统,其中,所述至少一个处理器还被配置为在所述显示器上示出绘图工具,所述绘图工具被配置为接收标注,其中,所述至少一个处理器还被配置为基于所述标注调整所生成的关键词。11.根据权利要求1所述的系统,其中,所述至少一个处理器还被配置为:接收文本输入;和基于所述文本输入调整所生...
【专利技术属性】
技术研发人员:高峰,白军杰,陈翰博,孙善辉,尹游兵,特铮,宋麒,
申请(专利权)人:北京昆仑医云科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。