通过手语交流的人工智能医务系统技术方案

本发明专利技术公开了一种通过手语交流的人工智能医务系统，涉及互联网医疗技术领域，系统包括患者终端用于获取包含预设人物关节的手语视频；卫生管理部门用终端用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并据此获得相应的处方信息；智能医盒用于根据处方信息在服药时间调取并播放预设手语视频。本发明专利技术可以根据患者手语视频出具处方，分配药品，并通过预设手语视频提醒患者服药。患者服药。患者服药。

【技术实现步骤摘要】
通过手语交流的人工智能医务系统
[0001]本申请要求于2021年5月9日向国家知识产权局提交的申请号为“202110502573.4”的专利申请的优先权，其全部内容结合于本申请。


[0002]本专利技术涉及互联网医疗
，具体涉及一种通过手语交流的人工智能医务系统。

技术介绍

[0003]慢病患者，例如哮喘病患者，能否全程、规律地服药是治疗成功的关键，也是避免产生耐药的重要措施。现有技术中提供了一些设备，以试图帮助患者服药依从性，但是这些设备大多仅包括具有声音提示功能的模块，通过设置定时提醒控制发出提示音等以提醒患者服药，但对听力有缺陷的人却无能为力。
[0004]所以利用手势识别能够很好的解决上述问题，但是目前尚没有一种能够通过手语实现对患者自动服药提醒的系统。手势识别一般是通过图像的方式识别出手部、上躯部等姿势，从而对手势进行分类，但是由于手指之间相似性较高，且比较灵活容易相互遮挡；而且在手势追踪过程中噪声较大，所以导致识别精度较低。

技术实现思路

[0005]因此，为了克服上述缺陷，本专利技术实施例提供一种通过手语交流的人工智能医务系统，可以根据患者手语出具处方，分配药品，并通过手语视频提醒患者服药。
[0006]为此，本专利技术实施例的一种通过手语交流的人工智能医务系统，包括通过网络连接的患者终端、卫生管理部门用终端和智能医盒；
[0007]所述患者终端包括视频获取模块和视频发送模块；
[0008]视频获取模块用于获取包含预设人物关节的手语视频并输出；
[0009]视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；
[0010]所述卫生管理部门用终端包括图像识别模块和控制模块；
[0011]图像识别模块包括：
[0012]视频接收单元，用于获取所述手语视频；
[0013]关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；
[0014]语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；
[0015]语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；
[0016]文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；
[0017]控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；
[0018]所述智能医盒用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。
[0019]优选地，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，获得处理后的第一图像；
[0020]计算第一图像中每个像素点(x,y)的梯度特征Q(x,y)，计算公式为：
[0021][0022]其中，为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(x,y)
‑
s(x
‑
1,y)|+|s(x+1,y)
‑
s(x,y)|]/2，s(x,y)为像素点(x,y)的像素值；为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x,y)
‑
s(x,y
‑
1)|+|s(x,y+1)
‑
s(x,y)|]/2；
[0023]判断像素点(x,y)的梯度特征Q(x,y)是否为其8领域内的最大值；
[0024]当像素点(x,y)的梯度特征Q(x,y)是其8领域内的最大值时，将该像素点作为边缘像素点，获得所有边缘像素点，将所有边缘像素点连接，获得第一图像中包含预设人物关节的轮廓，获得每帧关节分割图像。
[0025]优选地，所述语义分割单元用于按照每帧关节分割图像的时间顺序顺次判断相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量是否超过形变阈值；
[0026]当相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量超过形变阈值时，将该相邻两帧关节分割图像中的前一帧关节分割图像分入上一组语义帧图像集，后一帧关节分割图像分入下一组语义帧图像集，获得各组语义帧图像集。
[0027]优选地，所述语义合并单元用于将每组语义帧图像集中的第一帧关节分割图像按照时间顺序依次叠加其分别与之后每帧关节分割图像作差运算后获得的差图像，获得该组语义帧图像集的一个语义图像。
[0028]优选地，所述患者终端还包括服药提醒模块；
[0029]服药提醒模块用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。
[0030]优选地，所述服药提醒模块还用于同时生成并输出振动信号和/或光提示信号。
[0031]本专利技术实施例的一种智能医盒，包括：控制装置、发光装置和视频播放装置；
[0032]控制装置用于获取上述的通过手语交流的人工智能医务系统的卫生管理部门用终端输出的处方信息，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；在所述服药时间调取预设手语视频并输出，以及生成发光控制信号并输出，所述预设手语视频的内容包含服药药品名称及其对应的服药数量；
[0033]视频播放装置用于接收所述预设手语视频并播放，以提醒患者服药；
[0034]发光装置用于接收所述发光控制信号并在其控制下发光。
[0035]优选地，还包括：药品分配装置；
[0036]控制装置还用于根据所述处方信息在服药时间生成包含所需分配的服药药品名称及其对应的服药数量信息的分配控制信号并输出；
[0037]药品分配装置用于接收所述分配控制信号并在其控制下输出所需分配的服药药品名称对应的药品及服药数量。
[0038]本专利技术实施例的通过手语交流的人工智能医务系统，具有如下优点：
[0039]1.通过根据梯度特征提取边缘像素点，滤除了背景、噪声等影响，提高了识别精度。
[0040]2.通过根据语义对所有帧关节分割图像进行分组，将表达一个语义的连续帧图像分为一组，并通过作差去重和叠加处理后，合并到一张图像内，提高了分辨率和精度，降低神经网络计算复杂度，提高运算效率。
[0041]3.通过卷积神经网络将手语视频转换成文本信息输出，进而根据文本信息获得了相应的处方信息，据此实现了药品的分配和服药提醒功能，并通过预设手语视频提醒患者服药，更加适用于听力有缺陷的人。
附图说明
[0042]为了更清楚地说明本专利技术具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1为本专利技术采用的卷积神经网络结构的一个具体示例的示意图；
[0044]图2为本专利技术实施例2中智能医盒的一个具体示例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过手语交流的人工智能医务系统，其特征在于，包括通过网络连接的患者终端、卫生管理部门用终端和智能医盒；所述患者终端包括视频获取模块和视频发送模块；视频获取模块用于获取包含预设人物关节的手语视频并输出；视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；所述卫生管理部门用终端包括图像识别模块和控制模块；图像识别模块包括：视频接收单元，用于获取所述手语视频；关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；所述智能医盒用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。2.根据权利要求1所述的系统，其特征在于，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，获得处理后的第一图像；计算第一图像中每个像素点(x,y)的梯度特征Q(x,y)，计算公式为：其中，为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(,y)
‑
s(x
‑
1,y)|+|s(x+1,y)
‑
s(x,y)|]/2，s(x,y)为像素点(x,y)的像素值；为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x,y)
‑
s(x,y
‑
1)|+|s(x,y+1)
‑
s(x,y)|]/2；判断像素点(x,y)的梯度特征Q(x,y)是否为其8领域内的最大值；当像素点(x,y)的梯度特征Q(x,y)是其8领域内的最大值时，将该像素点作为边缘像素点，获得所有边缘像素点，将所有边缘像素点连接，获得第一...

【专利技术属性】
技术研发人员：张宏伟，卢璐，
申请(专利权)人：北京福乐云数据科技有限公司，
类型：发明
国别省市：