一种隐私场景下的护理行为识别方法技术

本发明专利技术公开了一种隐私场景下的护理行为识别方法，本发明专利技术在深度图像基础上，提取护理行为中护理人及被护理人的行动特征，以此构建时序和空间范围内的轨迹特征矩阵，利用机器学习相关算法对其进行分析，以此实现隐私场景下的多人参与的护理行为识别和分类。本发明专利技术提出的护理行为识别方法不依赖传统图像的特征，不易受到环境和光线变化影响，且方法仅依赖深度图像序列，区别于传统摄像头的音视频采集，可有效保护被识别者的隐私；本发明专利技术综合分析了深度图像中多人的身份、行为和图像特征，给出了在参与者行为联合分析基础上的护理行为识别模式，有效弥补传统模型无法识别特别场景下的联合行为的缺陷。联合行为的缺陷。联合行为的缺陷。

【技术实现步骤摘要】
一种隐私场景下的护理行为识别方法


[0001]本专利技术涉及一种隐私场景下的护理行为识别方法，属于深度图像处理


技术介绍

[0002]护理行为广泛存在于养老陪护、病患看护、婴幼儿照护等涉私场景，所述的护理行为是由护理人员、医务人员、管理人员等照护者参与并向老人、病患、婴幼儿等被照护者提供的包括日常生活起居照料、安全保障、康复训练及身心疏导、临床医疗护理等服务性质的陪护、看护、照护行为。在护理实施过程中，照护者与被照护者之间存在着多人参与的复杂互动，伴随着涉私领域对这些复杂的护理行为有效监控监管需求的日益增长，如何在保障隐私的同时，对上述护理行为进行有效识别是亟待解决的问题。
[0003]利用传统摄像头进行行为识别，存在严重的隐私泄漏问题，随着深度图像传感器的发展，其利用红外光反射成像的方式，使其可以采集到不包含人体面部、身体细节的图像数据，从源头上杜绝了敏感信息的采集，保护了用户隐私，为隐私场景下的行为监控监管提供了可能。然而常见的行为识别方法是围绕传统摄像头采集图像进行的分析处理，在隐私场景下存在较大局限，除了不能在深度图像上进行有效分析，也无法有效区分照护者与被照护者，难以对复杂的护理行为活动进行精细化的建模。
[0004]目前虽已有一些相关技术方法用于解决类似隐私场景下的行为识别问题，但涉及的场景、所使用的方法均有所局限，缺乏对护理行为参与者数据的综合分析，难以满足隐私场景的护理行为识别需求。例如，中国专利CN109086659A，提供了一种在深度图像中结合骨架特征进行行为分类的方法，应证了在深度图像上开展行为识别的可行性，但其仅强调了行为分类，并未给出具体行为的定义，也未针对特定场景进行建模。中国专利CN111860434B，针对智能居家场景提出了一种行为识别方法，并在智能居家场景取得了较好的效果，但该方法使用传统图像建模，并未使用隐私安全的深度图像等数据，没有从源头杜绝隐私数据的采集。

技术实现思路

[0005]本专利技术要解决的技术问题是：目前对隐私场景下的护理行为识别缺乏有效手段。
[0006]为了解决上述技术问题，本专利技术的技术方案是提供了一种隐私场景下的护理行为识别方法，其特征在于，包括下述步骤：
[0007]步骤1：对输入的原始深度图像序列x1，x2，...，x
N
进行处理，提取所有参与者的人体检测框B1，B2，...，B
N
以及人体ROI区域M1，M2，...，M
N
，其中，B
N
为第N帧原始深度图像中多个人体的检测框结果，M
N
为第N帧原始深度图像中多个人体的ROI区域分割结果
[0008]步骤2：分析原始深度图像序列中多人人体检测框B1，B2，...，B
N
，追踪不同人体的行动轨迹，获取所有参与者的多人人体追踪信息序列BT1，BT2，...，BT
N
，其中，BT
N
为第N帧中多个人体的追踪信息，记做BT
N
＝[tn1，tn2，...tn
k
]，tn
k
为当前帧人体检测框中顺序第k个人体的追踪编号，BT
N
的定义如下式(1)所示：
[0009]BT
N
＝f
t
(f
bv
(B
N
，...B
N
‑
i
)，f
gv
(VG
N
，
…
VG
N
‑
i
)，f
mv
(VM
N
，
…
VM
N
‑
i
))
ꢀꢀꢀ
(1)
[0010]式(1)中，i为当前帧与上文关联帧数，f
bv
为人体检测交并比计算函数，f
gv
为图形学像素特征变化计算函数，f
mv
为动量关联方向计算函数，f
t
(f
bv
，f
gv
，f
mv
)为人体追踪编号计算函数，VG
N
为利用图形学特征分析算法f
g
(B
N
)计算得到的图形学特征向量，VM
N
为利用机器学习算法f
m
(B
N
，PS
N
)计算得到的人体检测框运动特征向量VM
N
，PS1，PS2，...，PS
N
为与人体检测框B1，B2，...，B
N
对应区域的像素序列；
[0011]步骤3：结合追踪结果，分析不同人体的关键点特征，构建所有参与者的人体关键点坐标，具体包括以下步骤：
[0012]步骤3
‑
1：结合人体追踪信息序列BT1，BT2，...，BT
N
，以及图像序列中多人人体ROI区域M1，M2，...，M
N
，利用深度学习算法f
k
(BT
N
，M
N
)计算每帧二维深度图像上的不同参与者的人体关键点坐标集合KC
N
，得到二维人体关键点坐标集合序列KC1，KC2，...，KC
N
，其中，人体关键点坐标集合KC
N
表示为下式(2)：
[0013][0014]式(2)中，k代表当前帧多人人体检测框中的人员数量，代表利用深度学习算法计算所得的当前帧第k个人体的第q个关键点在图像上的x、y坐标集，记做
[0015]步骤3
‑
2：结合人体ROI区域M1，M2，...，M
N
以及二维人体关键点坐标集合序列KC1，KC2，...，KC
N
，利用空间坐标转换算法f
z
(M
N
，KC
N
)计算人体各关键点在空间中的三维坐标集合KC
′
N
，得到关键点三维坐标集合序列KC
′1，KC
′2，...KC
′
N
，其中，三维坐标集合KC
′
N
表示为下式(3)：
[0016][0017]式(3)中，k代表当前帧多人人体检测框中的人员数量，代表利用空间坐标转换算法计算所得的当前帧第k个人体的第q个关键点在三维空间坐标系中的x、y、z坐标集，其中，x、y代表当前像素在图像上的二维坐标，z代表当前像素灰度值，记做
[0018]步骤4：结合关键点坐标，分析图像关联帧之间人体位移变化，计算所有参与者的运动活力特征，具体包括以下步骤：
[0019]步骤4
‑
1：结合深度图像中单位像素在三维空间对应的体素信息vi
x，y，z
以及关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种隐私场景下的护理行为识别方法，其特征在于，包括下述步骤：步骤1：对输入的原始深度图像序列x1，x2，...，x
N
进行处理，提取所有参与者的人体检测框B1，B2，...，B
N
以及人体ROI区域M1，M2，...，M
N
，其中，B
N
为第N帧原始深度图像中多个人体的检测框结果，M
N
为第N帧原始深度图像中多个人体的ROI区域分割结果步骤2：分析原始深度图像序列中多人人体检测框B1，B2，...，B
N
，追踪不同人体的行动轨迹，获取所有参与者的多人人体追踪信息序列BT1，BT2，...，BT
N
，其中，BT
N
为第N帧中多个人体的追踪信息，记做BT
N
＝[tn1，tn2，...tn
k
]，tn
k
为当前帧人体检测框中顺序第k个人体的追踪编号，BT
N
的定义如下式(1)所示：BT
N
＝f
t
(f
bv
(B
N
，
…
B
N
‑
i
)，f
gv
(VG
N
，...VG
N
‑
i
)，f
mv
(VM
N
，
…
VM
N
‑
i
))
ꢀꢀꢀꢀ
(1)式(1)中，i为当前帧与上文关联帧数，f
bv
为人体检测交并比计算函数，f
gv
为图形学像素特征变化计算函数，f
mv
为动量关联方向计算函数，f
t
(f
bv
，f
gv
，f
mv
)为人体追踪编号计算函数，VG
N
为利用图形学特征分析算法f
g
(B
N
)计算得到的图形学特征向量，VM
N
为利用机器学习算法f
m
(B
N
，PS
N
)计算得到的人体检测框运动特征向量VM
N
，PS1，PS2，...，PS
N
为与人体检测框B1，B2，...，B
N
对应区域的像素序列；步骤3：结合追踪结果，分析不同人体的关键点特征，构建所有参与者的人体关键点坐标，具体包括以下步骤：步骤3
‑
1：结合人体追踪信息序列BT1，BT2，...，BT
N
，以及图像序列中多人人体ROI区域M1，M2，...，M
N
，利用深度学习算法f
k
(BT
N
，M
N
)计算每帧二维深度图像上的不同参与者的人体关键点坐标集合KC
N
，得到二维人体关键点坐标集合序列KC1，KC2，...，KC
N
，其中，人体关键点坐标集合KC
N
表示为下式(2)：式(2)中，k代表当前帧多人人体检测框中的人员数量，代表利用深度学习算法计算所得的当前帧第k个人体的第q个关键点在图像上的x、y坐标集，记做步骤3
‑
2：结合人体ROI区域M1，M2，...，M
N
以及二维人体关键点坐标集合序列KC1，KC2，...，KC
N
，利用空间坐标转换算法f
z
(M
N
，KC
N
)计算人体各关键点在空间中的三维坐标集合KC
′
N
，得到关键点三维坐标集合序列KC
′1，KC
′2，...KC
′
N
，其中，三维坐标集合KC
′
N
表示为下式(3)：式(3)中，k代表当前帧多人人体检测框中的人员数量，代表利用空间坐标转换算法计算所得的当前帧第k个人体的第g个关键点在三维空间坐标系中的x、y、z坐标集，其中，x、y代表当前像素在图像上的二维坐标，z代表当前像素灰度值，记做步骤4：结合关键点坐标，分析图像关联帧之间人体位移变化，计算所有参与者的运动活力特征，具体包括以下步骤：步骤4
‑
1：结合深度图像中单位像素在三维空间对应的体素信息vi
x，y，z
以及关键点三维坐标集合序列KC
′1，KC
′2，...KC
′
N
，计算每帧人体关键点实际坐标集合KCR1，KCR2，...，KCR
N
；步骤4
‑
2：计算每帧中各肢体区域的所有关键点平均实际坐标集合KCA1，KCA2，
…
，KCA
N
；步骤4
‑
3：在平均实际坐标集合KCA1，KCA2，...，KCA
N
基础上，利用人体活力值算法f
hv
(KCA
N
，...，KCA
N
‑
i
)计算多人运动活力特征HV
N
，得到运动活力特征序列HV1，HV2，...，HV
N
，其中，f
hv
(KCA
N
，...，KCA
N
‑
i
)计算公式如下式(4)所示：式(4)中，p为当前帧与上文关联帧数，i为当前帧与上文关联最大帧数，g为当前肢体区域编号，b为肢体区域最大编号，d为两帧之间肢体平均坐标的实际距离计算函数，w
q
为各肢体区域活力值权重算子，为具体肢体区域的实际坐标；步骤5：结合多人人体检测框B1，B2，...，B
N
、多人人体追踪信息序列bT1，BT2，...，BT
N
以及多人运动活力特征序列HV1，HV2，...，HV
N
，构建并定义护理场景中各个参与角色的活力特征及相关阈值，随后构建人体身份识别算法f
id
(B
N
，BT
N
，HV
N
)，计算每帧中多个人体的身份向量ID
N
，得到多人人体身份信息向量序列ID1，ID2，...，ID
N
；步骤6：使用深度学习算法构建参与者行为识别算法模型f
pb
(VG
N
，KC
′
N
，KCA
N
)，对模型进行训练后，提取需预测图像序列的人体区域图形学特征向量序列VG1，VG2，...，VG
N
、人体各关键点在空间中的关键点三维坐标集合序列KC
′1，KC
′2，...KC
′
N
、人体各肢体区域的所有关键点根据深度值转换后的平均实际坐标集合KCA1，KCA2，...，KCA
N
，利用参与者行为识别算法模型f
pb
(VG
N
，KC
′
N
，KCA
N
)对图像序列进行预测，取最终...

【专利技术属性】
技术研发人员：申成日，刘鸣，王瑜，侯畅畅，张植桓，张敬谊，丁偕，胡万龙，
申请(专利权)人：万达信息股份有限公司，
类型：发明
国别省市：