盲区图像生成方法、设备和计算机可读介质技术

本申请提供了一种盲区图像生成方法、设备和计算机可读介质。该方法包括：获取盲区场景的各点的第一相机坐标；通过第二相机获取视点的第二相机坐标；基于预先标定的第一相机和第二相机的位置关系，将视点的第二相机坐标转换为视点的第一相机坐标；基于视点的第一相机坐标、盲区场景的各点的第一相机坐标、屏幕到第一相机的旋转矩阵和平移矩阵、第一视线向量与屏幕的交点的屏幕坐标、第二视线向量与第一视线向量的比例，计算盲区场景的各点的屏幕坐标，其中第一视线向量为视点到盲区场景的一点的视线向量，第二视线向量为视点到视点与屏幕的交点的视线向量；以及基于盲区场景的各点的屏幕坐标生成盲区图像。该方法能够生成更准确的盲区图像。的盲区图像。的盲区图像。

【技术实现步骤摘要】
盲区图像生成方法、设备和计算机可读介质


[0001]本申请主要涉及图像处理
，尤其涉及一种盲区图像生成方法、设备和计算机可读介质。

技术介绍

[0002]在汽车领域中，汽车A柱所形成的视觉盲区成为汽车事故的最大安全隐患。在汽车行进中，尤其在转弯过程中，汽车A柱遮挡驾驶员视线，导致驾驶员视野形成盲区，对汽车安全性和舒适性造成不利影响。但A柱在车身结构上又是不可缺少的部件，A柱的存在得以使承载式车身结构具有更高的稳定性和车身刚度，在汽车发生正面各个角度碰撞时保护驾驶舱减小变形，对驾驶员以及乘客的安全起到最关键的作用。驾驶员的视线被遮挡，容易造成交通事故。
[0003]现有技术中解决汽车遮挡的方案是“透明A柱”，即用摄像头抓拍车外场景，获取车外的三维空间信息，然后通过视角转换，把A柱盲区对应的图像显示在贴合A柱的显示器上供驾驶员查看。
[0004]现有的透明A柱技术方案，对车外摄像头采集的图像在固定深度的假设条件下经过透视变换视角转换，然后显示到A柱屏幕上。因为没有参考真实场景的深度信息，所以新视角的图像存在图像畸变和实景融合误差大等缺点。因此，如何生成更准确的盲区图像是本领域技术人员亟需解决的问题。

技术实现思路

[0005]本申请要解决的技术问题是提供一种盲区图像生成方法、设备和计算机可读介质，能够生成更准确的盲区图像。
[0006]为解决上述技术问题，本申请提供了一种盲区图像生成方法，盲区由位于用户视点和盲区场景之间的遮挡物形成，屏幕位于所述遮挡物上并用于显示盲区图像供用户查看，所述方法包括：获取盲区场景的各点的第一相机坐标，其中所述第一相机坐标是指在第一相机坐标系下的坐标；通过第二相机获取视点的第二相机坐标，其中所述第二相机坐标是指在第二相机坐标系下的坐标；基于预先标定的所述第一相机和所述第二相机的位置关系，将所述视点的第二相机坐标转换为所述视点的第一相机坐标；基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标，其中所述屏幕坐标是指在屏幕坐标系下的坐标，所述第一视线向量为所述视点到所述盲区场景的一点的视线向量，所述第二视线向量为所述视点到所述视点与屏幕的交点的视线向量；以及基于所述盲区场景的各点的屏幕坐标生成盲区图像。
[0007]在本申请的一实施例中，所述盲区场景的各点的第一相机坐标是基于所述盲区场景的稠密深度信息和所述第一相机的标定参数确定。
[0008]在本申请的一实施例中，所述基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标的步骤是通过以下方式计算：
[0009]X
po
＝P
‑
O
eye
[0010]O
eye
+λX
po
＝P
c
＝RP
pad
+T
[0011]其中，O
eye
为所述视点的第一相机坐标，P为所述盲区场景的某一点的第一相机坐标，R为所述旋转矩阵，T为所述平移矩阵，X
po
为所述第一视线向量，P
pad
为所述第一视线向量与所述屏幕的交点的屏幕坐标，P
c
为所述第一视线向量与所述屏幕的交点的第一相机坐标，λ为所述第二视线向量与所述第一视线向量的比例。
[0012]在本申请的一实施例中，所述基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标的步骤是通过以下方式计算：
[0013][0014]其中，O
eye
为所述视点的第一相机坐标，P为所述盲区场景的某一点的第一相机坐标，R为所述旋转矩阵，T为所述平移矩阵，X
po
为所述第一视线向量，P
pad
为所述第一视线向量与所述屏幕的交点的屏幕坐标，λ为所述第二视线向量与所述第一视线向量的比例。
[0015]在本申请的一实施例中，所述基于所述盲区场景的各点的屏幕坐标生成盲区图像是基于所述盲区场景的各点的屏幕坐标逐像素生成所述盲区的RGB值贴图。
[0016]在本申请的一实施例中，所述方法还包括：将所述盲区图像显示在所述屏幕上供所述用户查看。
[0017]在本申请的一实施例中，所述第一相机为深度相机；所述盲区场景的稠密深度信息由所述第一相机进行测量。
[0018]在本申请的一实施例中，所述遮挡物为汽车A柱；所述用户为驾驶员；所述视点为所述驾驶员的眉心；所述第一相机为车外相机；所述第二相机为DMS相机；所述屏幕为安装在所述汽车A柱内侧的柔性屏。
[0019]为解决上述技术问题，本申请还提供了一种盲区图像生成设备，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的方法。
[0020]为解决上述技术问题，本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。
[0021]与现有技术相比，本申请的盲区图像生成方法、设备和计算机可读介质通过利用感知场景的深度信息，完成盲区视角转换过程，用盲区场景各点的三维相机坐标和用户视点的三维相机坐标来计算盲区场景各被遮挡点在屏幕上的投影，从而大大减少了盲区图像变形的现象，能够生成更准确的盲区图像，生成的盲区图像和用户所看到的实际场景融合得更好。
附图说明
[0022]包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本申请原理的作用。附图中：
[0023]图1是根据本申请一实施例示出的盲区图像生成方法的流程示意图。
[0024]图2是根据本申请一实施例示出的视角图像转换的几何示意图。
[0025]图3是根据本申请一实施例示出的盲区图像生成设备的架构图。
具体实施方式
[0026]为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0027]如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种盲区图像生成方法，盲区由位于用户视点和盲区场景之间的遮挡物形成，屏幕位于所述遮挡物上并用于显示盲区图像供用户查看，所述方法包括：获取盲区场景的各点的第一相机坐标，其中所述第一相机坐标是指在第一相机坐标系下的坐标；通过第二相机获取视点的第二相机坐标，其中所述第二相机坐标是指在第二相机坐标系下的坐标；基于预先标定的所述第一相机和所述第二相机的位置关系，将所述视点的第二相机坐标转换为所述视点的第一相机坐标；基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标，其中所述屏幕坐标是指在屏幕坐标系下的坐标，所述第一视线向量为所述视点到所述盲区场景的一点的视线向量，所述第二视线向量为所述视点到所述视点与屏幕的交点的视线向量；以及基于所述盲区场景的各点的屏幕坐标生成盲区图像。2.如权利要求1所述的方法，其特征在于，所述盲区场景的各点的第一相机坐标是基于所述盲区场景的稠密深度信息和所述第一相机的标定参数确定。3.如权利要求1所述的方法，其特征在于，所述基于所述视点的第一相机坐标、所述盲区场景的各点的第一相机坐标、所述屏幕到所述第一相机的旋转矩阵、所述屏幕到所述第一相机的平移矩阵、第一视线向量与所述屏幕的交点的屏幕坐标、第二视线向量与所述第一视线向量的比例，计算所述盲区场景的各点的屏幕坐标的步骤是通过以下方式计算：X
po
＝P
‑
O
eye
O
eye
+λX
po
＝P
c
＝RP
pad
+T其中，O
eye
为所述视点的第一相机坐标，P为所述盲区场景的某一点的第一相机坐标，R为所述旋转矩阵，T为所述平移矩阵，X
po
为所述第一视线...

【专利技术属性】
技术研发人员：戴大力，廖齐元，袁丹寿，张祺，
申请(专利权)人：合众新能源汽车有限公司，
类型：发明
国别省市：