自监督的鱼眼相机图像特征点提取方法、装置及存储介质制造方法及图纸

本申请涉及基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质，其中，方法，包括：采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。本方案，有效克服了现有技术方案中不存在“无需人为标注特征点的情况下实现特征点、特征向量的提取”的技术缺陷，除此之外，本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质可以在计算力受限的嵌入式设备上实时运行。运行。运行。

【技术实现步骤摘要】
自监督的鱼眼相机图像特征点提取方法、装置及存储介质


[0001]本申请涉及自监督的鱼眼相机图像特征点提取方法、装置及存储介质，属于场景内特征点、特征向量提取


技术介绍

[0002]关键点检测是近来越来越受到重视的一种技术，对很多应用都是非常基础并且至关重要的，比如提取人脸关键点，利用提出的关键点进行人脸比对、人脸属性或活体判断等。现阶段，随着人工智能技术的发展和成熟，自动驾驶技术以及先进辅助驾驶系统成为当下热门的研究领域。其中记忆泊车作为高级别的辅助驾驶技术，正得到不断的突破。而记忆泊车技术的核心要点包括关键点的提取，需要对泊车区域场景区域内行车泊车等场景提取具有高度重复性的关键点和描述子。如在同一停车场中，在不同时间，天气，光线等条件下，提取得到位置相近的关键点及尽可能近似的描述子。
[0003]现有技术方案中一般采用传统的基于手动特征的特征点提取、生成特征向量的算法或者基于深度学习的算法来提取关键点位置，然而，传统的基于手动特征的特征点提取或者生成特征向量的算法是不可训练的。而传统方案中的基于深度学习的专利里，均是基于监督学习的方法，都需要人手工的标注，首先，通过人工进行标注需要额外成本(时间，金钱，人力)；其次，人工标注一般是有误差的，如需要标一个眼睛，实际的标签只能是一个点或者圆，并不可能把眼睛的所有像素覆盖，显然不同标注人员，不同标注序列，都会有不一致的情况；除此之外，人工标注的点是有限的，很多情况下无法覆盖实际场景，而通过深度学习得到的模型对训练集里的标注点往往较好，而对其他标注点极不友善；最后人工标注只能对有明确语义信息的对象进行，如人体的轮廓四肢，但是对一般的公路或者停车场场景，是无法标注的。
[0004]然而，如何在无需人为标注特征点的情况下基于场景通过学习实现特征点、特征向量的提取，目前尚无相关的技术。

技术实现思路

[0005]本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取方法、装置及存储介质，以解决现有技术方案中不存在“无需人为标注特征点的情况下基于场景通过学习实现特征点、特征向量的提取”的技术缺陷。
[0006]第一方面，根据本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取方法，包括：
[0007]采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
[0008]基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。
[0009]优选地，所述预先训练好的特征点提取模型的训练方法，包括：
[0010]训练有监督神经网络特征点提取模型；
[0011]以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
[0012]优选地，所述训练有监督神经网络特征点提取模型，包括：
[0013]获取预设数量的若干张鱼眼图片，并选取第一数量的图片作为训练集，第二数量的图片作为测试集；
[0014]重复执行若干次如下步骤：
[0015]针对训练集中的鱼眼图片，经过一次预设单应性变换，得到单应性变换鱼眼图片；
[0016]设定预设形状角点提取模型，以所述单应性变换鱼眼图片作为输入，得到单应性变换鱼眼图片的角点位置信息；
[0017]将所述角点位置信息做预设单应性变换的逆向变换，确定并记录所述角点位置信息对应的鱼眼图片中的位置信息；
[0018]根据每次记录的位置信息在鱼眼图片上形成角点信息，作为自监督神经网络的监督信息。
[0019]优选地，所述单应性变换为根据鱼眼相机的内参和外参，对获取的鱼眼图像进行适应性变换。
[0020]优选地，还包括：
[0021]确定自监督神经网络特征点提取模型的优化目标函数。
[0022]优选地，所述确定自监督神经网络特征点提取模型的优化目标函数，包括：
[0023]针对训练集中的每张鱼眼图片，做一次预设单应性变换，得到单应性变换鱼眼图片；
[0024]将鱼眼图片及其对应的单应性变换鱼眼图片输入预设神经网络，得到该鱼眼图片的第一特征点的位置信息和第一特征点对应的第一特征向量，及单应性变换鱼眼图片的第二特征点的位置信息和第二特征点对应的特征向量；
[0025]根据第一特征点和生成的第一监督信息计算第一位置相似度的损失函数值，及第二特征点和生成的第二监督信息计算第二位置相似度的损失函数值；
[0026]对第一特征点位置做预设单应性变换后与第二特征点位置做匹配，对匹配上的点对的特征向量对计算特征向量对损失函数值；
[0027]根据所述特征向量对损失函数值、第一位置相似度的损失函数值和第二位置相似度的损失函数值确定神经网络的优化目标函数；
[0028]其中，第一监督信息为基于有监督神经网络特征点提取模型提取的鱼眼图片的角点信息；第二监督信息为有监督神经网络特征点提取模型提取的单应性变换鱼眼图片的角点信息。
[0029]第二方面，根据本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取装置，包括：
[0030]鱼眼图片获取模块，用于采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；
[0031]特征点、特征向量提取模块，用于基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对
应的特征向量。
[0032]优选地，所述装置，还包括：
[0033]预训练单元，用于训练有监督神经网络特征点提取模型；
[0034]特征点、特征向量提取模块，用于以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。
[0035]第三方面，根据本申请实施例提供一种基于自监督的鱼眼相机图像特征点提取装置，所述装置包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述计算机程序由所述处理器加载并执行，以实现如上述任一项所述基于自监督的鱼眼相机图像特征点提取方法的步骤。
[0036]第四方面，根据本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时用于实现如上述任一项所述基于自监督的鱼眼相机图像特征点提取方法的步骤。
[0037]本申请的有益效果在于：
[0038]本申请实施例提供的基于自监督的鱼眼相机图像特征点提取方法、系统及存储介质，采用在预设场景内获取若干张鱼眼图片，然后基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。进而得到场景内的特征点、特征向量，有效克服了现有技术方案中不存在“无需人为标注特征点的情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.自监督的鱼眼相机图像特征点提取方法，其特征在于，包括：采用预设场景内安装于预设位置的若干个鱼眼相机，获取关于预设场景不同位置的若干张鱼眼图片；其中，获取的若干张鱼眼图片构成所述预设场景的全景图；基于获取的鱼眼图片，采用预先训练好的特征点提取模型，提取预设场景内的特征点，确定预设场景内的特征点的坐标，以及每个特征点对应的特征向量。2.根据权利要求1所述的方法，其特征在于，所述预先训练好的特征点提取模型的训练方法，包括：训练有监督神经网络特征点提取模型；以有监督神经网络特征点提取模型提取的角点信息为监督信息，进行训练。3.根据权利要求2所述的方法，其特征在于，所述训练有监督神经网络特征点提取模型，包括：获取预设数量的若干张鱼眼图片，并选取第一数量的图片作为训练集，第二数量的图片作为测试集；重复执行若干次如下步骤：针对训练集中的鱼眼图片，经过一次预设单应性变换，得到单应性变换鱼眼图片；设定预设形状角点提取模型，以所述单应性变换鱼眼图片作为输入，得到单应性变换鱼眼图片的角点位置信息；将所述角点位置信息做预设单应性变换的逆向变换，确定并记录所述角点位置信息对应的鱼眼图片中的位置信息；根据每次记录的位置信息在鱼眼图片上形成角点信息，作为自监督神经网络的监督信息。4.根据权利要求3所述的方法，其特征在于，所述单应性变换为根据鱼眼相机的内参和外参，对获取的鱼眼图像进行适应性变换。5.根据权利要求3所述的方法，其特征在于，还包括：确定自监督神经网络特征点提取模型的优化目标函数。6.根据权利要求5所述的方法，其特征在于，所述确定自监督神经网络特征点提取模型的优化目标函数，包括：针对训练集中的每张鱼眼图片，做一次预设单应性变换，得到单应性变换鱼眼图片；将鱼眼图片及其对应的单应性变换鱼眼图片输入预设神经网络，得到该鱼眼图片的第一特征点的位置信息和第一特征点对应的第一特征向量，及单应性变换鱼眼图片的第...

【专利技术属性】
技术研发人员：闫硕，张如高，虞正华，
申请(专利权)人：苏州魔视智能科技有限公司，
类型：发明
国别省市：