驾驶辅助系统、电子设备及其操作方法技术方案

描述了用于自动驾驶辅助的系统和方法。驾驶辅助系统可以包括：第一传感器单元，被配置为提供包括其他车辆和背景在内的输入图像；图像处理器，被配置为通过对输入图像进行下采样来生成多个金字塔图像，获取包括从第一传感器单元到其他车辆和背景的深度值在内的深度图，基于深度图来生成具有深度值的不同平均深度的多个掩模数据，并基于多个掩模数据和多个金字塔图像来输出代表距第一传感器单元的不同平均距离的多个经掩蔽图像；特征提取器，被配置为输出多个经掩蔽图像中的每一个的特征数据；以及检测器，被配置为基于所述特征数据来检测所述输入图像中包括的其他车辆。检测所述输入图像中包括的其他车辆。检测所述输入图像中包括的其他车辆。

【技术实现步骤摘要】
驾驶辅助系统、电子设备及其操作方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年9月3日向韩国知识产权局递交的韩国专利申请No.10-2019-0108932的权益，其公开通过引用全部合并在此。


[0003]本专利技术构思涉及驾驶辅助系统、用于检测图像中包括的对象的电子设备及其操作方法。

技术介绍

[0004]现代车辆包括大量电子部件。例如，经常使用传感器和计算机来检测对象，计算距离或速度以及预测未来事件。驾驶员辅助技术可以使用这些部件来帮助驾驶员执行操作，例如车道变换、自适应巡航控制、盲点监控和夜间对象检测。在一些情况下，配备了驾驶员辅助技术的车辆可以对外部对象和事件做出自动反应，而无需驾驶员输入。
[0005]包括驾驶员辅助技术的车辆可以收集和处理大量数据。这对车载计算机提出了显著的计算需求。在一些情况下，这会导致计算速度较慢，从而降低驾驶员辅助技术的性能并降低车辆的安全性。因此，在本领域中需要车辆辅助技术系统，其要求较少的数据和计算而不会牺牲性能。

技术实现思路

[0006]本公开描述了一种用于使用人工神经网络从高分辨率图像有效地检测对象的驾驶辅助系统和电子设备及其操作方法。
[0007]根据本专利技术构思的一方面，驾驶辅助系统可以包括：第一传感器单元，被配置为提供包括其他车辆和背景在内的输入图像；图像处理器，被配置为通过对输入图像进行下采样来生成多个金字塔图像，识别包括到其他车辆和背景的深度值在内的深度图，基于深度图生成具有深度值的不同平均深度的多个掩模数据，并且基于多个掩模数据和多个金字塔图像来输出代表不同平均距离的多个经掩蔽图像；特征提取器，被配置为输出多个经掩蔽图像中的每一个的特征数据；以及检测器，被配置为基于特征数据来检测输入图像中包括的其他车辆。
[0008]根据本专利技术构思的另一方面，一种从输入图像中检测对象的电子设备可以包括：图像处理器，被配置为通过对输入图像进行下采样来生成第一金字塔图像，通过对第一金字塔图像进行下采样来生成第二金字塔图像，将第一金字塔图像中的平均距离指示第一值的部分区域识别为第一区域，将第二金字塔图像中的平均距离指示第二值的部分区域识别为第二区域，并输出第一区域和第二区域的图像；第一核，被配置为生成包括第一区域的特征值在内的第一特征数据，并基于第一特征数据来检测第一区域中的对象；以及第二核，被配置为生成包括第二区域的特征值在内的第二特征数据，并基于第二特征数据来检测第二区域中的对象。
[0009]根据本专利技术构思的另一方面，一种电子设备的操作方法可以包括：通过对包括对象和背景在内的输入图像进行下采样来生成第一金字塔图像；通过对第一金字塔图像进行下采样来生成第二金字塔图像；掩蔽通过从第一金字塔图像中排除平均距离为第一值的第一区域而剩余的区域；掩蔽通过从第二金字塔图像中排除平均距离为第二值的第二区域而剩余的区域，其中第二值比第一值小；从基于多个掩蔽操作而生成的多个经掩蔽图像中获取多个特征数据；以及基于多个特征数据检测对象。
[0010]根据本专利技术构思的另一实施例，一种图像处理方法可以包括：接收输入数据，该输入数据包括图像数据和与该图像数据相对应的距离数据；基于图像数据生成多个下采样图像，其中，多个下采样图像中的每一个对应于不同的图像分辨率；基于距离数据生成多个图像掩模，其中，多个图像掩模中的每一个对应于不同的平均距离值；生成多个经掩蔽图像，其中，多个经掩蔽图像中的每一个基于多个下采样图像之一和多个图像掩模之一；基于多个经掩蔽图像生成特征数据；以及基于特征数据来检测对象。
附图说明
[0011]根据以下结合附图进行的详细描述，将更清楚地理解本专利技术构思的实施例，在附图中：
[0012]图1是根据本专利技术构思的示例实施例的电子设备的框图；
[0013]图2是根据本专利技术构思的示例实施例的驾驶辅助系统的框图；
[0014]图3示出了人工神经网络和使用该人工神经网络的计算处理；
[0015]图4是根据本专利技术构思的示例实施例的电子设备的框图；
[0016]图5是根据本专利技术构思的示例实施例的电子设备的框图；
[0017]图6是根据本专利技术构思的示例实施例的电子设备的框图；
[0018]图7和图8示出了根据本专利技术构思的示例实施例的感兴趣区域(RoI)信息和掩模数据；
[0019]图9示出了根据本专利技术构思的示例实施例的掩蔽金字塔图像并生成经掩蔽图像的操作；
[0020]图10A、图10B和图10C示出了根据本专利技术构思的示例实施例的预处理器的图像处理操作；
[0021]图11A和图11B是用于描述根据本专利技术构思的示例实施例的特征提取器和核单元的框图；
[0022]图12是根据本专利技术构思的示例实施例的电子设备的框图；
[0023]图13是根据本专利技术构思的示例实施例的用于描述传感器融合操作的电子设备的框图；
[0024]图14是根据本专利技术构思的示例实施例的电子设备的操作方法的流程图；
[0025]图15是根据本专利技术构思的示例实施例的电子设备的操作方法的流程图；
[0026]图16是根据本专利技术构思的示例实施例的电子设备的操作方法的流程图；以及
[0027]图17是根据本专利技术构思的示例实施例的电子系统的框图。
具体实施方式
[0028]本公开描述了用于对象检测的系统和方法。例如，对象检测系统可以用于通过从驾驶辅助系统的角度识别对象来提供车辆的驾驶稳定性和效率。随着技术的改进，车辆传感器收集的数据量趋于增大。高分辨率图像在识别远处的对象时特别有用。由于这些高分辨率图像的使用，车辆对象检测模型可以依赖于提高的计算水平以实时处理图像数据。
[0029]在某些情况下，不断增长的计算需求可能会超越车载计算机系统的能力。发生这种情况时，车辆或系统的实时操作可能会受到影响。如果通过降低系统主干中特征提取器的复杂性来解决此挑战，则可以减少计算需求，但也会降低对象识别的准确性。
[0030]驾驶员辅助系统可以通过识别包括一组对象(近处的对象和远处的对象)在内的图像来进行操作。接下来，确定每个对象的尺寸和距离(即，是诸如车辆或人的大对象，还是诸如鸟或球的小对象)。在某些情况下，对象的尺寸可以用于确定对象与车辆之间的距离。在确定每个对象的距离之后，基于对象和到每个对象的距离来确定一个或多个感兴趣区域(RoI)。
[0031]根据本公开的实施例，RoI可以被分成若干个子区域，可以基于距离信息将这些子区域下采样到较低的分辨率。包括一些下采样部分的修改后图像可以用作特征提取器、跟踪器等的输入。通过使用其中某些部分被下采样的图像，可以减少数据的总量。然而，由于高分辨率用于图像的关键部分，因此可以不降低系统的总体性能。
[0032]在下文中，将参照附图详细描述本专利技术构思的实施例。
[0033]图1是根据本专利技术构思的示例实施例的电子设备1的框图。
[0034]根据本专利技术构思的示例实施例的电子设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶辅助系统，包括：第一传感器单元，被配置为提供包括其他车辆和背景在内的输入图像；图像处理器，被配置为通过对所述输入图像进行下采样来生成多个金字塔图像，识别包括到所述其他车辆和所述背景的深度值在内的深度图，基于所述深度图生成具有所述深度值的不同平均深度的多个掩模数据，并且基于所述多个掩模数据和所述多个金字塔图像输出代表不同平均距离的多个经掩蔽图像；特征提取器，被配置为输出所述多个经掩蔽图像中的每一个的特征数据；以及检测器，被配置为基于所述特征数据来检测所述输入图像中包括的所述其他车辆。2.根据权利要求1所述的驾驶辅助系统，其中，所述第一传感器单元包括立体相机，所述输入图像包括左眼图像和右眼图像，以及所述图像处理器还被配置为基于所述左眼图像和所述右眼图像的比较来获取所述深度图。3.根据权利要求2所述的驾驶辅助系统，其中，所述图像处理器还被配置为基于所述输入图像来生成感兴趣区域RoI，并掩蔽通过从所述多个金字塔图像中排除所述RoI而剩余的区域。4.根据权利要求1所述的驾驶辅助系统，其中所述多个金字塔图像包括第一金字塔图像和第二金字塔图像，以及所述图像处理器还被配置为通过对所述输入图像进行下采样来生成所述第一金字塔图像，并且通过对所述第一金字塔图像进行下采样来生成所述第二金字塔图像。5.根据权利要求4所述的驾驶辅助系统，其中，所述多个掩模数据包括第一掩模数据和平均深度比所述第一掩模数据小的第二掩模数据，所述多个经掩蔽图像包括第一经掩蔽图像和第二经掩蔽图像，以及所述图像处理器还被配置为调整所述第一掩模数据和所述第二掩模数据的大小以对应于所述第一金字塔图像和所述第二金字塔图像，输出其中将所述第一掩模数据应用于所述第一金字塔图像的所述第一经掩蔽图像，并输出其中将所述第二掩模数据应用于所述第二金字塔图像的所述第二经掩蔽图像。6.根据权利要求1所述的驾驶辅助系统，其中，所述图像处理器还被配置为掩蔽通过从所述输入图像中排除所述其他车辆、道路和行人中的至少一个而剩余的区域，并基于经掩蔽的图像来生成所述多个金字塔图像。7.根据权利要求1所述的驾驶辅助系统，其中，所述多个经掩蔽图像包括第一经掩蔽图像和第二经掩蔽图像，所述特征提取器还被配置为输出基于所述第一经掩蔽图像而生成的第一特征数据和基于所述第二经掩蔽图像而生成的第二特征数据，以及所述检测器还被配置为接收通过将所述第一特征数据和所述第二特征数据进行拼接而生成的拼接数据。8.根据权利要求7所述的驾驶辅助系统，还包括：下采样器，被配置为对所述第二特征数据进行下采样并输出下采样特征数据；以及
缓冲器，被配置为通过将所述第一特征数据和所述下采样特征数据进行拼接来输出所述拼接数据。9.根据权利要求1所述的驾驶辅助系统，其中所述检测器还包括第一子检测器和第二子检测器，并且所述驾驶辅助系统还包括：第二传感器单元，包括第一距离传感器和感测距离比所述第一距离传感器短的第二距离传感器；第一传感器融合单元，被配置为融合从所述第一子检测器输出的第一检测数据和从所述第一距离传感器输出的第一感测数据，并输出第一融合数据；以及第二传感器融合单元，被配置为融合从所述第二子检测器输出的第二检测数据和从所述第二距离传感器输出的第二感测数据，并输出第二融合数据，其中，相比于所述第二检测数据，所述第一检测数据是基于包括更远距离的对象在内的图像而生成的。1...

【专利技术属性】
技术研发人员：高祥修，金炳秀，河相赫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：