仿生视觉传感器、成像方法以及无人机图传系统技术方案

本发明专利技术提供了仿生视觉传感器、成像方法以及无人机图传系统，其中，仿生视觉传感器包括：二维像素阵列，包括多个传感器像素；关注区域模块，获得基于二维像素阵列的至少一关注点位置信息；图像分割模块，根据关注点位置信息获得二维像素阵列的至少一第一区域以及第一区域以外的至少一第二区域；区域成像控制模块，基于第一区域和第二区域分别获得图像数据生成一实时图像，第一区域的像素采样率大于第二区域的像素采样率。本发明专利技术能够通过可调节分辨率的分区采样生成实时图片，保留关注点的高分辨率，降低周围的分辨率，从而在不增加带宽和功耗的前提下，提升图传质量，增强导航操作的安全性。安全性。安全性。

【技术实现步骤摘要】
仿生视觉传感器、成像方法以及无人机图传系统


[0001]本专利技术涉及光敏图像传感器领域，具体地说，涉及仿生视觉传感器、成像方法以及无人机图传系统。

技术介绍

[0002]图像分辨率指每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做像素每英寸。分辨率决定了位图图像细节的精细程度。通常情况下，图像的分辨率越高，所包含的像素就越多，图像就越清晰。同时，它也会增加文件占用的存储空间。对于许多基于视觉的应用，实时采集高帧率、高质量的图像至关重要。例如：安防监控，视频会议，远程手术，基于视觉的路径规划和导航，等等。在过去的20多年中，随着CMOS技术高速发展，图像传感器的分辨率越来越高。如今，上亿像素的传感器已经出现在商用市场。一方面，高像素有效地提升了图片或视频质量；另一方面，实时传输高分辨率的图像，对系统的带宽和功耗提出了极高的要求。
[0003]图像传感器通常包含一个二维像素阵列。当前图像传感器的设计按照行、列扫描的方式工作。通常包含三种图像输出模式：
[0004]全分辨率输出模式。二维像素阵列中的每个像素均输出一个有效数据，优点是分辨率高；缺点是图片体积大、数据传输时间长、帧率低。
[0005]像素合并输出模式。临近的若干(通常是4个或9个或16个)像素产生的信号在模拟域或数字域合并成一个大信号输出。好处是可以提升小尺寸像素在暗光场景下的信噪比，减少数据量、提高帧率；缺点是损失分辨率。
[0006]采样或像素跳过输出模式。抽取像素阵列中一定比例的像素输出数据。有多种抽取方式，可以均匀分布抽取(如下图右侧所示)，也可以间隔行或间隔列抽取(未画出)。好处是可以实现高帧率，缺点是分辨率低、容易丢失图像细节。
[0007]由于人眼主要通过占据整个视野范围1％的中央凹(Fovea)区域来获取高清晰度的视觉数据。视觉中心外围图像逐渐模糊(由于视锥细胞变少)。外围视野主要用于捕获物体的运动和对比信息，通过眼球运动将感兴趣区域(ROI，region of interest)移到中央凹位置观察。以无人机尤其是穿越机(高速无人机)的无人机无线图传为例，在高速飞行的时候会造成通讯质量的降低，如果还需要传输全分辨率的高清图片，则会对带宽和功耗有极大要求，而且操作者在操作无人机的时候，关注力主要集中在屏幕的中央区域，对于周边区域的像素没有高分辨率的要求，也会造成信息传输的浪费。无论以上三种输出模式中的哪一种都无法最佳适配无人机无线图传的使用场景。
[0008]现有图传技术的缺点：
[0009](1)对于实时监控的场景中，低分辨率的图像虽然不占带宽，但是严重降低了导航操作的准确性。
[0010](2)但是如果一直传输全图高分辨率的要求会大大消耗带宽和功耗，形成两难困境。
[0011]有鉴于此，本专利技术提出了仿生视觉传感器、成像方法以及无人机图传系统。
[0012]需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0013]针对现有技术中的问题，本专利技术的目的在于提供仿生视觉传感器、成像方法以及无人机图传系统，克服了现有技术的困难，能够通过可调节分辨率的分区采样生成实时图片，保留关注点的高分辨率，降低周围的分辨率，从而在不增加带宽和功耗的前提下，提升图传质量，增强导航操作的安全性。
[0014]本专利技术的实施例提供一种图像传感器，包括：
[0015]二维像素阵列，包括多个传感器像素；
[0016]关注区域模块，获得基于所述二维像素阵列的至少一关注点位置信息；
[0017]图像分割模块，根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
[0018]区域成像控制模块，基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
[0019]优选地，所述关注区域模块包括一关注预测神经网络，将所述实时图像输入关注预测神经网络，获得至少一关注点位置信息。
[0020]优选地，所述关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息。
[0021]优选地，所述二维像素阵列对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；
[0022]区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域维持最高分辨率，所述第二区域的降低像素采样率。
[0023]优选地，所述二维像素阵列对于每一帧先以最低分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；
[0024]区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域提升像素采样率，所述第二区域的维持最低分辨率。
[0025]优选地，将当前帧的实时图像输入关注预测神经网络，获得下一帧的至少一关注点位置信息。
[0026]优选地，还包括一个采样阵列；
[0027]所述区域成像控制模块基于第一分辨率自所述第一区域中选出第一传感器像素组，基于第二分辨率自所述第二区域中选出第二传感器像素组，所述第一分辨率大于所述第二分辨率，所述采样阵列基于所述第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。
[0028]优选地，所述采样阵列具有若干可接收或断开每个传感器像素的传输通道；
[0029]所述采样阵列根据所述第一分辨率更新对第一区域的第一采样子阵列中所述数据传输通道的状态，令所述第一采样子阵列中开启的数据传输通道的数量满足所述第一分
辨率；
[0030]所述采样阵列根据所述第二分辨率更新对第二区域的第二采样子阵列中所述数据传输通道的状态，令所述第二采样子阵列中开启的数据传输通道的数量满足所述第二分辨率。
[0031]优选地，所述关注区域模块接收一眼球追踪装置产生的用户眼球于所述二维像素阵列的关注点的位置信息。
[0032]本专利技术的实施例还提供一种仿生视觉成像方法，包括以下步骤：
[0033]获得基于二维像素阵列的至少一关注点位置信息；
[0034]根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及
[0035]基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。
[0036]本专利技术的实施例还提供一种无人机图传系统，包括：
[0037]一仿生视觉传感器，被设置于无人机，基于关注点位置信息进行分区图像采样并生成一实时图像，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仿生视觉传感器，其特征在于，包括：二维像素阵列，包括多个传感器像素；关注区域模块，获得基于所述二维像素阵列的至少一关注点位置信息；图像分割模块，根据所述关注点位置信息获得所述二维像素阵列的至少一第一区域以及所述第一区域以外的至少一第二区域；以及区域成像控制模块，基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域的像素采样率大于所述第二区域的像素采样率。2.如权利要求1所述的仿生视觉传感器，其特征在于，所述关注区域模块包括一关注预测神经网络，将所述实时图像输入关注预测神经网络，获得至少一关注点位置信息。3.如权利要求2所述的仿生视觉传感器，其特征在于，所述关注预测神经网络通过对实时图像进行分割识别获得对象信息，并根据预设的对象推荐序列，将推荐度最高的对象信息对应的局部图像的中央建立一关注点位置信息。4.如权利要求2所述的仿生视觉传感器，其特征在于，所述二维像素阵列对于每一帧先以预设分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域维持最高分辨率，所述第二区域的降低像素采样率。5.如权利要求2所述的仿生视觉传感器，其特征在于，所述二维像素阵列对于每一帧先以最低分辨率的像素采样率，获得一初步图像，将所述初步图像输入关注预测神经网络，获得当前帧的至少一关注点位置信息；区域成像控制模块基于所述第一区域和所述第二区域分别获得图像数据生成一实时图像，所述第一区域提升像素采样率，所述第二区域的维持最低分辨率。6.如权利要求2所述的仿生视觉传感器，其特征在于，将当前帧的实时图像输入关注预测神经网络，获得下一帧的至少一关注点位置信息。7.如权利要求1所述的仿生视觉传感器，其特征在于，还包括一个采样阵列；所述区域成像控制模块基于第一分辨率自所述第一区域中选出第一传感器像素组，基于第二分辨率自所述第二区域中选出第二传感器像素组，所述第一分辨率大于所述第二分辨率，所述采样阵列基于所述第一传感器像素组和第二传感器像素组采集目标场景的图像数据生成一图像。8.如权利要求7所述的仿生视觉传感器，其特征在于，所述采样阵列具有若干可接收或断开每个传感器像素的传输通道；所述采样阵列根据所述第一分辨率更新对第一区域的第一采样子阵列中所述数据传输通道的状态，令所述第一采样子阵列中开启的数据传输通道的数量满足所述第一分辨率；所述采样阵列根据所述第二分辨率更新对第二区域的第二采样子阵列中所述数据传输通道的状态，令所述第二采样子阵列中开启的数据传输通道的数量满足所述第二分辨率。9.如权利要求1所述的仿生视觉传感器，其特征在于，所述关注区域模块接收一眼球追踪装置产生的用户眼球于...

【专利技术属性】
技术研发人员：代柱，
申请(专利权)人：深圳市元视芯智能科技有限公司，
类型：发明
国别省市：