双模态图像信号处理器和双模态图像信号处理系统技术方案

本发明专利技术实施例公开了一种双模态图像信号处理器和双模态图像信号处理系统，该双模态图像信号处理器包括：同步图像信号处理器，用于处理双模态图像信号中的同步信号；异步图像信号处理器，用于处理双模态图像信号中的异步信号；神经网络单元，用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。上述方案中的双模态图像信号处理器可以同时对双模态图像信号中的同步信号和异步信号进行处理，可以在高速拍摄图像时实现很高的信号保真度，同时可以实现高动态范围和高时间分辨率。而且，利用神经网络单元可以在保证低功耗的基础上，实时标记感兴趣区域等人工智能相关任务。实时标记感兴趣区域等人工智能相关任务。实时标记感兴趣区域等人工智能相关任务。

【技术实现步骤摘要】
双模态图像信号处理器和双模态图像信号处理系统


[0001]本专利技术实施例涉及图像传感
，尤其涉及一种双模态图像信号处理器和双模态图像信号处理系统。

技术介绍

[0002]传统的图像信号处理器(Image Signal Processor，ISP)一般包括有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器仅能实现以像素矩阵图像帧方式排列的彩色图像的处理，具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器能够对动态场景进行感知，具有拍摄速度较快，且获取的图像信号的动态范围较大，然而这类传感器采集的图像质量较差，分辨率较低。传统的图像信号处理器无法同时对有源像素传感器信号和动态视觉感受器信号进行处理，并且，传统的图像信号处理器未集成片上神经网络，无法实现人工智能相关的图像处理任务。
[0003]现有技术中的智能图像信号处理器仅能够支持处理传统有源像素传感器采取的彩色图像，不能支持同时处理类似动态视觉传感器采取的具有稀疏事件的图像信息，进而无法充分利用基于事件的图像信号中的稀疏性、高速和高动态范围特性，从而无法保证图像的处理效果和图像的质量。此外，目前的智能图像信号处理器仅能够支持以卷积神经网络为代表的人工神经网络(Artificial Neural Network，ANN)，实现传统彩色图像的机器学习任务，但是彩色图像信息的数据量大，具有人工神经网络的智能图像信号处理器难以在保证图像处理效果和低功耗的同时提高彩色图像信息的帧率，进而无法实现高速且低功耗地处理图像信息。

技术实现思路

[0004]本专利技术提供一种双模态图像信号处理器和双模态图像信号处理系统，以提高双模态图像信号处理器的时效性、时间分辨率以及降低功耗，实时标记感兴趣区域、目标识别等人工智能相关任务。
[0005]第一方面，本专利技术实施例提供了一种双模态图像信号处理器包括：
[0006]同步图像信号处理器，用于处理双模态图像信号中的同步信号；
[0007]异步图像信号处理器，用于处理双模态图像信号中的异步信号；
[0008]神经网络单元，用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。
[0009]进一步地，神经网络单元包括人工神经网络子单元和脉冲神经网络子单元；
[0010]人工神经网络子单元用于根据人工神经网络算法处理同步图像信号处理器输出的同步信号，脉冲神经网络子单元用于根据脉冲神经网络算法处理异步图像信号处理器输出的异步信号。
[0011]进一步地，神经网络单元还包括融合子单元，融合子单元用于融合人工神经网络
子单元输出的同步信号和脉冲神经网络子单元输出的异步信号形成融合信号，并根据脉冲神经网络算法处理融合信号。
[0012]进一步地，异步图像信号处理器包括异步信号编码单元，异步信号编码单元用于对双模态图像信号中的异步信号进行编码。
[0013]进一步地，异步图像信号处理器还包括像素一致性校正单元，用于对双模态图像信号中的异步信号进行像素一致性校正后输出至异步信号编码单元。
[0014]进一步地，异步图像信号处理器还包括第一黑电平校正单元；
[0015]第一黑电平校正单元与像素一致性校正单元连接，用于对双模态图像信号中的异步信号进行黑电平校正后输出至像素一致性校正单元。
[0016]进一步地，同步图像信号处理器包括第二黑电平校正单元、颜色插值单元和颜色校正单元；
[0017]第二黑电平校正单元与颜色插值单元连接，用于对双模态图像信号中的同步信号进行黑电平校正后输出至颜色插值单元；
[0018]颜色插值单元与颜色校正单元连接，用于对黑电平校正后的同步信号进行颜色插值后输出至颜色校正单元；
[0019]颜色校正单元，用于对颜色插值后的同步信号进行颜色校正。
[0020]进一步地，双模态图像信号处理器还包括自动调整单元，自动调整单元用于调整同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号。
[0021]进一步地，自动调整单元包括自动白平衡子单元；
[0022]自动白平衡子单元与同步图像信号处理器和异步图像信号处理器连接，用于根据同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动白平衡处理。
[0023]进一步地，自动调整单元还包括自动曝光子单元；
[0024]自动曝光子单元与自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动曝光调整；或与同步图像信号处理器和异步图像信号处理器连接，用于对同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动曝光调整。
[0025]进一步地，自动调整单元还包括自动对焦子单元；
[0026]自动对焦子单元与自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动对焦调整；或与同步图像信号处理器和异步图像信号处理器连接，用于对同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动对焦调整。
[0027]进一步地，双模态图像信号处理器还包括宽动态范围和时空插值单元；宽动态范围和时空插值单元与自动调整单元连接，用于对自动调整单元输出的双模态图像信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。
[0028]进一步地，双模态图像信号处理器还包括编码压缩单元和外部接口；编码压缩单元与宽动态范围和时空插值单元连接，用于对宽动态范围和时空插值单元输出的双模态图像信号进行编码压缩，并输出至外部接口。
[0029]进一步地，外部接口包括通用串行总线接口、以太网接口和高清多媒体接口中的至少一种。
[0030]进一步地，双模态图像信号处理器还包括控制单元和输入输出总线；
[0031]控制单元通过输入输出总线与同步图像信号处理器、异步图像信号处理器和神经网络单元连接，控制单元用于根据指令信息控制同步图像信号处理器、异步图像信号处理器和神经网络单元；控制单元还用于根据神经网络参数设置神经网络单元，神经网络单元通过输入输出总线输出处理后的双模态图像信号。
[0032]进一步地，双模态图像信号处理器还包括存储单元，存储单元用于缓存指令信息和神经网络参数；存储单元与控制单元连接，用于为控制单元提供指令信息和神经网络参数；存储单元还与输入输出总线连接，用于缓存神经网络单元输出的处理后的双模态图像信号。
[0033]进一步地，双模态图像信号处理器还包括移动产业处理器接口；移动产业处理器接口与输入输出总线连接，双模态图像信号通过移动产业处理器接口和输入输出总线传输至同步图像信号处理器和异步图像信号处理器。
[0034]进一步地，双模态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双模态图像信号处理器，其特征在于，包括：同步图像信号处理器，用于处理双模态图像信号中的同步信号；异步图像信号处理器，用于处理所述双模态图像信号中的异步信号；神经网络单元，用于根据神经网络算法处理所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号并输出。2.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述神经网络单元包括人工神经网络子单元和脉冲神经网络子单元；所述人工神经网络子单元用于根据人工神经网络算法处理所述同步图像信号处理器输出的同步信号，所述脉冲神经网络子单元用于根据脉冲神经网络算法处理所述异步图像信号处理器输出的异步信号。3.根据权利要求2所述的双模态图像信号处理器，其特征在于，所述神经网络单元还包括融合子单元，所述融合子单元用于融合所述人工神经网络子单元输出的同步信号和所述脉冲神经网络子单元输出的异步信号形成融合信号，并根据所述脉冲神经网络算法处理所述融合信号。4.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器包括异步信号编码单元，所述异步信号编码单元用于对所述双模态图像信号中的异步信号进行编码。5.根据权利要求4所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器还包括像素一致性校正单元，用于对所述双模态图像信号中的异步信号进行像素一致性校正后输出至所述异步信号编码单元。6.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器还包括第一黑电平校正单元；所述第一黑电平校正单元与所述像素一致性校正单元连接，用于对所述双模态图像信号中的异步信号进行黑电平校正后输出至所述像素一致性校正单元。7.根据权利要求1
‑
6任一项所述的双模态图像信号处理器，其特征在于，所述同步图像信号处理器包括第二黑电平校正单元、颜色插值单元和颜色校正单元；所述第二黑电平校正单元与所述颜色插值单元连接，用于对所述双模态图像信号中的同步信号进行黑电平校正后输出至所述颜色插值单元；所述颜色插值单元与所述颜色校正单元连接，用于对黑电平校正后的同步信号进行颜色插值后输出至所述颜色校正单元；所述颜色校正单元，用于对颜色插值后的同步信号进行颜色校正。8.根据权利要求7所述的双模态图像信号处理器，其特征在于，还包括自动调整单元，所述自动调整单元用于调整所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号。9.根据权利要求8所述的双模态图像信号处理器，其特征在于，所述自动调整单元包括自动白平衡子单元；所述自动白平衡子单元与所述同步图像信号处理器和所述异步图像信号处理器连接，用于根据所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号进行自动白平衡处理。
10.根据权利要求9所述的双模态图像信号处理器，其特征在于，所述自动调整单元还包括自动曝光子单元；所述自动曝光子单元与所述自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动曝光调整；或与所述同步图像信号处理器和所述异步图像信号处理器连接，用于对所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号进行自动曝光调整。11.根据权利要求8所述的双模态图像信号处理器，其特征在于...

【专利技术属性】
技术研发人员：施路平，杨哲宇，赵蓉，何伟，王韬毅，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：