面向CMOS图像传感器的实时压缩存储内核制造技术

本发明专利技术公开了一种面向CMOS图像传感器的实时压缩存储内核，属于CMOS图像传感器数据处理系统领域和可编程逻辑器件领域。本发明专利技术包括DDR3接口控制模块、RISC

【技术实现步骤摘要】
面向CMOS图像传感器的实时压缩存储内核


[0001]本专利技术属于CMOS图像传感器数据处理系统领域和可编程逻辑器件领域，具体涉及到RISC
‑
V六级流水线处理器设计，DDR3接口控制设计以及JPEG
‑
LS协处理器设计。

技术介绍

[0002]CMOS(Complementary Metal
‑
Oxide
‑
Semiconductor)图像传感器是使用CMOS工艺，将像素阵列单元、放大电路、模数转换器、时序控制逻辑、信号处理单元和外部接口单元这些功能模块全部集成在一片芯片上，从而实现图像采集的功能。
[0003]随着CMOS图像传感器的像素分辨率不断提高，动态范围不断扩大，导致需要实时传输以及预处理的图像数据量越来越大，而且多通道设计给图像采集和传输系统带来更大的带宽压力。
[0004]最直接的解决办法是提高存储器容量，双倍速率同步动态随机存储器——DDR SDRAM是一种最为成熟的高速率、高带宽、大容量的存储器。但是大容量存储器十分昂贵，容量提升有限。
[0005]因此，除了片外缓存，还可以在近图像传感器端进行实时的图像压缩处理，这有效地降低数据量，减轻了传输接口的带宽压力。
[0006]图像压缩的理论基础是其数据本身包含了大量冗余信息，理论上来说主要有编码冗余、像素间冗余、心里视觉冗余这三种冗余信息，而且像素分辨率越高的图像，图像数据的局部相关性越大，即冗余信息越多。
[0007]JPEG
‑
LS压缩标准是基于HP实验室开发的算法—Loco
‑
I，是ISO和ITU—T认可的新一代图像压缩标准，可以选择性的实现无损压缩和近无损压缩。
[0008]但是JPEG
‑
LS算法码率不可控，对误差十分敏感，在与DDR3进行数据交互的时候，如果出现像素误差，一直累计到最后可能导致整张图像无法还原。
[0009]RISC
‑
V是美国加州大学伯克利分校研发的完全开源的一种精简指令集体系结构。
[0010]基于模块化设计的RISC
‑
V体系结构可以根据需要设计出灵活控制其他模块且能效比较高的CPU，这样的CPU是为整个系统量身定制的，可以解决DDR3和JPEG
‑
LS压缩模块之间的数据交互，以及复杂的码率控制问题。
[0011]目前对于图像传感器存储的研究主要集中在DDR缓存策略和传输接口方案，还没有类似整体系统的内核设计。
[0012]然而“功耗墙”、“内存墙”和“性能墙”等问题日益突出，这不仅仅需要优化算法或者接口的某一方面，而是需要系统整体的架构优化。

技术实现思路

[0013]本专利技术的目的是面向CMOS图像传感器量身定制一种压缩存储内核，用于实时压缩和存储大量的数据，通过整体架构优化和定制设计，保证数据准确性和更低的功耗。
[0014]本专利技术的技术方案为：
[0015]一种面向CMOS图像传感器的实时压缩存储内核，包括DDR3接口控制模块、RISC
‑
V处理器模块以及JPEG
‑
LS协处理器模块。
[0016]整体方案示意图如图1所示，DDR3芯片作为图像数据的缓存中心，由DDR3接口控制模块控制缓存图像传感器的图像数据；RISC
‑
V处理器模块定制了RV64IM指令，支持裁剪版的RT
‑
Thread嵌入式操作系统，作为主控核心，调度在DDR3芯片内缓存的图像数据以及控制JPEG
‑
LS协处理器的码流；JPEG
‑
LS协处理器模块实现了JPEG
‑
LS压缩算法，受RISC
‑
V处理器模块控制，压缩来自DDR3芯片的图像数据并输出。
[0017]所述的DDR3接口控制模块如图2所示，用于控制向DDR3芯片写入图像传感器的数据以及从DDR3芯片读出数据到JPEG
‑
LS协处理器的数据流向。DDR3接口控制模块物理层基于Xilinx公司的MIG IP配置DDR3的参数，包括DDR3芯片的工作频率(I/O频率)、用户端时钟频率、突发长度、数据位宽、读取模式、阻抗匹配、端口电平和引脚对应关系。DDR3接口控制模块用户层设计主要包括读/写状态机和FIFO缓冲区。
[0018]所述的读/写状态机如图3所示，包括复位状态、空闲状态、写入状态、顺序读出状态和指定读出状态。当一帧图像空间存满或者复位信号有效时，进入复位状态；复位初始化完成后进入空闲状态等待命令；FIFO缓冲区中的读/写缓冲区可分别发出读出/写入有效信号，写入有效信号优先级高于读出有效信号，该组信号使读/写状态机从空闲状态切换为顺序读出状态/写入状态；RISC
‑
V处理器模块发来的指定位置读出信号优先级最高，使读/写状态机从空闲状态切换为指定读出状态。
[0019]所述的FIFO缓冲区包括DDR3芯片读/写缓冲区和数据同步模块，由读/写状态机、图像传感器接口信号和RISC
‑
V处理器模块共同控制。其中，写入缓冲区检测图像传感器的数据同步信号、本级缓冲区和读/写状态机的状态，决定是否接收来自图像传感器的数据以及转发本级缓冲区数据给DDR3芯片缓存；读出缓冲区检测本级缓冲区和读/写状态机的状态，以及RISC
‑
V处理器模块的控制信号，决定是否从DDR3芯片读出数据以及转发本级缓冲区数据给JPEG
‑
LS协处理器；数据同步模块在DDR3接口控制模块的最后一级，负责输出数据的位宽转换和跨时钟域同步处理。
[0020]综上所述，顺序传输时：DDR3接口控制模块整体完成初始化后，自动连续缓存图像传感器的图像数据，由图3所示读/写状态机、写入缓冲区和图像传感器的数据同步信号控制，顺序缓存图像数据到DDR3芯片；由RISC
‑
V处理器模块、读/写状态机模块和读出缓冲区控制，顺序读出数据；由RISC
‑
V处理器模块校验读出的数据，无误后经过数据同步模块输出到JPEG
‑
LS协处理器模块。指定位置传输或者数据校验出错时：由RISC
‑
V处理器模块发出指定图像帧的指定地址信号，重新传输该段数据，完成后重复顺序传输过程。当且仅当本帧图像数据由RISC
‑
V处理器模块校验完成后，DDR3接口控制模块才释放该缓存区域，此时该区域可被新一帧图像数据覆盖。
[0021]所述的RISC
‑
V处理器模块如图4所示，包括In
‑
order六级流水线模块、L1级Cache模块、AXI4总线及仲裁器和外设模块。其中，In
‑
order六级流水线模块取指部分采用静态分支预测，预测后的指令输出到一级译码模块；一级译码对指令解码，重编码，并生成用来读出通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向CMOS图像传感器的实时压缩存储内核，其特征在于，包括DDR3接口控制模块、RISC
‑
V处理器模块和JPEG
‑
LS协处理器模块；DDR3芯片作为图像数据的缓存中心，由DDR3接口控制模块控制缓存图像传感器的图像数据；RISC
‑
V处理器模块定制了RV64 IM指令，支持裁剪版的RT
‑
Thread嵌入式操作系统，作为主控核心，调度在DDR3芯片内缓存的图像数据以及控制JPEG
‑
LS协处理器的码流；JPEG
‑
LS协处理器模块实现了JPEG
‑
LS压缩算法，受RISC
‑
V处理器模块控制，压缩来自DDR3芯片的图像数据并输出。2.根据权利要求1所述的一种面向CMOS图像传感器的实时压缩存储内核，其特征在于，所述的DDR3接口控制模块用户层设计包括读/写状态机和FIFO缓冲区；所述的读/写状态机包括复位状态、空闲状态、写入状态、顺序读出状态和指定读出状态；当一帧图像空间存满或者复位信号有效时，进入复位状态；复位初始化完成后进入空闲状态等待命令；FIFO缓冲区中的读/写缓冲区分别发出读出/写入有效信号，写入有效信号优先级高于读出有效信号，该组信号使读/写状态机从空闲状态切换为顺序读出状态/写入状态；RISC
‑
V处理器模块发来的指定位置读出信号优先级最高，使读/写状态机从空闲状态切换为指定读出状态；所述的FIFO缓冲区包括DDR3芯片读/写缓冲区和数据同步模块，由读/写状态机、图像传感器接口信号和RISC
‑
V处理器模块共同控制；其中，写入缓冲区检测图像传感器的数据同步信号、本级缓冲区和读/写状态机的状态，决定是否接收来自图像传感器的数据以及转发本级缓冲区数据给DDR3芯片缓存；读出缓冲区检测本级缓冲区和读/写状态机的状态，以及RISC
‑
V处理器模块的控制信号，决定是否从DDR3芯片读出数据以及转发本级缓冲区数据给JPEG
‑
LS协处理器；数据同步模块在DDR3接口控制模块的最后一级，负责输出数据的位宽转换和跨时钟域同步处理；顺序传输时：DDR3接口控制模块整体完成初始化后，自动连续缓存图像传感器的图像数据，由读/写状态机、写入缓冲区和图像传感器的数据同步信号控制，顺序缓存图像数据到DDR3芯片；由RISC
‑
V处理器模块、读/写状态机模块和读出缓冲区控制，顺序读出数据；由RISC
‑
V处理器模块校验读出的数据，无误后经过数据同步模块输出到JPEG
‑
LS协处理器模块；指定位置传输或者数据校验出错时：由RISC
‑
V处理器模块发出指定图像帧的指定地址信号，重新传输该段数据，完成后重复顺序传输过程；当且仅当本帧图像数据由RISC
‑
V处理器模块校验完成后，DDR3接口控制模块才释放该缓存区域，此时该区域被新一帧图像数据覆盖。3.根据权利要求1或2所述的一种面向CMOS图像传感器的实时压缩存储内核，其特征在于，所述的RISC
‑
V处理器模块包括In
‑
order六级流水线模块、L1级Cache模块、AXI4总线及仲...

【专利技术属性】
技术研发人员：邱继军，姜牟旬，常玉春，申人升，钟国强，程禹，潘冲，杨浩正，樊禹彤，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：