一种基于FPGA对图像数据进行分割处理和显示的方法技术

本发明专利技术提供一种基于FPGA对图像数据进行分割处理和显示的方法，根据所摄录的一帧图像的像素数据和DSP最大数据处理能力决定FPGA分割后图像的大小；利用FPGA内部memory存储，并将原始图像的行信号平均分割成若干小行后发送到DSP处理器；由DSP进行ISP处理；最后传送到PC进行图像拼接，显示输出一幅完整的经过ISP处理的图像。本发明专利技术方法适合处理各种尺寸图像，灵活性好，具有良好的实时性，使DSP处理器能够处理超过其最大处理能力的大图像，而不需要使用外部的存储设备，大大降低了成本，减少了整个图像处理系统的操控和维护的复杂性。

【技术实现步骤摘要】

本专利技术涉及图像信号处理
，特别涉及一种FPGA对大图像进行实时分割处理的方法。
技术介绍
近年来，随着人们对高清画质的不断追求，数字camera技术得以快速发展。Camera sensor的像素也越来越高，达到上千万甚至上亿像素的sensor已经出现，如DSMC公司的推出的DSMC数码摄影摄像机，已经具有26000万像素。采用这种包含上千万甚至上亿像素的sensor所摄录图像，就可以取得名副其实的高品质，高清晰度的大图像。然而目前市场上，采用现有技术生产的主流的DSP处理器却无法处理包含如此高像素的大图像，这样也就无法使用主流的DSP进行大图像的处理。如何进行ISP处理并完美显示包含上千万甚至上亿像素的大图像是目前数字图像处理的一个瓶颈。业界对于这类的问题的通常解决方法主要是，对主流DSP处理器存储容量扩展，即在原来的DSP处理器的基础上外挂存储设备。当进行大图像处理时,先把一帧图像存到所连接的存储设备，然后再以分割读取的方法来处理图像。用这种方法处理的图像，第一，除却分割读取处理图像所需的时间，还增加了将整个高像素图像存入存储设备的时间，其结果是这种方法存在明显的实时性差的缺点,完全不能在实时性要求高的场合使用；第二，所需要连接的外加存储设备，如DDR2,DDR3等，其本身的设计也比较复杂，增加存储设备除了会增加成本外，也增加了整个图像处理系统的操控和维护的 复杂性。
技术实现思路
本专利技术所要解决的技术问题是，通过进行图像数据分割和处理，降低大图像对DSP处理器的处理能力的要求，实现使用目前的主流DSP处理器进行高像素的大图像处理。为了解决上述问题，本专利技术提供一种基于FPGA对图像数据进行分割、处理和显示的方法。本专利技术提出一种基于FPGA对图像数据进行分割处理和显示的方法，其步骤包括：1)根据摄录的一帧图像数据和DSP最大数据处理能力决定FPGA分割后图像的大小；2)编写FPGA的分割程序； 3)传输数据； 4)图像数据逐行连续地存储到FPGA内部的memory中；5)按分割程序设定，进行图像分割，将存入的每行图像数据平均分割成数个小行图像数据，为每个小行添加行消隐数据；6)按分割程序设定，若干的小行数据组成一小帧图像数据，FPGA为每个小帧添加场消隐数据；7)小帧图像数据按照DSP接口时序，传送到DSP；8)完成数据传输；9)DSP将接受到的图像数据进行ISP处理；10)处理后的图像数据通过网口传送到PC；11)重复步骤3～步骤9，对该帧图像的所有后续行数据进行逐行分割、处理和传送；12)PC接受到所有数据后，进行图像拼接，最终显示输出一幅完整的经过ISP处理的图像；可选的，所述方法以帧图像数据的行作为单位实行逐一分割、处理，最终拼接后完成显示；可选的，步骤1中所述的分割是将帧图像等分成若干小帧图像的集合，每个小帧不超过DSP最大处理能力；可选的，步骤2中所述分割程序确定了分割后小帧图像的尺寸，即行、列数；可选的，步骤3中所述数据传输有效信号包括行有效信号和场有效信号；可选的，步骤4中所述FPGA内部的memory分为两个FIFO区域，FIFO0和FIFO1，以乒乓操作的方式轮流作为图像数据的暂存区域，其数据写入和读出的顺序均为先进先出的方式；优选的，所述乒乓操作是指：最初，FIFO0先开始存储数据，此时FIFO1空置；当FIFO0数据写满时，则由FIFO1继续存储，此时FIFO0 进行读操作；随后，当FIFO1数据写满时，则再换成由FIFO0进行数据存储，而FIFO1进行读操作；以此往复；可选的，步骤5中所述的平均分割是指FPGA按分割程序设定将存入数据分割成数个相等长度的小行数据，行消隐数据被添加在每个小行数据结束之后；可选的，步骤6中，按分割程序设定确定小帧图像的列数，在小帧图像数据结束后添加场消隐数据；优选的，所述的行消隐数据和场消隐数据均满足DSP的VPIF接口时序要求。由于目前市场上，以主流的DSP处理器的处理能力与高像素camera sensor的需求之间滞后，现有技术生产的DSP处理器无法处理包含如此高像素的大图像，这样也就无法使用主流的DSP进行大图像的处理。通常解决方法主要是，对主流DSP处理器存储容量扩展，即在原来的DSP处理器的基础上再连接或外挂存储设备。当进行大图像处理时,先把一帧图像整个存到所连接的存储设备，然后再以分割读取的方法来处理图像。用这种方法处理的图像，第一，除却分割读取处理图像所需的时间，还增加了将整个高像素图像存入存储设备的时间，其结果是这种方法存在明显的实时性差的缺点,完全不能在实时性要求高的场合使用；第二，所需要连接的外加存储设备，如DDR2,DDR3等，其本身的设计也比较复杂，增加存储设备除了会增加成本外，也增加了整个图像处理系统的操控和维护的复杂性。本专利技术提供的方法是利用FPGA内部的memory，只需对一帧图像中的每个行-line的图像数据进行乒乓存储，继而分割处理等份的小行，按然后传送到DSP中,针对pixel做进一步的图像信号处理-ISP。DSP处理后的line 图像再通过网口传送到电脑上，拼接成一幅完整的图像。FPGA：Field－Programmable Gate Array，即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的。现场可编程门阵列(FPGA)是可编程器件，其逻辑是通过向内部静态存储单元加载编程数据来实现的，FPGA允许无限次的编程。乒乓操作是应用于数据流控制的处理方法。乒乓操作的处理流程为：输入数据流通过“输入数据选择单元”将数据流等时分配到两个数据缓冲区。在第一个周期，将输入的数据流缓存到“数据暂存单元1”；在第二个周期，通过“输入数据选择单元”的切换，将输入的数据流缓存到“数据暂存单元2”，同时将“数据暂存单元1”的第一个周期数据通过“输出数据选择单元”的选择，输送到“数据处理单元”读走进行处理；在第三个周期，通过“输入数据选择单元”的再次切换，将输入的数据流缓存到“数据暂存单元1”，同时将“数据暂存单元2”的第二个周期数据通过“输出数据选择单元”的选择，输送到“数据处理单元”进行处理。如此循环。本专利技术方法对一行图像数据的处理步骤如图1所示，a)根据已知的摄录图像的像素值和所使用的DSP的最大处理能力确定FPGA需要将原始图像分割成的DSP可以处理的小帧图像的尺寸，并设定FPGA程序；b)当Camera sensor1接受到I2C总线13的信号后，发送一帧图像数据；c)当V_sync：帧有效信号和H_sync:行有效信号为高电位：5a和6a时，FPGA2对Camera sensor1的第一行图像数据11，存储到FPGA2内部的memory中，再分割处理成若干小行图像数据12，以先进先出的乒乓存储方式按照DSP处理器3的VPIF接口本文档来自技高网...

【技术保护点】
一种基于FPGA对需由DSP进行ISP处理的图像数据进行分割处理和显示的方法，其步骤包括：1)根据摄录的一帧图像数据和DSP最大数据处理能力决定FPGA分割后图像的大小；2)编写FPGA的分割程序；3)传输数据；4)图像数据逐行连续地存储到FPGA内部的memory中；5)按分割程序设定，进行图像分割，将存入的每行图像数据平均分割成数个小行图像数据，为每个小行添加行消隐数据；6)按分割程序设定，若干的小行数据组成一小帧图像数据，FPGA为每个小帧添加场消隐数据；7)小帧图像数据按照DSP接口时序，传送到DSP；8)完成数据传输；9)DSP将接收到的图像数据进行ISP处理；10)处理后的图像数据通过网口传送到PC；11)重复步骤3～步骤9，对该帧图像的所有后续行数据进行逐行分割、处理和传送；12)PC接受到所有数据后，进行图像拼接，最终显示输出一幅完整的经过ISP处理的图像。

【技术特征摘要】
1.一种基于FPGA对需由DSP进行ISP处理的图像数据进行分割处理和
显示的方法，其步骤包括：
1)根据摄录的一帧图像数据和DSP最大数据处理能力决定FPGA分
割后图像的大小；
2)编写FPGA的分割程序；
3)传输数据；
4)图像数据逐行连续地存储到FPGA内部的memory中；
5)按分割程序设定，进行图像分割，将存入的每行图像数据平均分割
成数个小行图像数据，为每个小行添加行消隐数据；
6)按分割程序设定，若干的小行数据组成一小帧图像数据，FPGA为
每个小帧添加场消隐数据；
7)小帧图像数据按照DSP接口时序，传送到DSP；
8)完成数据传输；
9)DSP将接收到的图像数据进行ISP处理；
10)处理后的图像数据通过网口传送到PC；
11)重复步骤3～步骤9，对该帧图像的所有后续行数据进行逐行分割、
处理和传送；
12)PC接受到所有数据后，进行图像拼接，最终显示输出一幅完整的
经过ISP处理的图像。
2.如权利要求1所述的一种基于FPGA对图像数据进行分割处理和显示
的方法，其特征在于，所述方法以帧图像数据的行作为单位实行逐一分
割、处理，最终拼接后完成显示。
3.如权利要求1所述的一种基于FPGA对图像数据进行分割处理和显示
的方法，其特征在于，步骤1中所述的分割是将帧图像等分成若干小帧
图像的集合，每个小帧不超过DSP最大处理能力。
4.如权利要求1所述的一种基于FPGA对图像数据进行分割处理和显示
的方法，其特征在于，步骤2中所述分割程序确定了分割后小帧图像的
尺寸，...

【专利技术属性】
技术研发人员：叶红磊，蒋亮亮，王勇，王凯，高猛，
申请(专利权)人：上海集成电路研发中心有限公司，成都微光集电科技有限公司，
类型：发明
国别省市：上海;31