基于深度神经网络的数据流处理方法、装置及系统制造方法及图纸

本发明专利技术技术方案提供了基于深度神经网络的数据流处理方法、装置及系统，包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。根据训练结果，指示处理组件对识别结果进行数据处理并输出。本发明专利技术的优点是，利用深度神经网络可以自主学习，并根据学习内容自主进行数据处理的特性，通过向深度神经网络处理控制器输入数据流对神经网络进行训练，深度神经网络根据训练结果直接指示相应的处理器对后续输入的多媒体数据流进行数据处理，提高了智能眼镜处理数据处理的效率。

Data Flow Processing Method, Device and System Based on Deep Neural Network

The technical scheme of the invention provides a data flow processing method, device and system based on deep neural network, including training deep neural network, obtaining training results and storing them. The deep neural network receives the multimedia data stream and identifies the characteristic data in the multimedia data stream according to the training result, and obtains the recognition result. According to the training results, the instruction processing component processes the recognition results and outputs them. The advantages of the present invention are that the deep neural network can learn independently and process data independently according to the characteristics of the learning content. The neural network is trained by inputting data stream to the deep neural network processing controller. The deep neural network directly instructs the corresponding processor to process the data stream of the subsequent input multimedia data according to the training results, thus improving the intelligence. Efficiency of data processing for energy glasses.

【技术实现步骤摘要】
基于深度神经网络的数据流处理方法、装置及系统
本专利技术涉及数据流处理领域，尤其涉及基于深度神经网络的数据流处理方法、装置及系统。
技术介绍
随着半导体技术、电池技术和光学组件工艺的逐渐突破，智能眼镜将成为独立的设备进而取代手机。通过手势识别，语音识别，眼球追踪等多种交互方式，配合智能眼镜给予用户更好的的体验，最终成为能随身携带功能强大的小型智能计算中心。当前智能眼镜是通过CPU(CentralProcessingUnit，中央处理器)+GPU(GraphicsProcessingUnit，图形处理器)的架构来进行数据处理。就目前而言，智能眼镜在每次获取图像、声音信息的时候，都是从零开始处理，无迹可寻。而CPU是通过串行方式处理数据，当数据量巨大时，就会产生处理数据慢的瓶颈，虽然GPU也开始参与计算工作，但其主要的显示工作随着分辨率的提高而负担不断加重，所以要让这个已经分身乏术的架构继续增加负荷，对智能眼镜的整体性能以及功耗表现会产生负面影响，从而导致数据处理效率降低。为追求更高的效率，以及更好的功耗表现，只让CPU或GPU参与计算已经远远不够满足需求，还需要设备能够不断地对数据进行学习，在处理过程中智能的寻找捷径。
技术实现思路
本专利技术提供基于深度神经网络的数据流处理方法、装置及系统，用以解决智能眼镜处理数据处理效率低的问题。为了实现上述目的，本专利技术技术方案提供了基于深度神经网络的数据流处理方法，所述方法包括：对深度神经网络进行训练，得到训练结果并储存。深度神经网络接收多媒体数据流，根据训练结果识别所述多媒体数据流中的特征数据，得到识别结果。深度神经网络根据训练结果，指示处理组件对识别结果进行数据处理并输出。作为上述技术方案的优选，所述方法包括：向深度神经网络输入预配置数据流集合。深度神经网络学习预配置数据流集合中各个数据流的数据特征，处理处理组件对所述预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征。作为上述技术方案的优选，所述方法包括：所述预配置数据流集合中每个数据流中至少包括：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据。所述深度神经网络学习：三维坐标数据、图像数所述音频数据、文本数据、人脸及手势数据、环境数据具有的数据特征。数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征。其中，训练结果包括：数据特征，处理过程，输出特征。训练结果存储在本地或云端。作为上述技术方案的优选，所述方法包括：处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件。以上各个处理组件分别对所述图像数据、三维坐标数据、文本数据、音频数据、所述人脸及手势数据、环境数据进行数据处理，得到处理结果。深度神经网络学习所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。编码器对所述处理结果进行编码后输出。所述深度神经网络学习所述编码器的编码动作。其中，所述训练结果还包括：所述对应关系，所述编码动作。作为上述技术方案的优选，所述方法还包括：数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络。深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征。作为上述技术方案的优选，所述方法还包括：深度神经网络根据对应关系，通过控制组件指示处理组件对识别结果进行数据处理得到数据结果。深度神经网络还根据学习的编码动作，通过控制组件指示编码器对数据结果进行编码并输出。本专利技术技术方案提供了基于深度神经网络的数据流处理装置，所述装置包括：训练模块，用于对深度神经网络进行训练，得到训练结果并储存。接收识别模块，用于所述深度神经网络接收多媒体数据流，根据所述训练模块得到的所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果。指示输出模块，用于所述深度神经网络根据所述训练模块得到的所述训练结果，指示处理组件对所述接收识别模块通过识别得到的所述识别结果进行数据处理并输出。作为上述技术方案的优选，所述训练模块，包括：输入单元，用于向所述深度神经网络输入预配置数据流集合。学习单元，用于所述深度神经网络学习所述输入单元输入的所述预配置数据流集合中各个数据流的数据特征。处理输出单元，用于处理组件对所述输入单元输入的所述预配置数据流集合进行数据处理，得到输出数据并输出，所述学习单元学习所述处理输出单元的处理过程，以及所述输出数据的输出特征。作为上述技术方案的优选，所述输入单元，包括：分流子单元，用于所述处理输出单元中的所述处理组件中数据分流器将预配置数据流集合中每个数据流中包含的数据进行分流。发送子单元，用于向将所述分流子单元的分流结果向所述处理输出单元发送。其中，学习单元学习：所述深度神经网络学习：分流子单元将所述预配置数据流集合至少被分流的三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据分别具有的数据特征，所述数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征；其中，所述训练结果具体包括：所述数据特征，所述处理过程，所述输出特征；具体的所述训练结果存储在本地或云端。作为上述技术方案的优选，所述处理输出单元，包括：数据处理子单元，用于处理组件对预配置数据流集合通过分流子单元分流得到的：所述图像数据、三维坐标数据、文本数据、音频数据、人脸及手势数据、环境数据进行数据处理，得到处理结果。其中，所述处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件。其中，学习单元，用于所述深度神经网络学习所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系。编码子单元，用于编码器对所述数据处理子单元得到的处理结果进行编码后输出。所述学习单元还用于所述深度神经网络学习编码子单元中编码器的编码动作。其中，所述训练结果还包括：所述对应关系，所述编码动作。作为上述技术方案的优选，所述接收识别模块，包括：获取单元，用于数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络。识别单元，用于所述深度神经网络根据所述数据特征，识别所述获取单元获取的所述多媒体数据流中各个数据流中数据的特征。作为上述技术方案的优选，所述指示输出模块，包括：指示单元，用于所述深度神经网络根据所述对应关系，通过指示单元中的控制组件指示所述数据处子理单元中的处理组件对所述识别结果进行数据处理得到数据结果。指示单元还用于，所述深度神经网络根据所述学习单元学习的所述编码动作，通过所述控制组件指示所述编码器对所述数据结果进行编码并输出。本专利技术技术方案提供了基于深度神经网络的数据流处理系统，所述系统包括：总线，用于向深度神经网络输入预配置数据流集合，还用于所述深度神经网络接收当前环境的多媒体数据流。数据处理器，用于处理组件对所述预配置数据流集合进行数据处理，得到输出数据并输出。深度神经网络处理控制器，用于深度神经网络学习所述预配置数据流集合中各个本文档来自技高网...

【技术保护点】
1.基于深度神经网络的数据流处理方法，其特征在于，所述方法包括：对深度神经网络进行训练，得到训练结果并储存；所述深度神经网络接收多媒体数据流，根据所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果；所述深度神经网络根据所述训练结果，指示处理组件对所述识别结果进行数据处理并输出。

【技术特征摘要】
1.基于深度神经网络的数据流处理方法，其特征在于，所述方法包括：对深度神经网络进行训练，得到训练结果并储存；所述深度神经网络接收多媒体数据流，根据所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果；所述深度神经网络根据所述训练结果，指示处理组件对所述识别结果进行数据处理并输出。2.根据权利要求1所述的方法，其特征在于，所述对深度神经网络进行训练，得到训练结果并储存，包括：向所述深度神经网络输入预配置数据流集合；所述深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征；处理组件对所述预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征。3.根据权利要求2所述的方法，其特征在于，所述深度神经网络学习所述预配置数据流集合中各个数据流所包含数据的数据特征，包括：所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流；所述预配置数据流集合中，每个数据流中的数据至少被分流为：三维坐标数据、图像数据、音频数据、文本数据、人脸及手势数据、环境数据；所述深度神经网络学习：所述三维坐标数据、所述图像数据、所述音频数据、所述文本数据、所述人脸及手势数据、所述环境数据具有的数据特征，所述数据特征具体包括：三维特征，像素特征，声波特征，字符特征，人脸及手势图像特征，环境特征，从而得到所述数据特征；其中，所述训练结果包括：所述数据特征，所述处理过程，所述输出特征；所述训练结果存储在本地或云端。4.根据权利要求2所述的方法，其特征在于，所述处理组件对所述预配置数据流集合进行数据处理并输出，深度神经网络学习处理过程，学习输出数据的输出特征，包括：所述处理组件至少包括：影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件；所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件分别对所述图像数据、三维坐标数据、文本数据、音频数据、人脸及手势数据、环境数据进行数据处理，得到处理结果；所述深度神经网络学习所述所述影像处理组件、位置处理组件、文字处理组件，音频处理组件、人脸及手势处理组件、环境处理组件处理数据的类型，得到对应关系；编码器对所述处理结果进行编码后输出；所述深度神经网络学习所述编码器的编码动作；其中，所述训练结果还包括：所述对应关系，所述编码动作。5.根据权利要求3和4所述的方法，其特征在于，所述深度神经网络接收多媒体数据流，根据所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果，包括：数据流输入组件获取当前环境的多媒体数据流，并发送至所述深度神经网络；所述深度神经网络根据所述数据特征，识别所述多媒体数据流中各个数据流中数据的特征。6.根据权利要求5所述的方法，其特征在于，所述深度神经网络根据所述训练结果，指示处理组件对所述识别结果进行数据处理并输出，包括：深度神经网络根据所述对应关系，通过控制组件指示所述处理组件对所述识别结果进行数据处理得到数据结果；所述深度神经网络根据学习的所述编码动作，通过控制组件指示所述编码器对所述数据结果进行编码并输出。7.基于深度神经网络的数据流处理装置，其特征在于，所述装置包括：训练模块，用于对深度神经网络进行训练，得到训练结果并储存；接收识别模块，用于所述深度神经网络接收多媒体数据流，根据所述训练模块得到的所述训练结果识别所述多媒体数据流中的特征数据，得到识别结果；指示输出模块，用于所述深度神经网络根据所述训练模块得到的所述训练结果，指示处理组件对所述接收识别模块通过识别得到的所述识别结果进行数据处理并输出。8.根据权利要求7所述的装置，其特征在于，所述训练模块，包括：输入单元，用于向所述深度神经网络输入预配置数据流集合；学习单元，用于所述深度神经网络学习所述输入单元输入的所述预配置数据流集合中各个数据流的数据特征；处理输出单元，用于处理组件对所述输入单元输入的所述预配置数据流集合进行数据处理，得到输出数据并输出，所述学习单元学习所述处理输出单元的处理过程，以及所述输出数据的输出特征。9.根据权利要求8所述的装置，其特征在于，所述输入单元，包括：分流子单元，用于所述处理输出单元中的所述处理组件中数据分流器将所述预配置数据流集合中每个数据流中包含的数据进行分流；发送子单元，...

【专利技术属性】
技术研发人员：杜晶，陈清甫，范懿文，张弦，
申请(专利权)人：幻视互动北京科技有限公司，
类型：发明
国别省市：北京,11