【技术实现步骤摘要】
本说明书涉及一种用于实现计算机视觉神经网络模型的神经网络系统。
技术介绍
1、神经网络是采用非线性单元的一个或多个层来预测对于所接收的输入的输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层——即，下一隐藏层或输出层——的输入。网络的每一层根据相应参数集的当前值从所接收的输入生成输出。
2、神经网络的示例包括卷积神经网络。卷积神经网络通常包括至少两种神经网络层，即卷积神经网络层和全连接神经网络层。卷积神经网络层具有稀疏连通性，其中卷积层中的每个节点仅从下一最低神经网络层中的节点的子集接收输入。一些卷积神经网络层具有与该层中的其他节点共享权重的节点。然而，完全连接层中的节点从下一最低神经网络层中的每个节点接收输入。
技术实现思路
1、本说明书描述了一种神经网络系统，该神经网络系统被实现为在一个或多个位置处的一个或多个计算机上的实现计算机视觉神经网络的计算机程序。
2、本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。卷积是现代计算机视觉系统的基本构建块。本说明书中描述的技术允许利用基于自注意力——即，位置局部自注意力神经网络层(positional local self-attentionneural network layer)——的新构建块替换神经网络中的一个或多个卷积层。所得到的神经网络可以在诸如图像分类和对象检测的计算机视觉任务中胜过传统的卷积神经网络，同时需要更少的参
3、在下面的附图和描述中阐述本说明书中描述的主题的一个或多个实施例的细节。主题的其他特征、方面和优点将从说明书、附图和权利要求书中变得显而易见。
本文档来自技高网...【技术保护点】
1.一种用于处理图像数据的系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现：
2.根据权利要求1所述的系统，其中，所述位置局部自注意力层还被配置成针对每个相邻元素维持用于所述位置值权重矩阵中的每个位置值权重矩阵的位置系数，
3.根据权利要求1所述的系统，其中，所述位置局部自注意力层被配置成针对每个相邻元素维持相对距离向量，所述相对距离向量具有作为从所述相邻元素到所述输入元素的距离的函数的值，
4.根据权利要求1所述的系统，其中，针对所述特征图中的每个输入元素生成所述相应输出元素包括：
5.根据权利要求4所述的系统，其中，并行地生成用于子输入元素的子输出元素。
6.一种存储指令的一个或多个计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机实现根据权利要求1-5中的任一项所述系统中的所述计算机视觉神经网络。
7.一种用于使用位置局部自注意力层来处理输入特征图的方法，所述方法包括由根据权利要求1-5中的任一项所述
...【技术特征摘要】
1.一种用于处理图像数据的系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现：
2.根据权利要求1所述的系统，其中，所述位置局部自注意力层还被配置成针对每个相邻元素维持用于所述位置值权重矩阵中的每个位置值权重矩阵的位置系数，
3.根据权利要求1所述的系统，其中，所述位置局部自注意力层被配置成针对每个相邻元素维持相对距离向量，所述相对距离向量具有作为从所述相邻元素到所述输入元素的距离的函数的值，
4.根据权利要求...
【专利技术属性】
技术研发人员：乔纳森·什连斯，阿希什·泰库·瓦斯瓦尼，尼基·J·帕马，普拉伊特·拉马钱德兰，安塞姆·卡里菲尔·列夫斯卡娅，伊万·贝洛，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。