【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、机器学习模型，特别是深度神经网络已用于人工智能(ai)和计算机视觉
这些模型在许多任务中表现出了良好的性能，这些任务包括推荐、视觉对象识别、自然语言处理等。
2、模型输入通常被转换为向量表示，以供机器学习模型进行处理。现实世界的任务通常涉及大量具有高基数(即唯一值的数目)的分类输入字段。独热(one-hot)编码是一种用独热向量表示这种分类特征的标准方法。为了减少独热编码的存储成本，机器学习模型可以被配置为首先经由嵌入层将高维稀疏独热向量映射到实值密集嵌入向量。这种嵌入向量随后被用于机器学习模型中以获得所需的模型输出。嵌入向量的学习对于处理精度和存储效率可能很重要。
技术实现思路
【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述正交性度量是基于以下确定的：
3.根据权利要求1或2所述的方法，其中所述机器学习模型还被构建为：用针对所述输入字段的维度掩码对所述嵌入向量进行掩码，并且用所述模型参数值集合对掩码后的所述嵌入向量进行处理，以生成所述模型输出，
4.根据权利要求3所述的方法，其中训练所述机器学习模型包括：
5.根据权利要求4所述的方法，其中在所述第一训练过程中，所述维度掩码被设置为指示所述嵌入向量集合所包括的嵌入元素是重要的并且被保留。
6.根据权利要求4或5所述的方法，其中执行所述第二训练过程包括：迭代地执行以下直到所述第二训练目标函数达到阈值，
7.根据权利要求4至6中任一项所述的方法，其中所述维度掩码包括：与所述嵌入向量集合中每个嵌入向量所包括的多个嵌入元素相对应的多个掩码元素，每个掩码元素具有第一值以指示相对应的所述嵌入元素是重要的并且被保留，或者具有第二值以指示相对应的所述嵌入元素从所述嵌入向量集合中的每个嵌入向量中被剪枝掉。
8.根据权利要求7所
9.根据权利要求8所述的方法，其中所述维度掩码基于以下内容进行更新：
10.根据权利要求4至9中任一项所述的方法，其中训练所述机器学习模型还包括：
11.根据权利要求4至10中任一项所述的方法，还包括：
12.根据权利要求1至11中任一项所述的方法，其中训练所述机器学习模型还包括：
13.一种系统，包括：
14.根据权利要求13所述的系统，其中所述正交性度量是基于以下确定的：
15.根据权利要求13或14所述的系统，其中所述机器学习模型还被构建为：用针对所述输入字段的维度掩码对所述嵌入向量进行掩码，并且用所述模型参数值集合对掩码后的所述嵌入向量进行处理，以生成所述模型输出，
16.根据权利要求15所述的系统，其中训练所述机器学习模型包括：
17.根据权利要求16所述的系统，其中在所述第一训练过程中，所述维度掩码被设置为指示所述嵌入向量集合所包括的嵌入元素是重要的并且被保留。
18.根据权利要求16或17所述的系统，其中所述维度掩码包括：与所述嵌入向量集合中每个嵌入向量所包括的多个嵌入元素相对应的多个掩码元素，每个掩码元素具有第一值以指示相对应的所述嵌入元素是重要的并且被保留，或者具有第二值以指示相对应的所述嵌入元素从所述嵌入向量集合中的每个嵌入向量中被剪枝掉。
19.根据权利要求18所述的系统，其中所述第二训练目标函数还基于具有所述第一值的所述维度掩码中掩码元素的数目与具有所述第一值的掩码元素的目标数目之间的差异。
20.一种非暂时性计算机可读存储介质，存储计算机可读指令，所述计算机可读指令在由计算设备执行时使所述计算设备执行动作，所述动作包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述正交性度量是基于以下确定的：
3.根据权利要求1或2所述的方法，其中所述机器学习模型还被构建为：用针对所述输入字段的维度掩码对所述嵌入向量进行掩码，并且用所述模型参数值集合对掩码后的所述嵌入向量进行处理，以生成所述模型输出，
4.根据权利要求3所述的方法，其中训练所述机器学习模型包括：
5.根据权利要求4所述的方法，其中在所述第一训练过程中，所述维度掩码被设置为指示所述嵌入向量集合所包括的嵌入元素是重要的并且被保留。
6.根据权利要求4或5所述的方法，其中执行所述第二训练过程包括：迭代地执行以下直到所述第二训练目标函数达到阈值，
7.根据权利要求4至6中任一项所述的方法，其中所述维度掩码包括：与所述嵌入向量集合中每个嵌入向量所包括的多个嵌入元素相对应的多个掩码元素，每个掩码元素具有第一值以指示相对应的所述嵌入元素是重要的并且被保留，或者具有第二值以指示相对应的所述嵌入元素从所述嵌入向量集合中的每个嵌入向量中被剪枝掉。
8.根据权利要求7所述的方法，其中所述第二训练目标函数还基于具有所述第一值的所述维度掩码中的掩码元素的数目和具有所述第一值的掩码元素的目标数目之间的差异。
9.根据权利要求8所述的方法，其中所述维度掩码基于以下内容进行更新：
10.根据权利要求4至9中任一项所述的方法，其中训练所述机器学习模型还包括：
11.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。