一种面向多模态的交互式数据标注方法及系统技术方案

本发明专利技术公开了一种面向多模态的交互式数据标注方法及系统，涉及人工智能技术领域。包括：前端数据标注单元，用于获取并完成待标注的任务，得到任务数据，并将任务数据发送至后端数据管理单元；其中，前端数据标注单元包括用户界面模块、数据标注任务模块以及标注模式模块；后端数据管理单元，用于对任务数据以及用户进行管理。本发明专利技术能够解决当下各个数据标注平台或工具在标注数据的模态上的单一性，以及在用户与标注工具上的交互式单一性的问题。提出了多模态的数据标注方式，能够从多个模态数据入手，实现对数据的合理标注，同时利用语音交互式的标注模式，开拓了一种新型的数据标注模式，这能极大地提高标注工具的交互性与便捷性。捷性。捷性。

【技术实现步骤摘要】
一种面向多模态的交互式数据标注方法及系统


[0001]本专利技术涉及人工智能
，特别是指一种面向多模态的交互式数据标注方法及系统。

技术介绍

[0002]在当前大数据的时代背景下，随着深度学习在人工智能领域的普遍推广，无论是在工业界还是学术界，有恰当标签的数据对市场的发展和科研的推进都有重要的作用，因此，数据的整合和标注任务意义重大，一个方便高效的可以即时交互性的数据标注工具有很大的应用前景。值得注意的是，这里指的需要被人工标注标签的数据集大多是非结构化的，类型模态多样（如文本、图像、语音和视频数据）。
[0003]而目前对于海量数据进行人工标注的主流方式大概分为两种：一种是将已有数据外包给数据标注公司（平台）进行标注，另外一种是自己使用开源的数据标注工具对数据进行标注。具体而言，主流的数据标注公司（平台）有亚马逊的SageMaker数据标注平台，“百度众测”标注平台，京东众智数据标注平台，数据堂标注平台，网易众包平台等，这些标注平台拥有庞大的代理商队伍，交付能力较为一流；而主流的数据标注工具有Doccano，Label
‑
studio，Prodigy和Chinese
‑
Annotator等工具，这类标注工具的特点在于大多免费，功能较为齐全，页面简单，可以团队协作，本专利技术与这类数据标注工具最为接近。
[0004]数据标注公司（平台），拥有庞大的代理商队伍，能够及时按期地完成被交付的数据标注任务，但标注数据可能存在信息泄露，质量得不到保证，费用高昂等问题。<br/>[0005]主流的数据标注工具，针对标注的数据模态基本为单一的，即只能标注文本或者图像或者语音或者视频数据，不能针对多个模态数据进行同时标注。举例而言：假设现有一种基于对话场景下的任务——多模态的共指消解任务，该任务的数据标注目标是：给定一张图像，图像的描述文本和对话文本，同时利用鼠标框出文本和图像数据中指代同一对象的区域（文本模态为名词，名词短语或代词等，图像中具体为一区域框）。其次，这些数据标注工具与标注人员的交互模式单一，必须通过鼠标指向某一位置，拖动指定区域进行标注，而非更加方便的进行语音交互标注或者更正数据。因此，现有技术存在数据标注公司（平台）或者标注工具存在的单模态数据标注和交互形式单一的问题。

技术实现思路

[0006]本专利技术针对如何解决当前数据标注公司（平台）或者标注工具存在的单模态数据标注和交互形式单一的问题，提出了本专利技术。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：一方面，本专利技术提供了一种面向多模态的交互式数据标注系统，该系统应用于实现面向多模态的交互式数据标注方法，该系统包括前端数据标注单元以及后端数据管理单元；其中：前端数据标注单元，用于获取并完成待标注的任务，得到任务数据，并将任务数据
发送至后端数据管理单元；其中，前端数据标注单元包括用户界面模块、数据标注任务模块以及标注模式模块。
[0008]后端数据管理单元，用于对任务数据以及用户进行管理；其中，后端数据管理单元包括数据读取与存储模块以及用户管理模块。
[0009]可选地，用户界面模块用于将待标注的任务可视化呈现给标注人员进行任务标注。
[0010]可选地，数据标注任务模块用于将任务划分为单模态数据标注任务或多模态数据标注任务。
[0011]可选地，单模态数据标注任务包括文本分类任务、图像分类任务以及序列标注任务。
[0012]多模态数据标注任务包括文本加语音的标注任务、文本加图像的标注任务以及文本、图像加语音的标注任务。
[0013]可选地，标注模式模块用于供标注人员选择标注模式；其中，标注模式包括传统的鼠标标注模式以及语音标注模式。
[0014]语音标注模式包括标注模式以及纠正模式。
[0015]可选地，数据读取与存储模块用于读取以及存储数据；其中，数据的格式为文本格式；文本格式包括轻量级的数据交换JSON格式和逗号分隔值CSV格式。
[0016]可选地，数据读取与存储模块将图像、语音或视频模态的数据通过相对路径的格式存储于文本格式中。
[0017]可选地，用户管理模块用于成员管理；其中，用户管理模块包括管理员模块、标注成员模块以及审核成员模块。
[0018]管理员模块的权限包括上传与下载数据、分配标注任务、标注数据以及对标注的数据进行审核、打分以及修正。
[0019]标注成员模块的权限包括标注数据。
[0020]审核成员模块的权限包括对标注的数据进行审核、打分以及修正。
[0021]可选地，前端数据标注单元基于Bootstrap工具开发。
[0022]后端数据管理单元基于Django框架的模型
‑
视图
‑
模板MVT模式架构开发。
[0023]另一方面，本专利技术提供了一种面向多模态的交互式数据标注方法，该方法由面向多模态的交互式数据标注系统实现，该系统包括前端数据标注单元以及后端数据管理单元；该方法包括：S1、前端数据标注单元获取并完成待标注的任务，得到任务数据，并将任务数据发送至后端数据管理单元；其中，前端数据标注单元包括用户界面模块、数据标注任务模块以及标注模式模块；S2、后端数据管理单元对任务数据以及用户进行管理；其中，后端数据管理单元包括数据读取与存储模块以及用户管理模块。
[0024]可选地，用户界面模块用于将待标注的任务可视化呈现给标注人员进行任务标注。
[0025]可选地，数据标注任务模块用于将任务划分为单模态数据标注任务或多模态数据标注任务。
[0026]可选地，单模态数据标注任务包括文本分类任务、图像分类任务以及序列标注任务。
[0027]多模态数据标注任务包括文本加语音的标注任务、文本加图像的标注任务以及文本、图像加语音的标注任务。
[0028]可选地，标注模式模块用于供标注人员选择标注模式；其中，标注模式包括传统的鼠标标注模式以及语音标注模式。
[0029]语音标注模式包括标注模式以及纠正模式。
[0030]可选地，数据读取与存储模块用于读取以及存储数据；其中，数据的格式为文本格式；文本格式包括轻量级的数据交换JSON格式和逗号分隔值CSV格式。
[0031]可选地，数据读取与存储模块将图像、语音或视频模态的数据通过相对路径的格式存储于文本格式中。
[0032]可选地，用户管理模块用于成员管理；其中，用户管理模块包括管理员模块、标注成员模块以及审核成员模块。
[0033]管理员模块的权限包括上传与下载数据、分配标注任务、标注数据以及对标注的数据进行审核、打分以及修正。
[0034]标注成员模块的权限包括标注数据。
[0035]审核成员模块的权限包括对标注的数据进行审核、打分以及修正。
[0036]可选地，前端数据标注单元基于Bootstrap工具开发。
[0037]后端数据管理单元基于Django框架的模型
...

【技术保护点】

【技术特征摘要】
1.一种面向多模态的交互式数据标注系统，其特征在于，所述系统包括前端数据标注单元以及后端数据管理单元；其中：所述前端数据标注单元，用于获取并完成待标注的任务，得到任务数据，并将所述任务数据发送至所述后端数据管理单元；其中，所述前端数据标注单元包括用户界面模块、数据标注任务模块以及标注模式模块；所述后端数据管理单元，用于对所述任务数据以及用户进行管理；其中，所述后端数据管理单元包括数据读取与存储模块以及用户管理模块。2.根据权利要求1所述的系统，其特征在于，所述用户界面模块用于将待标注的任务可视化呈现给标注人员进行任务标注。3.根据权利要求1所述的系统，其特征在于，所述数据标注任务模块用于将任务划分为单模态数据标注任务或多模态数据标注任务。4.根据权利要求3所述的系统，其特征在于，所述单模态数据标注任务包括文本分类任务、图像分类任务以及序列标注任务；所述多模态数据标注任务包括文本加语音的标注任务、文本加图像的标注任务以及文本、图像加语音的标注任务。5.根据权利要求1所述的系统，其特征在于，所述标注模式模块用于供标注人员选择标注模式；其中，所述标注模式包括传统的鼠标标注模式以及语音标注模式；所述语音标注模式包括标注模式以及纠正模式。6.根据权利要求1所述的系统，其特征在于，所述数据读取与存储模块用于读取以及存储数据；其中，所述数据的格式为文本格式；所述文本格式包括轻量级的数据交换JSON格式和逗...

【专利技术属性】
技术研发人员：张梅山，卢攀忠，孙越恒，
申请(专利权)人：天津大学，
类型：发明
国别省市：