视频业务处理方法、装置及电子设备制造方法及图纸

本申请提供一种视频业务处理方法、装置及电子设备。方法包括：基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件；基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，所述配置文件记录所述爬虫任务集中的每个爬虫任务对应的账号和进程，其中，所述爬虫任务集中的不同的第一爬虫任务对应的第一账号不相同，所述第一爬虫任务为需要重复登录账号的任务，每个所述第一账号与一个爬虫任务对应，且与所述第一账号对应的爬虫任务为所述第一爬虫任务；根据为所述爬虫任务集中的爬虫任务分配的账号和进程执行所述爬虫任务集中的爬虫任务，能够改善因采集数据速率低导致视频业务监测的效率低的技术问题。

【技术实现步骤摘要】
视频业务处理方法、装置及电子设备
本专利技术涉及通信数据处理
，具体而言，涉及一种视频业务处理方法、装置及电子设备。
技术介绍
交互式网络电视(InternetProtocolTelevision，IPTV)是在宽带网络IP架构基础上实现多媒体视频节目互动传播的方式，用户可以通过“机顶盒+电视”的方式获得IPTV服务。电子节目指南(ElectronicProgrammerGuide，EPG)，提供节目导视信息，是IPTV的一个门户系统，IPTV所提供的各种视频业务和所有的导航都是通过EPG系统来完成的。EPG数据关系到用户的体验，若EPG数据出错，将会影响整个数字电视业务，因此需要对EPG数据进行监测。在现有技术中，通常通过网络爬虫对EPG数据进行全覆盖的采集，由于EPG数据量巨大、采集数据的速率低导致视频业务监测的效率低。
技术实现思路
本申请提供一种视频业务处理方法、装置及电子设备。为了实现上述目的，本申请实施例所提供的技术方案如下所示：第一方面，本申请实施例提供一种视频业务处理方法，所述方法包括：基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件；基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，所述配置文件记录所述爬虫任务集中的每个爬虫任务对应的账号和进程，其中，所述爬虫任务集中的不同的第一爬虫任务对应的第一账号不相同，所述第一爬虫任务为需要重复登录账号的任务，每个所述第一账号与一个爬虫任务对应，且与所述第一账号对应的爬虫任务为所述第一爬虫任务；根据为所述爬虫任务集中的爬虫任务分配的账号和进程执行所述爬虫任务集中的爬虫任务。在本实施例提供的方法中，通过将需要重复登录账号的爬虫任务分配至独立的账号及进程来处理，使得需要重复登录账号的爬虫任务能单独被执行，一方面能够改善因爬虫任务在执行过程中需要重复登录而影响共用同一个账号的其他第一爬虫任务正常执行的技术问题，另一方面，能够提高爬虫任务获取数据的效率，从而改善因采集数据速率低导致视频业务监测的效率低的技术问题。结合第一方面，在一些可选的实施方式中，在基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件之前，所述方法还包括：根据预先获取的爬虫任务、账户、进程，创建表征每个所述第一爬虫任务与一个所述第一账号相关联的第一关联关系、不需要重复登录账号的第二爬虫任务与至少一个第二账号相关联的第二关联关系，以及表征每个所述第一账号与一个第一进程相关联、所述第二账号与预设的第二进程相关联的第三关联关系；基于所述第一关联关系、所述第二关联关系及所述第三关联关系创建所述配置文件。在本实施例提供的方法中，通过预先获取的爬虫任务、账户、进程创建新的配置文件，该配置文件中不同类型的爬虫任务使用不同的账号关联策略，以避免执行任务时需反复登录账号的爬虫任务之间、需反复登录账号的爬虫任务和其他爬虫任务之间共用同一个账号，消除了执行反复登录账号的爬虫任务对其他任务的影响，从而提高了数据采集效率。结合第一方面，在一些可选的实施方式中，基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，包括：判断所述爬虫任务集中是否存在所述第一爬虫任务或第二爬虫任务；在所述爬虫任务集中存在所述第一爬虫任务时，基于所述配置文件将每个所述第一爬虫任务分配至一个所述第一进程，一个所述第一进程与一个所述第一账号相对应，且一个所述第一账号与一个所述第一爬虫任务相对应；在所述爬虫任务集中存在所述第二爬虫任务时，基于所述配置文件将所有所述第二爬虫任务分配至至少一个所述第二进程，所述至少一个所述第二进程与一个预设的第二账号相对应，一个所述第二账号与至少一个所述第二爬虫任务相对应。在本实施例提供的方法中，通过在配置文件中针对不同类型的爬虫任务使用不同的进程分配策略，结合进程和账号的对应关系，以消除相互影响的爬虫任务在同一个进程执行，提高了数据采集的效率。结合第一方面，在一些可选的实施方式中，将所有所述第二爬虫任务分配至至少一个第二进程，包括：将每个所述第二爬虫任务分配至一个所述第二进程，其中，不同的所述第二爬虫任务所分配的所述第二进程不相同。在本实施例提供的方法中，通过各个第二爬虫任务在各自独立的进程中执行，相比于多个第二爬虫任务在同一个独立进程中执行提升了数据采集的效率。结合第一方面，在一些可选的实施方式中，所述配置文件中携带有第一预设标识和/或第二预设标识，所述第一预设标识用于确定所述爬虫任务在执行过程中需要重复登录所述账号；所述第二预设标识用于确定所述爬虫任务在执行过程中不需要重复登录所述账号，还包括：判断所述爬虫任务集中是否存在需要重复登录账号的所述第一爬虫任务或不需要重复登录账号的第二爬虫任务，包括：在所述爬虫任务集中的所述爬虫任务携带的标识为所述第一预设标识时，确定所述爬虫任务集中存在所述第一爬虫任务；在所述爬虫任务集中的所述爬虫任务携带的标识为所述第二预设标识时，确定所述爬虫任务集中存在所述第二爬虫任务。在本实施例提供的方法中，通过在配置文件中为爬虫任务添加标识以区分是第一爬虫任务还是第二爬虫任务，可以快速判断爬虫任务类型，提高了爬虫任务执行效率。第二方面，本申请还提供一种视频业务处理装置，所述装置包括：获取模块，用于基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件；分配模块，用于基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，所述配置文件记录所述爬虫任务集中的每个爬虫任务对应的账号和进程，其中，所述爬虫任务集中的不同的第一爬虫任务对应的第一账号不相同，所述第一爬虫任务为需要重复登录账号的任务，每个所述第一账号与一个爬虫任务对应，且与所述第一账号对应的爬虫任务为所述第一爬虫任务；执行模块，用于根据为所述爬虫任务集中的爬虫任务分配的账号和进程执行所述爬虫任务集中的爬虫任务。结合第二方面，在一些可选的实施方式中，在获取模块基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件之前，所述装置还包括：关联模块，用于根据预先获取的爬虫任务、账户、进程，创建表征每个所述第一爬虫任务与一个所述第一账号相关联的第一关联关系、不需要重复登录账号的第二爬虫任务与至少一个第二账号相关联的第二关联关系，以及表征每个所述第一账号与一个第一进程相关联、所述第二账号与预设的第二进程相关联的第三关联关系；配置生成模块，用于基于所述第一关联关系、所述第二关联关系及所述第三关联关系创建所述配置文件。结合第二方面，在一些可选的实施方式中，所述分配模块还用于：判断所述爬虫任务集中是否存在所述第一爬虫任务或第二爬虫任务；在所述爬虫任务集中存在所述第一爬虫任务时，基于所述配置文件将每个所述第一爬虫任务分配至一个所述第一进程，一个所述第一进程与一个所述第一账号相对应，且一个所述第一账号与一个所述第一爬虫任务相对应；在所述爬虫任务集中存在所述第二爬虫任务时，基于所述配置文件将所有所述第二爬虫任务分配至至少一个所述第二进程，一个所述第二进程与一个预设的第二账号相对应，一个所述第二账号与至少一个所述第二爬虫任务相对应。结合第二方面，在一些可选的实施方式中，所述分配模块还用于：将每个所述第二爬虫任务分配至一个所述第二进程，其中，不同的所述第二爬虫任务所分配的所述第二进程不本文档来自技高网...

【技术保护点】
1.一种视频业务处理方法，其特征在于，所述方法包括：基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件；基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，所述配置文件记录所述爬虫任务集中的每个爬虫任务对应的账号和进程，其中，所述爬虫任务集中的不同的第一爬虫任务对应的第一账号不相同，所述第一爬虫任务为需要重复登录账号的任务，每个所述第一账号与一个爬虫任务对应，且与所述第一账号对应的爬虫任务为所述第一爬虫任务；根据为所述爬虫任务集中的爬虫任务分配的账号和进程执行所述爬虫任务集中的爬虫任务。

【技术特征摘要】
1.一种视频业务处理方法，其特征在于，所述方法包括：基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件；基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，所述配置文件记录所述爬虫任务集中的每个爬虫任务对应的账号和进程，其中，所述爬虫任务集中的不同的第一爬虫任务对应的第一账号不相同，所述第一爬虫任务为需要重复登录账号的任务，每个所述第一账号与一个爬虫任务对应，且与所述第一账号对应的爬虫任务为所述第一爬虫任务；根据为所述爬虫任务集中的爬虫任务分配的账号和进程执行所述爬虫任务集中的爬虫任务。2.根据权利要求1所述的方法，其特征在于，在基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件之前，所述方法还包括：根据预先获取的爬虫任务、账户、进程，创建表征每个所述第一爬虫任务与一个所述第一账号相关联的第一关联关系、不需要重复登录账号的第二爬虫任务与至少一个第二账号相关联的第二关联关系，以及表征每个所述第一账号与一个第一进程相关联、所述第二账号与预设的第二进程相关联的第三关联关系；基于所述第一关联关系、所述第二关联关系及所述第三关联关系创建所述配置文件。3.根据权利要求2所述的方法，其特征在于，基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，包括：判断所述爬虫任务集中是否存在所述第一爬虫任务或第二爬虫任务；在所述爬虫任务集中存在所述第一爬虫任务时，基于所述配置文件将每个所述第一爬虫任务分配至一个所述第一进程，一个所述第一进程与一个所述第一账号相对应，且一个所述第一账号与一个所述第一爬虫任务相对应；在所述爬虫任务集中存在所述第二爬虫任务时，基于所述配置文件将所有所述第二爬虫任务分配至至少一个所述第二进程，一个所述第二进程与一个预设的第二账号相对应，一个所述第二账号与至少一个所述第二爬虫任务相对应。4.根据权利要求3所述的方法，其特征在于，将所有所述第二爬虫任务分配至至少一个第二进程，包括：将每个所述第二爬虫任务分配至一个所述第二进程，其中，不同的所述第二爬虫任务所分配的所述第二进程不相同。5.根据权利要求3所述的方法，其特征在于，所述配置文件中携带有第一预设标识和/或第二预设标识，所述第一预设标识用于确定所述爬虫任务在执行过程中需要重复登录账号；所述第二预设标识用于确定所述爬虫任务在执行过程中不需要重复登录账号；判断所述爬虫任务集中是否存在需要重复登录账号的所述第一爬虫任务或不需要重复登录账号的第二爬虫任务，包括：在所述爬虫任务集中的所述爬虫任务携带的标识...

【专利技术属性】
技术研发人员：张家斌，张婷，栗阳力，纪军，
申请(专利权)人：北京市博汇科技股份有限公司，
类型：发明
国别省市：北京,11