信息处理装置(10)取得由设置在包含滑冰场(30)在内的会场内的麦克风(20)收集到的声音信号、以及以能够确定滑冰场(30)上的竞技者(32)的位置的方式拍摄的影像，根据基于声音信号的冰的声音的消失以及恢复，估计竞技者(32)进行的跳跃的离冰时刻以及落冰时刻，使声音信号的时刻信息与影像的时刻信息同步，在通过运动追踪从影像取得的滑冰场(30)上的竞技者(32)的位置的轨迹中，分别确定与离冰时刻对应的位置、以及与落冰时刻对应的位置，由此确定花样滑冰中的跳跃的离冰点以及落冰点。花样滑冰中的跳跃的离冰点以及落冰点。花样滑冰中的跳跃的离冰点以及落冰点。
【技术实现步骤摘要】
【国外来华专利技术】信息处理程序、装置以及方法
[0001]本公开的技术涉及信息处理程序、信息处理装置和信息处理方法。
技术介绍
[0002]以往，根据体育竞技中的影像来确定竞技者的位置、姿势等规定的点、区间。规定的点例如是高尔夫球、棒球、网球等中的对球的击打的瞬间、体操竞技等中的跳跃或着地的瞬间等。
[0003]作为与所述那样的规定的点、区间的确定相关的技术，例如提出了从被摄体的连续的运动中确定决定性瞬间并提取为图像的信息处理装置。该装置接收来自安装在用户或与用户接触的对象上的传感器的传感器数据、以及与传感器数据对应的时刻信息。另外，该装置基于传感器数据以及时刻信息，确定在用户或者对象中产生了规定的运动模式的时刻。然后，该装置根据所确定的时刻，从以规定的时间间隔拍摄到的包含用户或对象的一系列图像中选择1个或多个图像。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2015
‑
82817号公报
技术实现思路
[0007]专利技术所要解决的课题
[0008]作为确定对象的点，设想花样滑冰的跳跃的离冰点以及落冰点的位置。在花样滑冰中，有时在竞技者、或者竞技者所穿戴的服装或鞋上安装传感器等稍微的变化会对跳跃等的精度造成影响。因此，难以应用现有技术来确定花样滑冰中的跳跃的离冰点以及落冰点的位置。
[0009]作为一个方面，所公开的技术的目的在于确定花样滑冰中的跳跃的离冰点和落冰点。
[0010]用于解决课题的手段
[0011]作为一个方式，所公开的技术取得由被设置在包括滑冰场在内的会场内的麦克风所收集到的声音信号、以及拍摄所述滑冰场上的竞技者而得到的第一影像。另外，公开的技术根据基于所述声音信号的冰的声音的消失以及恢复，来估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻。而且，在所公开的技术中，使所述声音信号的时刻信息与所述第一影像的时刻信息同步，并取得基于所述第一影像的、所述滑冰场上的所述竞技者的位置的轨迹。并且，公开的技术中，分别确定所述竞技者的位置的轨迹中与所述离冰时刻对应的位置以及与所述落冰时刻对应的位置。
[0012]专利技术效果
[0013]作为一个方面，具有能够确定花样滑冰中的跳跃的离冰点以及落冰点这样的效果。
附图说明
[0014]图1是示出第一实施方式的信息处理系统的概略结构的框图。
[0015]图2是第一实施方式的信息处理装置的功能框图。
[0016]图3是用于说明离冰时刻和落冰时刻的估计的图。
[0017]图4是用于说明声音信号相对于影像的延迟时间的图。
[0018]图5是用于说明离冰点和落冰点的确定的图。
[0019]图6是用于说明离冰点的确定的详细情况的图。
[0020]图7是表示作为信息处理装置发挥功能的计算机的概略结构的框图。
[0021]图8是示出第一实施方式中的信息处理例程的一例的流程图。
[0022]图9是示出第二实施方式的信息处理系统的概略结构的框图。
[0023]图10是第二实施方式的信息处理装置的功能框图。
[0024]图11是用于说明基准线的确定的图。
[0025]图12是用于说明表示跳跃的区间的第二影像的帧的确定的图。
[0026]图13是用于说明计算冰刀的前端及末端的位置作为规定部位的图。
[0027]图14是表示根据跳跃的区间所包含的各个帧计算出的旋转角度θ的图。
[0028]图15是图14的虚线框所示的部分的放大图。
[0029]图16是示出第二实施方式中的信息处理例程的一例的流程图。
具体实施方式
[0030]以下，参照附图，对公开的技术所涉及的实施方式的一例进行说明。
[0031]<第一实施方式>
[0032]首先，对第一实施方式的信息处理系统的概要进行说明。如图1所示，信息处理系统100包括信息处理装置10、麦克风20和摄像机22。信息处理系统100对从麦克风20输出的声音信号以及从摄像机22输出的影像进行信息处理，并确定竞技者的位置的轨迹上的、从离冰点到落冰点的跳跃的区间。
[0033]麦克风20设置在滑冰场30的冰中。例如，在建造滑冰场30时，通过在铺冰时埋入滑冰场30内，能够将麦克风20设置在冰中。麦克风20收集竞技会场的声音，输出声音信号。通过将麦克风20设置在冰中，在由麦克风20收集的声音信号中包含的声音成分中，表示欢呼、音乐等的声音成分被抑制，表示滑冰场30表面(冰)与滑冰鞋的冰刀的摩擦音的声音成分成为支配性的。所输出的声音信号的各采样点与时刻信息建立对应。滑冰场30的表面(冰)与冰鞋的冰刀之间的摩擦声是冰的声音的一例。
[0034]摄像机22是拍摄能够确定滑冰场30上的竞技者32的位置的影像的、例如运动追踪用的拍摄装置。例如，在会场的天花板、侧壁等设置有多台(例如3台)摄像机22。另外，在图1中，仅图示了1台摄像机22。各摄像机22输出以规定的帧率(例如120fps)拍摄的影像。输出的影像包含多个帧，各帧与时刻信息建立对应。
[0035]如图2所示，信息处理装置10在功能上包括取得部12、估计部14、确定部16和输出部18。
[0036]取得部12取得从麦克风20输出的声音信号、以及从多个摄像机22分别输出的影像。取得部12将取得的声音信号传递给估计部14，将取得的影像传递给确定部16。
[0037]估计部14根据基于声音信号的冰的声音的消失和恢复，估计竞技者进行的跳跃的离冰时刻以及落冰时刻。例如，估计部14基于声音信号的电平成为预先确定的阈值以下的区间，估计竞技者进行的跳跃的离冰时刻以及落冰时刻。这利用了在跳跃开始的离冰时，冰刀与冰的摩擦音消失，在落冰时摩擦音恢复的情况。作为阈值，只要确定大致可视为声音信号消失的值即可。具体而言，如图3所示，估计部14将声音信号成为阈值TH以下的时刻估计为离冰时刻tA。另外，估计部14将成为阈值TH以下的声音信号再次超过阈值TH的时刻估计为落冰时刻tB。
[0038]此外，估计部14也可以基于除去声音信号所包含的规定的频率成分后的声音信号，估计跳跃的离冰时刻tA以及落冰时刻tB。作为规定的频率成分，例如能够设为相当于欢呼、音乐等冰刀与冰的摩擦音以外的声音的频率成分。如上所述，在麦克风20设置于冰中的情况下，欢呼、音乐等冰刀与冰的摩擦音以外的声音被抑制。但是，通过除去与冰刀和冰的摩擦音以外的声音相当的频率成分，能够更高精度地估计跳跃的离冰时刻tA以及落冰时刻tB。此外，在麦克风20设置在不是冰中的会场内的情况下，声音信号中也包含很多欢呼、音乐等，因此，除去规定的频率成分是有效的。估计部14将估计出的跳跃的离冰时刻tA以及落冰时刻tB传递给确定部16。
[0039]确定部16根据从取得部12接收到的影像，通过运动追踪而取得在滑冰场30上的竞技者32的位置的轨迹。例如，确定部16针对由各个摄像本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种信息处理程序，用于使计算机执行处理，所述处理包括：取得声音信号和第一影像，所述声音信号由设置在包括滑冰场在内的会场内的麦克风收集，所述第一影像通过拍摄所述滑冰场上的竞技者而得到；根据基于所述声音信号的冰的声音的消失以及恢复，估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻；以及使所述声音信号的时刻信息与所述第一影像的时刻信息同步，在基于所述第一影像的、所述滑冰场上的所述竞技者的位置的轨迹中，分别确定与所述离冰时刻对应的位置以及与所述落冰时刻对应的位置。2.根据权利要求1所述的信息处理程序，其中，所述轨迹中的所述竞技者的位置是与所述第一影像中所包含的各个帧相对应地取得的，在从与所述离冰时刻的紧前面的时刻信息对应的帧取得的位置和从与所述离冰时刻的紧后面的时刻信息对应的帧取得的位置之间，确定与所述离冰时刻对应的位置，在从与所述落冰时刻的紧前面的时刻信息对应的帧取得的位置和从与所述落冰时刻的紧后面的时刻信息对应的帧取得的位置之间，确定与所述落冰时刻对应的位置。3.根据权利要求1或2所述的信息处理程序，其中，在使所述声音信号的时刻信息与所述第一影像的时刻信息同步时，反映所述声音信号相对于所述第一影像的延迟时间。4.根据权利要求1至3中的任一项所述的信息处理程序，其中，使所述计算机还执行如下处理：输出在表示所述滑冰场的图像上重叠有表示所述竞技者的位置的轨迹的图像、并且用于以与所述轨迹中的其他区间不同的显示方式显示所确定的跳跃的区间的图像数据。5.根据权利要求1至4中的任一项所述的信息处理程序，其中，使所述计算机还执行如下处理：将通过与所述离冰时刻对应的位置和与所述落冰时刻对应的位置的直线确定为用于判定所述跳跃的旋转的基准线。6.根据权利要求5所述的信息处理程序，其中，使所述计算机还执行如下处理：取得以能够确定所述滑冰场上的竞技者以及所述竞技者佩戴的佩戴物的规定部位的3维位置的方式拍摄的第二影像；以及使所述声音信号的时刻信息与所述第二影像的时刻信息同步，基于通过3维图像解析从与所述第二影像所包含的所述跳跃的区间对应的各个帧取得的所述规定部位的3维位置，计算所述规定部位相对于所述基准线的角度。7.根据权利要求6所述的信息处理程序，其中，所述规定部位是能够确定所述竞技者佩戴的冰鞋的冰刀的朝向的部位。8.根据权利要求1至7中的任一项所述的信息处理程序，其中，所述麦克风设置在所述滑冰场的冰中。9.根据权利要求1至8中的任一项所述的信息处理程序，其中，根据除去了所述声音信号所包含的规定的频率成分后的声音信号，估计所述离冰时刻
及所述落冰时刻。10.一种信息处理装置，其包括：取得部，其取得声音信号和第一影像，所述声音信号由设置在包括滑冰场在内的会场内的麦克风收集，所述第一影像通过拍摄所述滑冰场上的竞技者而得到；估计部，其根据基于所述声音信号的冰的声音的消失以及恢复，估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻；以及确定部，其使所述声音信号的时刻信息与所述第一影像的时刻信息同步，在基于所述第一影像的、所述滑冰场上的所述竞技者的位置的轨迹中，分别确定与所述离冰时刻对应的位置以及与所述落冰时刻对应的位置。11.根据权利要求10所述的信息处理装置，其中，所述确定部与所述第一影像中所...
【专利技术属性】
技术研发人员：中村公治，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。