一种渲染输出全景影像的方法、系统及便携式终端技术方案

本发明专利技术适用于图像显示领域，提供了一种渲染输出全景影像的方法、系统及便携式终端。所述方法包括：初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；加载全景影像数据，并建立球模型；将全景影像映射到球模型的球面上；按照刷新时钟，更新姿态传感器的矩阵；接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。本发明专利技术在用户观看全景影像时，可以跟用户交互，使用姿态传感器和手势操作来控制球模型的方向，从而达到更好的用户体验。

Method, system and portable terminal for rendering output panoramic image

The invention is applicable to the field of image display, and provides a method, a system and a portable terminal for rendering an output panoramic image. The method comprises the following steps: initialization of gesture controller and attitude sensor, controller and matrix initialized gesture posture sensor respectively; loading panoramic image data, and establish the sphere model; panoramic images will be mapped to the ball model on the surface of the earth; in accordance with the refresh clock, a new matrix of attitude sensor; receiving a user gesture operation instruction to the original panorama image display, matrix gesture controller calculates a gesture after; the matrix superposition matrix controller after the gesture gestures and real-time attitude sensors; the superimposed matrix acting on the ball model, rendering panoramic images. The invention can interact with the user when the user looks at the panoramic image, and uses the attitude sensor and the gesture operation to control the direction of the ball model so as to achieve a better user experience.

【技术实现步骤摘要】

本专利技术属于图像显示领域，尤其涉及一种渲染输出全景影像的方法、系统及便携式终端。
技术介绍
现有技术观看全景影像通常使用空间三维的球模型，把全景影像映射到球模型的球面上，再使用透视投影的方式，显示到便携式终端的屏幕上。观看全景影像通常需要用户的交互，然而现有技术仅能单独通过手势操作或者陀螺仪来控制全景影像的渲染输出，从而用户体验较差。
技术实现思路
本专利技术的目的在于提供一种渲染输出全景影像的方法、系统及便携式终端，旨在解决现有技术仅能单独通过手势操作或者陀螺仪来控制全景影像的渲染输出，从而用户体验较差的问题。第一方面，本专利技术提供了一种渲染输出全景影像的方法，所述方法包括：初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；加载全景影像数据，并建立球模型；将全景影像映射到球模型的球面上；按照刷新时钟，更新姿态传感器的矩阵；接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。第二方面，本专利技术提供了一种渲染输出全景影像的系统，所述系统包括：初始化模块，用于初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；加载模块，用于加载全景影像数据，并建立球模型；映射模块，用于将全景影像映射到球模型的球面上；更新模块，用于按照刷新时钟，更新姿态传感器的矩阵；计算模块，用于接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；叠加模块，用于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；渲染模块，用于将叠加后的矩阵作用于球模型中，渲染输出全景影像。第三方面，本专利技术提供了一种便携式终端，所述便携式终端包括上述的渲染输出全景影像的系统。在本专利技术中，由于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。因此在用户观看全景影像时，可以跟用户交互，使用姿态传感器和手势操作来控制球模型的方向，从而达到更好的用户体验；还可以把不同的用户操作分离到不同的节点上产生叠加影响，从代码层面说，这样设计更好轻便，耦合度更低，更便于理解，扩展性更强，从用户层面来说，本专利技术能支持姿态传感器与手势操作同时来观看全景影像，能扩展出更多或更好的用户使用方式。附图说明图1是本专利技术实施例一提供的渲染输出全景影像的方法的流程图。图2是本专利技术实施例一中，当父级节点绕X或Y轴旋转90度时的示意图。图3是本专利技术实施例二提供的渲染输出全景影像的系统的功能模块框图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：请参阅图1，本专利技术实施例一提供的渲染输出全景影像的方法包括以下步骤：S101、初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；在本专利技术实施例一，姿态传感器可以是加速度传感器、陀螺仪或磁力计传感器。S102、加载全景影像数据，并建立球模型；S103、将全景影像映射到球模型的球面上；S104、按照刷新时钟，更新姿态传感器的矩阵；例如，刷新时钟可以是每秒60帧。在本专利技术实施例一中，姿态传感器的矩阵是4*4的旋转矩阵(M0)，M0的运算规则是:其中，其中，Position为X,Y,Z三个方向的位移，Scale为X,Y,Z三个方向的缩放值，Rotation为X,Y,Z三个方向的旋转角度。该矩阵的每个变量中，scale值x、y、z均取值为1，position值x、y、z均取值为0，rotation.w是四元数的W标量。上述矩阵是参考便携式终端的横屏方向的，如果要得到兼容便携式终端四个方向的姿态传感器的矩阵R，就需要把矩阵绕Z轴旋转对应的角度，其中angle表示便携式终端方向与便携式终端横向参考的角度。兼容便携式终端四个方向的姿态传感器的矩阵R通过以下方式获得：首先通过旋转轴和旋转角度得到一个四元数，基本旋转轴axis为Z轴(0，0，1)，旋转角度angle分别为(0，-90，-180，-270)，得到四元数q后，需要把四元数转成一个4*4的旋转矩阵(M1)，然后与矩阵(M0)做左乘运算，最后得到兼容便携式终端四个方向的姿态传感器的矩阵R，公式如下：R＝M0*M1S105、接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；在本专利技术实施例一中，手势控制器的矩阵可以由四元数Quaternion(简称q)来表示，公式如下：通过旋转轴axis和绕该轴旋转的角度angle构造一个四元数q：手势控制器的矩阵也可以由欧拉角来表示，通过四元数到欧拉角的转换得到如下:其中的a表示arctan，是一种数学矩阵符号，θ、ψ分别为绕X轴、Y轴、Z轴的旋转角度，分别为Roll(取值范围-90度至90度)、Pitch(取值范围0度至360度)、Yaw(不用取值，因为立体图像观看时，用户不会绕Z轴旋转)。当用户通过屏幕滑动产生屏幕坐标系的x、y方向的位移时，用欧拉角来表示的手势控制器的矩阵如下：其中，θ'、ψ'是指视频或图像相对于坐标系的原始偏转角度，dx是指用户通过屏幕滑动产生屏幕坐标系的x方向的位移，dy是指用户通过屏幕滑动产生屏幕坐标系的y方向的位移，dx改变绕Y轴Pitch角，dy改变绕X轴的Roll角。用四元数来表示的手势控制器的矩阵如下，通过欧拉角到四元数的转换得到q：S106、将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；在本专利技术实施例一中，S106具体包括：预先在球模型上增加一个父级节点，父级节点用于作用姿态传感器，球模型用于作用手势操作；当父级节点的欧拉角(Rotation)发生变化时，根据手势控制器的矩阵与姿态传感器的矩阵的对应关系，得出欧拉角发生变化后的手势控制器的矩阵。手势控制器的矩阵与姿态传感器的矩阵的对应关系具体可以为：欧拉角发生变化后的手势控制器的矩阵等于手势操作后的手势控制器的矩阵左乘姿态传感器的矩阵。举例说明如下：请参阅图2，父级节点的坐标是相对于世界坐标系，与世界坐标系保持一致，而球模型的坐标系经过父级节点的矩阵的影响，会产生变化，如果父级节点绕Y轴旋转90度，则整个球模型坐标系也会绕Y轴旋转90度，这时球模型坐标系与世界坐标系不一致了，X＝Z’，Z＝-X’；而手势操作是相对于空间物体的坐标系的，所以在复合使用时，手势操作只能使用横向滑动，则球模型只能绕Y轴旋转，原因是外部的空间物体的矩阵对绕Y轴没有影响，当父级节点绕X轴旋转90度，Y＝-Z’，Z＝Y’,所以在看底部的时候是绕Z轴旋转的。其中，X’、Y’、Z’是世界坐标系的3条轴，X、Y、Z是空间物体的坐标系的3条轴。S107、将叠加后的矩阵作用于球模型中，渲染输出全景影像。在本专利技术实施例一中，S107具体为：将欧拉角发生变化后的手势控制器的矩阵作用于球模型中，渲染输出全景影像。实施例二：请参阅图3，本专利技术实施例二提供的渲染输出全景影像的系统包括：本文档来自技高网...

【技术保护点】
一种渲染输出全景影像的方法，其特征在于，所述方法包括：初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；加载全景影像数据，并建立球模型；将全景影像映射到球模型的球面上；按照刷新时钟，更新姿态传感器的矩阵；接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。

【技术特征摘要】
1.一种渲染输出全景影像的方法，其特征在于，所述方法包括：初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；加载全景影像数据，并建立球模型；将全景影像映射到球模型的球面上；按照刷新时钟，更新姿态传感器的矩阵；接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。2.如权利要求1所述的方法，其特征在于，所述姿态传感器的矩阵是4*4的旋转矩阵M0，M0的运算规则是：M0=(M00M10M20M30|M01M11M21M31|M02M12M22M32M03M13M23M33)]]>其中，M00M10M20M30=scale.x*(1.0-2.0*(y2+z2))2.0*scale.y*(xy-wz)2.0*scale.z*(xz+wy)0]]>M01M11M21M31=2.0*scale.x*(xy+wz)scale.y*(1.0-2.0*(x2+z2))2.0*scale.z*(yz-wx)0]]>M02M12M22M32=2.0*scale.x*(xz-wy)2.0*scale.y*(yz+wx)scale.z*(1.0-2.0*(x2+y2))0]]>M03M13M23M33=position.xposition.yposition.z1.0]]>x2y2z2λyxzyzwxwywz=rotation.x*rotation.xrotation.y*rotation.yrotation.z*rotation.zrotation.x*rotation.yrotation.x*rotation.zrotation.y*rotation.zrotation.w*rotation.xrotation.w*rotation.yrotation.w*rotation.z]]>其中，Position为X,Y,Z三个方向的位移，Scale为X,Y,Z三个方向的缩放值，Rotation为X,Y,Z三个方向的旋转角度，rotation.w是四元数的W标量。3.如权利要求2所述的方法，其特征在于，所述姿态传感器的矩阵是参考便携式终端的横屏方向的，该矩阵的每个变量中，scale值x、y、z均取值为1，position值x、y、z均取值为0；兼容便携式终端四个方向的姿态传感器的矩阵R通过以下方式获得：首先通过旋转轴和旋转角度得到一个四元数，基本旋转轴axis为Z轴，分别为0、0、1，旋转角度angle分别为0、-90、-180、-270，得到四元数q后，把四元数转成一个4*4的旋转矩阵M1，然后与矩阵M0做左乘运算，最后得到兼容便携式终端四个方向的姿态传感器的矩阵R，公式如下：q=wxyz=cos(angle/180*π/2)sin(angle/180*π/2)*axis.xsin(angle/180*π/2)*axis.ysin(angle/180*π/2)*axis.z]]>M1=1.0-2.0*(y2...

【专利技术属性】
技术研发人员：谢钰铭，彭文学，刘靖康，
申请(专利权)人：深圳岚锋创视网络科技有限公司，
类型：发明
国别省市：广东;44