• 1

  • 2

  • 3

  • 4

主页 > 新闻中心 > 360度视频序列全景图拼接系统的设想取实现

360度视频序列全景图拼接系统的设想取实现


  龙8娱乐[摘 要] 提出了一种视频序列到全景图的快速转换方式。起首对视频进行抽帧, 获得初始帧序列,操纵特征点婚配及RANSAC方式计较帧婚配质量及婚配区域, 拔取婚配质量高的帧进行拼接并通过加权平均法进行图像融合,最初获得全景图。

  凡是制做360度全景图能够利用专业的全景设备间接获取,也可先利用通俗的成像设备拍摄脚够多的具有堆叠区域的图像序列,然后将这些图像拼接构成一幅全景图像。

  因为成本较低,不需要高贵的专业设备,操纵序列图像进行全景图拼接是近年来的研究热点,此中又分为对静态序列图像拼接的研究,以及对视频序列拼接的研究。

  静态图像序列中的每一张图像都是零丁拍摄,可以或许切确设置控焦距、等拍摄参数,因此够获得较好的成像质量,但操做过程却相对复杂。

  视频序列拍摄操做简单,只需利用设备扭转一周,但不克不及精确节制拍摄参数。扭转过程中光源、景物距离的变化,以及拍摄时呈现发抖等环境城市导致视频序列的成像质量较低,给后期拼接工做带来麻烦。

  本文次要研究视频序列的拼接,提出了一种视频序列到全景图的快速转换方式,通过帧的拔取、婚配、拼接等步调生成全景图像。

  目前,用于制做全景图的软件良多,此中较出名的有Helmut Dersch公司开辟的PTGUI以及Pablo dAngelo 为从开辟开源全景摄影图像拼接软件hugin等,这些软件都是基于Helmut Derschs Panorama Tools,通过节制点对静态图像拼接,输出一张更大幅面的全景图像。

  别的还有一些用于制做全景图的手机使用,如操纵视频制做全景图的bubbli,目前该使用只能运转正在系统为ios7以上的设备。

  图像婚配手艺是一种通过对图像内容、特征、布局、关系、纹理及灰度等对应关系,类似性和分歧性的阐发,寻求不异图像方针的方式。目前图像婚配的方式有良多种,按照图像的维数能够分为 2D 和 2D 婚配、2D和 3D 婚配、3D和 3D婚配;按照图像特征提取的条理能够分为基于灰度的婚配、基于特征的婚配。

  基于特征的婚配方式起首正在原始图像中提取特征,然后用类似性怀抱函数和束缚前提确定几何变换,最初将该变换关系感化于待婚配图像。常用的特征婚配基元包罗区域、边缘、轮廓、曲线、乐趣点、颜色、纹理、矩等显著特征,总的归纳综合为点、边缘及面等特征,因为面特征提取过程比力复杂,耗时较多,因而基于特征的婚配算法次要研究操纵点特征和边缘特征进行婚配。

  标准不变特征变换算法,即 SIFT(Scale Invariant Feature Transform)算法是一种提取局部特征的算法,由 David Lowe 于 1999 年提出的一种基于标准空间的,对图像平移、扭转、缩放等特征连结不变的图像局部特征描述子。

  相较于其它特征提取算法,SIFT 算法对亮度变化、标准缩放、扭转、噪声和仿射变换有很好的鲁棒性,特征描述子消息丰硕,性好、算法不变。

  SIFT算法正在标准空间寻找极值点,提取、标准、扭转不变量其构制步调分为标准空间的构制、检测标准空间的极值点、切确确定极值点、特征点标的目的分派、生成特征点描述子五个具体步调。

  1) 以环节点为圆心将环节点邻域扭转 θ,θ 为环节点的梯度从标的目的,从而了扭转的不变性。

  2) 正在扭转后的图像中,以环节的核心取 16×16 的邻域窗口,即为环节点的邻域窗口,每个小格代表环节点邻域窗口中的一个像素,箭头的长度为像素的模值,箭头的标的目的为像素的标的目的,这个标的目的是扭转后的像素标的目的。

  3) 将 16×16 的矩形窗口平均分为 16 个 4×4 个子区域,采用高斯恍惚的方式,然后计较每个区域中 8 个标的目的的梯度累加值。

  4) 获得特征点描述子特征向量,为 4×4×8=128 维向量。颠末以上的变换,SIFT 特征向量曾经剔除了标准变换、旋改变化的影响,接着将特征点描述子进行归一化处置进一步削减光照的影响。此外,为了削减大梯度值的影响,为其设定一个阈值为 0.2,若是向量中某一维的值大于 0.2,则将其沉置为 0.2,并从头进行归一化处置。

  SIFT 算法将待婚配的特征点用 BBF 方式找到 k 个比来邻,然后操纵比来邻比率方式判断特征点的婚配度。比来邻比率方式普遍用于基于特征的图像婚配,该方式简单便利而且比力不变,但婚配的精确率往往不敷抱负。需通过其他方式提高 SIFT 特征点的婚配精度。

  RANSAC 算法是一种鲁棒参数估量方式,它通过迭代的方式对一组不雅测数据集进行数学模子拟合,然后采用随机抽样验证去除噪声点。其长处是靠得住性强、精度高、鲁棒性强,对图像噪声和提取不精确的特征点有健旺的承受能力,并具有较好的剔除误婚配点的能力,SIFT 婚配对通过 RANSAC 几何校验之后能够无效滤除错误婚配,从而使得连系 RANSAC 的 SIFT 的机能愈加优秀,使用更为普遍。

  图像融合是采用某种算法对两幅或多幅图像进行分析处置,最终构成一幅新的图像。按照融合处置所处的阶段分歧,图像的融合处置凡是能够正在三个分歧条理长进行像素级图像融合、特征级图像融合以及决策级图像融合。

  像素级图像融合方式可大体分为七类加权融合和从成分阐发图像融合方式、假彩色图像融合方式、基于马尔可夫随机场的图像融合方式、基于调制的图像融合方式、基于统计的图像融合方式、基于神经收集的图像融合方式以及基于多分辩率分化的图像融合方式。

  此中最间接的融合方式就是对源图像进行加权平均做为融合成果。加权平均运算提高了融合图像的信噪比,但减弱了图像的对比度,正在必然程度上使得图像中的边缘、轮廓变恍惚了。这种方式具有算法简单、融合速度快的长处,合用于序列图像的融合。

  本系统次要为用户供给视频转制全景图的功能,同时还包罗对全景图的办理功能、展现功能以及分享功能。

  默认环境下,全景图片对其他用户不成见,能够将图片添加到共享页面供其他用户利用,也能够打消共享。

  用户交互端担任领受用户请求,向视频转换办事端提交使命,并供给对全景图的办理功能,采用php、html5实现

  视频转换办事端接管用户端提交的使命请求并办理使命队列,完成视频文件到全景图的转换工做,采用c++言语实现,基于opencv库。

  用户提交视频后,交互端先向办事端申请使命独一标识,正在获得标识后完成视频上传工做,向办事端提交使命请求。办事规矩在领受到新使命请求后,先将请求放就请求队列。由使命节制器从队列中取出使命,并启动视频转换法式,完成转换工做,最初将使命成果返馈给交互端。

  视频转全景图的根基思惟就是对视频中的帧进行拼合,然而视频中帧数量庞大,相邻帧之间反复度大,一个时长60秒帧率30fps的视频包含1800个帧,若是对视频中全数帧进行处置,将花费相当长的时间,如许做不只效率低下,并且完全没有需要。

  正在本系统中,输入的视频以匀速扭转一周的体例,正在进行视频转换时,只需要抽取部门帧便可完成拼接工做。

  设置抽取帧数为N,按照视频总帧数算出帧距间隔INTVAL,正在抱负环境下,从第一帧起头,每隔INTVAL抽取一帧取前帧拼合,曲至视频竣事。

  但现实环境下,视频的结果可能并不抱负,等间隔抽取的帧未必是最适合的帧,因而每抽取一帧时,需要对该帧的画面质量以及取前帧的婚配结果进行评估,若是当前帧不克不及达到要求,则需要正在间隔范畴内逐帧回溯寻找更合适的帧。

  起首操纵sift算法别离提取两张A、B的特征点,然后操纵距离比值法筛选婚配点。再操纵RANSAC算法对特征点进行阐发,计较出最佳婚配的变换矩阵H,操纵H对帧B做投影变换,获得B正在A中四个极点的坐标。

  正在进行拼接时,起首调整B的亮度取A婚配,然后按照变换坐标将B投射到A上,沉合部门利用加权平均法进行融合。

  正在对抽取的帧顺次进行拼接后,会获得一幅初始全景图片,对初始全景图进行处置后,将获得最终的全景图像。

  初始全景图首部和尾部会呈现反复区域,因而需要对起始部门和和结尾部门再进行一次婚配,按照获得的变换坐标找到反复区域鸿沟,然后对初始全景图进行裁剪,将反复部门去除。

  正在拼接过程中,因为对帧进行了投影变换,本来矩形图像会出变形变,正在拼接图像的顶部和底部城市呈现空白区域。为了去除这些空白区域,正在每一次拼接完成时,都要记实空白区域的范畴,并通过比力获得空白区域的最大鸿沟值,最初正在生成全景图时,按照最大鸿沟值裁去空白区域。

  本项目研究了从视频序列到360度全景图的转换系统,次要操纵特征婚配等算法实现全景图的转换功能,采用html5手艺实现前端交互功能。

  从所生成的全景图结果看,本系统取专业设备取软件生成还有必然差距,但本系统具有更好的兼容性,操做便利、快速,适合用户的一般性要求。

  中国人来到了太空11月上旬的珠海航展期间,初次对外公开表态的中国空间坐焦点舱展区送来了一位特殊的不雅众,他就是航天豪杰杨利伟。2003年10月15日,杨利伟肩负着祖国和人平易近的沉托出征,去摸索太空。当批示员倒计时口令传来时,杨利伟不由自主地举起左手,向祖国和人平易近敬了个庄沉的军礼。【细致】

  结合国世界地舆消息大会发布配合宣言结合国世界地舆消息大会21日正在浙江德清县落幕,大会就共享数字经济、实现永续成长、扶植聪慧社会、加强国际合做等方面议题构成了诸多共识,告竣并发布了《莫干山宣言:同绘空间蓝图,共建夸姣世界》。【细致】