基于三维视频融合的矿山视频监控技术研究

　　摘要传统矿山视频监控存在视频数据量大、视频图像之间关联性差、缺乏与三维空间位置信息的直接联动等问题，监管人员在面对多个碎片化的监控视频图像时难以有效复现场景及位置，这使得突发事件发生时不能及时解决相关问题，严重影响了矿山活动的经济环保和应急救援。针对以上问题，提出一种基于三维视频融合的矿山视频监控方法，利用三维视频融合技术，将实时监控视频作为纹理构建几何体，通过特征点选择、匹配与矿山三维模型进行融合，在此基础上为了使三维视频纹理融合效果更好，采用拉普拉斯网格形变算法对视频几何体纹理的畸变进行校正。试验结果表明，三维视频融合具有较强的视觉观感效果，视频与视频之间相互关联，整合了碎片化的视频，视频与三维模型融合，解决了三维空间数据与视频不联动的问题，弥补了传统视频监管技术的缺陷，丰富了矿山监测的手段。

　　关键词三维可视化三维视频融合矿山视频监控网格形变纹理校正

　　当前智慧矿山正向着安全、高效、绿色的方向发展，对矿山信息的呈现从二维到三维进行转变[1]。视频监控是矿山生产监管的重要手段之一，传统的矿山视频监控技术往往采用平面列表的可视化方式，与三维地理信息结合不紧密，通常采用给视频编号的方式记录其摄像监控设置的位置，只有熟悉现场的人员才能网络首发时间：2021-12-2710:58:52网络首发地址：https://kns.cnki.net/kcms/detail/34.1055.TD.20211224.1209.002.html对监控区域进行快速的定位，监管效率低，阻碍了智慧矿山的建设[2]。通过融合三维模型地理空间位置信息与实时监控视频，将对矿山风险预测、危机预警、安全监管等方面起到重要的辅助作用。

　　因此，可以使用三维可视化技术对传统矿山视频监控技术进行改进。近年来，诸多学者对矿山的三维可视化技术进行了大量研究。如：周羽结合地表建模及可叠加遥感技术对矿山进行了全方位的立体建模，实现了地上地下一体化显示[3];李昀等基于WebGL构建了三维矿山巷道系统的架构，实现了三维巷道可视化、二维三维一体显示和路径分析应用功能[4];黄青青等设计了基于Unity3D平台实现了对大孤山露天铁矿的三维可视化，真实地展示了大孤山露天铁矿复杂的矿岩关系和时空关系，增强了三维立体直观的表现[5]。

　　上述研究对矿山的三维可视化技术进行了完善，将矿山数据与三维地理信息相结合，进行了可视化的展示，增强了虚拟三维场景的真实性，为矿山的开发管理和日常调度提供依据，但是这些研究都未能结合实时的矿山生产数据，矿山生产变化快，时效性强，空间位置信息不断变化，这些研究利用已有的数据进行三维可视化展示，缺乏时效性，往往只具有展示的作用，将实时的数据进行三维可视化能帮助管理人员对矿山生产的突发事件进行及时的处理，能在实质上提升管理效率、保障生产安全。一些其他领域的学者尝试将三维模型与实时的视频进行融合，产生了三维视频融合技术[6]。

　　HU利用构建纹理几何体的方式，将视频图像作为纹理构建几何体，融合到三维模型上[7];DE等采用投影融合的方式，将视频图像投影到三维模型表面[8]。目前三维视频融合技术处在发展阶段，仍存在一些问题需要进一步解决，如：三维模型与视频纹理不契合，摄像机因为拍摄角度出现偏差导致视频图像失真，纹理会产生畸变[9]。针对以上研究存在的不足，本文使用三维可视化技术对传统的矿山视频监控技术进行改进，提出一种基于三维视频融合的矿山视频监控技术，通过构建纹理几何体的方式，将实时监控视频与矿山三维模型进行融合。

　　构建纹理几何体的方式相较于投影融合的方式优势在于：当视频数量过多时采用投影融合的方法会影响着色器执行，当接入多视频时用构建纹理几何体的方式进行三维视频融合稳定性更高。因此，本文采用了构建视频纹理几何体的方式进行三维视频融合，三维场景漫游更稳定，同时针对视频纹理畸变的问题，本文使用了拉普拉斯网格形变算法对纹理畸变进行校正，使三维视频融合更贴近矿山真实的生产环境。

　　1技术路线

　　本研究提出的矿山视频监控技术基于三维视频融合思路，其技术路线主要分为构建矿山三维模型、获取矿山实时监控视频、搭建三维场景3个部分。

　　1.1矿山三维模型构建

　　矿山三维建模步骤为：①利用无人机倾斜摄影技术，收集矿山现场数据[10];①使用contextcapture软件针对视频监控区域进行初步建模;①由于无人机倾斜摄影测量技术对于精细物体的建模效果不佳，通过3DStudioMax软件对三维模型进行细部的修正，优化模型细节，为视频融合提供三维模型基础。对模型缺损或存在悬浮物的部分进行了修正、优化。

　　1.2矿山实时监控视频获取

　　摄像机采集实时视频图像与磁盘相互连接，对视频进行同步存储。摄像机采集的原始视频通过编码器转为网络传输格式，发送到流媒体服务器。客户端可以通过流媒体服务器提供的数据传输接口，经过HLS协议获取到视频[11]。

　　1.3三维场景搭建

　　搭建三维场景，导入构建的矿山三维模型，调整模型的位置、角度、大小等参数以符合虚拟现实场景;导入矿山实时视频数据，以视频作为纹理生成视频几何体，对其进行裁切，保留视频图像清晰、光线佳、形变小的部分。最后将模型和视频几何体通过特征点提取、特征点匹配以及纹理畸变校正等步骤实现三维视频融合。

　　2三维视频融合

　　本研究通过构建视频纹理几何体，进行三维视频融合。具体实现步骤为：首先采集三维模型与视频几何体的特征点，确定模型与视频几何体特征点的对应关系;然后对视频区域进行三角网格划分，为纹理校正做准备;最后将模型与视频几何体进行特征点匹配，同时通过拉普拉斯网格形变算法对视频几何体的顶点进行调整[12-14]，对三角网格进行变形处理，从而校正畸变的纹理，实现三维模型与视频的融合。为了提高三维视频融合的渲染效率，摄像机安装位置和镜头角度一旦确定之后不随意更改，可以防止视频几何体拼接处出现错位、减少特征点提取和匹配的计算量，在提取特征点时可以抓取具有代表性的视频画面。

　　2.1特征点提取和匹配

　　本文用SIFT算法采集模型与视频几何体上的特征点，并使用人机交互的方式修正部分点的位置、去除杂乱的点。利用上一步得到的特征点，在视频几何体中添加特征点作为顶点，使用Delaunay三角剖分的方法，对视频几何体进行三角网格的划分，为后续纹理校正做准备。为了使纹理校正时，纹理变化更均匀，在进行三角网格划分时可以采用手动或自动的方式在视频几何体上添加一些非特征点。最后通过模型和视频几何体特征点之间的位置关系，进行特征点的匹配。

　　2.1.1SIFT算法特征点提取

　　SIFT(Scale-invariantfeaturetransform)是一种能检测图像局部特征的算法。视频具有动态性，存在动态变化的物体，并且不同时刻的现场光照强度和天气状况不一样，会影响对视频图像的特征点提取。该算法具有较强的稳定性，能在一定程度上适应图像旋转、尺度和亮度的变化[16]。用SIFT算法对相同区域的三维模型与视频图像进行了特征点提取。

　　借助SIFT算法能快速提取特征点，但进行特征点匹配时要保证模型和视频几何体提取的特征点数量相同，所以还需要通过人机交互的方式剔除杂乱的特征点，调整部分区域特征点的位置，使三维模型和视频几何体的特征点相对应。

　　2.1.2Delaunay三角剖分

　　Delaunay三角剖分是将有限的点集合组成封闭线段平面图。平面图中的边不包括点集的所有端点，线段之间不交叉，在平面图中所有的平面都是三角形平面，且每个三角形平面的合集都为凸包。在进行视频融合时，为了使视频融合效果更佳，视频几何体需经过裁切，去除重叠部分或是图像质量不佳部分，因此视频几何体会被裁切成任意凸多边形或凹多边形。

　　几何体在进行三角剖分时，要保证其轮廓形状不发生改变，需要使用有约束条件的Delaunay三角剖分方法，考虑约束线段即几何体的轮廓线，采用递归割耳法，先将影响区域调整为简单多边形，再递归寻找并割去多边形的耳，最终将影响区域重新三角剖分[15]。将无约束和有约束的Delaunay三角剖分方法对三角网格划分的结果进行对比，三角网格构成了多边形ABFECD，剔除了三角形ADC部分。因此，用有约束条件的Delaunay三角剖分方法能约束三角网格轮廓，该方法能实现对任意轮廓的视频几何体进行三角网格划分。

　　2.2纹理畸变校正

　　特征点匹配的结果容易出现视频纹理畸变的现象，其原因有：①摄像机所拍摄的视频图像会因为透视原理产生离视点近的物体大、离视点远的物体小的现象，因此将视频图像作为纹理与模型融合时会出现纹理不匹配的情况;①三维模型的精度不够高，模型纹理与现实场景有偏差，导致模型与视频图像不契合。本文采用拉普拉斯网格形变算法，从视频几何体的纹理上进行调整，使视频纹理与三维模型更贴合。

　　2.2.1拉普拉斯网格形变定义

　　传统的三维曲面基于笛卡尔坐标系，只能描述每个顶点的空间位置信息，而基于曲面微分表达的方式能够描述包括尺寸和方向在内的局部信息[12]。拉普拉斯坐标能表示点与相邻三角网格点之间的相对位置关系，因此包含了三维曲面的局部特征信息，在进行特征点匹配时，利用拉普拉斯网格形变算法能保持局部纹理细节，减少纹理扭曲。

　　3试验与分析

　　3.1试验数据与环境

　　本研究以武钢资源集团乌龙泉矿业有限公司某露天矿区域为例开展相关试验，通过利用苍穹数码技术股份有限公司的KQGIS软件对采场区域数据进行格式转换、配准和编辑等预处理。试验的硬件环境：显卡：NVIDIAGeForceGTX1660SUPER，运行内存：16GB，操作系统：window10，浏览器：Chrome。

　　3.2试验结果与分析

　　3.2.1稳定性验证

　　文献[18]用投影融合的方法，基于WebGL协议通过CesiumJS接口进行视频融合。为了验证本文方法页面渲染的稳定性，使用CesiumJS接口构建三维场景，记录加载1路到10路视频时页面的帧率变化情况，同时保证视频画面的大小、位置等变量相同，使用投影融合的方法加载视频，记录其帧率变化。

　　页面帧率大于20帧/s时，能实现三维场景的正常漫游，当低于20帧/s时，三维场景会出现明显的延时卡顿现象，因此页面帧率是否大于20帧/s是检验页面渲染稳定性优劣的重要指标。当视频数量大于5时，使用投影融合方法，不能满足三维场景的正常漫游，会出现卡顿现象;而本文方法在视频数量达到10时，其融合帧率为22帧/s，场景仍能实现流畅的渲染;从折线图进行纵向比较，显示使用本文方法加载1到10路视频，页面渲染的帧率均高于使用投影融合方法加载视频的页面帧率。

　　综上可知，投影融合的方法在视频数量少时可以进行三维场景的正常渲染，视频数量过多时则不能满足常规的操作;而本文所采用的三维视频融合方法可稳定的进行三维场景漫游，能满足加载多视频流，对于三维场景中的视频融合具有较强的适用性，更接近虚拟现实的理想化理念。

　　3.2.2优越性验证

　　传统投影融合方法，忽略了纹理的畸变，本研究视频融合方法相较于传统的视频融合方法来说，能有效地进行纹理畸变的校正，使用拉普拉斯网格形变算法解决了因三维模型纹理与视频图像存在差异而产生的不匹配问题，提高了三维视频融合之后的视觉观感效果。拉普拉斯网格形变算法常用于调整三维模型的顶点，约束其局部特征，本研究使用拉普拉斯网格形变算法来调整视频几何体的顶点，对局部纹理特征进行调整，从而实现真实感更佳的三维视频融合。

　　4结论

　　(1)传统的矿山视频监控存在视频数量多、视频图像关联性不强、缺乏三维空间位置信息等问题，这些问题严重影响了智慧矿山的建设。本研究提出的基于三维视频融合的矿山视频监控技术利用三维可视化的方式将视频与三维模型相融合，解决了传统视频监控缺少位置信息的问题，使位置信息与视频紧密联动，有效提高了监管效率。本文方法较以往在三维视频融合的研究相比，渲染稳定性更高，使用拉普拉斯网格形变算法对视频几何体纹理畸变进行校正，实现了融合度的极大提高。(2)本研究方法不足在于，实时视频的动态性降低了特征点的选取效率、影响了特征点的代表性。提高特征点的选取效率和精度，从而提升三维视频融合的效率，是未来的重点研究方向。

　　参考文献：

　　[1]荆永滨，孙光中，毕林.地下金属矿山三维可视化采矿设计研究[J].金属矿山，2017(4)：132-136.JINGYongbin,SUNGuangzhong,BILin.Researchon3Dvisualminingdesignforundergroundmetalmine[J].MetalMine,2017(4):132-136.

　　[2]海云瑞.无人机倾斜摄影与视频融合技术在生态农业园区全景监控中的应用研究[J].宁夏农林科技，2018，59(8)：44-46.HAIYunrui.Theapplicationofunmannedaerialvehicleobliquephotographyandvideofusiontechnologyinpanoramicmonitoringofecologicalagricultureparks[J].NingxiaJournalofAgricultureandForestryScienceandtechnology,2018,59(8):44-46.

　　[3]周羽.铀矿三维可视化技术与实现[J].测绘科学，2017，42(4)：162-167.ZHOUYu.Researchon3Dvisualizationforuraniumdeposit[J].ScienceofSurveyingandMapping,2017,42(4):162-167.

　　[4]李昀，苏小东，董加岩，等.基于WebGL的三维矿山巷道系统研究[J].工矿自动化，2017，43(11)：70-74.LIYun,SUXiaodong,DONGJiayan,etal.Researchonthree-dimensionalmineroadwaysystembasedonWebGL[J].IndustryandMineAutomation,2017,43(11):70-74.

　　作者：苗作华1,2汤阳1任磊1王梦婷1谢媛1战川1李宏亮3

转载请注明来自发表学术论文网：http://www.fbxslw.com/jzlw/29223.html