本文摘要：摘要：为了提高虚拟维修训练时零件的定位精度，丰富人机交互功能，反映贴近实际的操作过程，提高操作者的训练质量，基于虚拟现实辅助技术，研究了装配约束感知与建立算法，可实现根据当前的装配状态实时建立正确的装配约束。基于直观性交互建立了导师助教多
摘要：为了提高虚拟维修训练时零件的定位精度，丰富人机交互功能，反映贴近实际的操作过程，提高操作者的训练质量，基于虚拟现实辅助技术，研究了装配约束感知与建立算法，可实现根据当前的装配状态实时建立正确的装配约束。基于直观性交互建立了“导师&助教”多模式指导方法。在Unity3D环境中开发了虚拟手、虚拟工具的无标记交互操作方式，并通过HMD(head-mounteddisplay，头盔显示器)实现虚拟环境的立体可视化。开发了虚拟维修训练系统，并以某型号洗衣机为对象进行了测试。结果表明，该系统不仅可使零件的装配关系定位更加精确，模拟出更真实的拆装过程，还可以通过直观性交互帮助操作者更好地完成任务，消除了实装训练的不足，大大提升了维修训练的效费比。
关键词：虚拟现实辅助;虚拟训练;状态感知;人机交互
装备维修训练是装备全寿命管理的重要环节[1]。机械装备一般结构复杂，装配流程长，维修方式多，而实体样机通常体积和质量较大，故实装维修训练操作困难、成本高，对装备的损伤大，存在较大的安全隐患[2]。虚拟现实具有沉浸感强、直观性好、交互便利的特点[3]。利用虚拟现实技术辅助维修训练，可在虚拟环境中复现维修训练情况，具有高沉浸感，不受时间和空间的限制，可大大提高维修训练的效费比和承训量。维修是使装备保持或恢复到规定状态的一系列活动。典型的维修活动包括7个步骤：准备、诊断(故障检测及隔离)、更换(拆卸及安装)、调整及校准、保养、检验和原件复原[4]。
虚拟现实技术论文投稿刊物：基于虚拟现实技术的模具教学系统研究与开发
由于拆卸及重新安装的时间在整个维修事件所需时间中所占的比重最大，而其他维修活动难以在虚拟环境中实现，所以目前的虚拟维修主要研究零件的拆卸及安装过程[5]。现有的虚拟维修训练系统主要通过动画的形式进行拆装过程演示，未考虑到零件之间的连接和定位关系，无法确定零件装配的正确位置。如：杨俊超等[6]设计的航空装备虚拟维修训练系统虽然具备航空装备维修流程和零件拆卸与装配、故障分析与排除等功能，但零件的拆装是通过动画的自动播放来演示的;杨兆坤等[7]基于“美腾通用平台”，提出了一种沉浸式虚拟维修训练 系统的开发方法，虽然在Unity3D软件中建立了基本维修科目，形成了训练流程，但零件装配过程是通过操作者点击按钮播放动画来展现的。
这些系统都未建立限制零件运动的零件之间的约束关系，无法展现实际的拆装过程。在装备维修训练中，零件数量繁多、型号规格类似、空间布局紧凑且其特征复杂[8]。在实际的维修训练中，教员会对学员的维修操作进行指导，学员也可以通过维修手册学习维修知识。所以，在虚拟维修训练中，须开发指导机制，引导操作者进行装备的维修训练[9]。目前，虚拟维修训练系统的指导方式较少，主要通过图文说明的方式对操作者进行指导性说明。
张玉军等[10]在Unity3D环境中设计开发了沉浸式虚拟维修训练系统，该系统具有基础理论、特情处理等模块，可指导操作者进行维修训练，但图文指导只能通过按钮点击获取，并不能以手势、视线等直观性的交互方式来引导操作者自主获取知识，不能使其在思考中完成任务。基于穿戴式数据服设计的虚拟维修训练系统[11]，是通过有标记式的交互方式获取拆装指导信息，增加了人机交互的额外媒介，可减弱虚拟维修训练的沉浸感。对操作逼真自然的模拟可以有效提高虚拟维修训练质量[12]。
在实际的维修训练中，操作者多用手拾取零件，或用手抓握工具进行零件的拆装。故在虚拟维修训练系统中，模拟操作者使用单双手与零件或工具的自然交互操作十分重要[13]。但目前的操作仿真还不能体现人机的自然交互，如仅使用手柄的人机交互，不能通过虚拟手直接拾取零件，降低了操作真实感。
孔祥杰等[14]通过试验得出，动作捕捉手套在螺钉安装等定位敏感型操作中效率较低，必须双手协同操作才能提高处理复杂任务的效率。郭庆等[15]通过动作捕捉设备采集真实人体的运动数据，将虚拟人作为操作者嵌入虚拟环境中，但是没有对虚拟手操作进行针对性的开发，故不能完成单双手拆装的复杂动作。张玉军等[10]虽然将虚拟手引入虚拟维修训练系统，但仅实现了以简单手势与机器系统交互，并未进行手势识别、虚拟手拾取功能等的研究，故系统的沉浸感和交互性不强。2014年以来，虚拟现实(virtualreality，VR)辅助技术已成为继计算机辅助技术(computeraidedtech‐nology，CAD)后新一代仿真辅助技术[16]。
传统的CAD[17]只是通过设置指令使零件达到最终的安装完成状态，或移除须删除约束的元件的约束，不能体现零件拆装过程;其可视化和交互方法是基于缺乏直观性的二维显示和鼠标/键盘系统，无法获得导致装配错误的装配状态，例如穿透和不合理的装配关系，这些都限制了操作者在维修训练过程中的主动思考。而虚拟现实辅助技术是使用者通过手势、语音等方式与虚拟环境进行交互[18]，人机交互更加自然和谐。空间定位技术则实现了RoomScale(空间范围)级别的VR定位，具有定位精度高、反应速度快和分布式处理等优势[19]。
VR定位系统集成了激光传感器、光敏传感器，具有高精度系统时间分辨率[20]，基于PnP解算原理进行运动物体的姿态估计，可实现运动物体位置的精确求解;具有高刷新率的虚拟显示可实现虚拟物体的立体可视化输出，且图像自然清晰、稳定性好，可表现出零件几何外形特征等关键信息。通过虚拟现实软硬件开发的交互方式可提升交互功能，帮助操作者将所学知识应用于拆装尝试中，启发其更好地完成训练任务。
1装配约束实时感知与建立技术
为了降低定位不精准给零件虚拟维修带来的影响，研究以装配约束关系限制零件自由度的方法。在建立零件多数据信息模型的基础上，借助虚拟现实设备及时更新零件位姿数据，建立零件状态实时感知的装配约束算法，实时感知虚拟环境中的零件状态，分析求解零件之间的位置关系，建立其正确的装配约束，以提升虚拟维修训练的效果。在虚拟维修训练的拆装过程中，为使零件安装在正确的位置，逼真地体现出装配过程，须研究零件的整个装配过程。其中装配关系是装配过程中连接各零件之间的纽带，装配时要进行与装配关系对应的装配操作[21]。
2多模式交互指导方法
操作者佩戴虚拟现实头盔显示器(head-mount‐eddisplay，HMD)进行虚拟维修训练，其视觉观察范围仅为HMD所显示的三维虚拟场景，无法使用现实环境中的维修手册等进行参考，也无法观察到实际指导人员的指导动作。操作者刚进入虚拟环境时，可能因不熟悉场景中的设备、零件而出现操作失误。故须借助虚拟现实软件设计虚拟环境中的指导架构，开发基于“导师&助教”机制的多模式指导方法，使操作者在接受指导时无需借助额外的媒介，而可以通过手势、视线自主与“导师”“助教”交互。这种方式增强了虚拟环境中指导的直观性，帮助操作者在多种引导下快速熟悉虚拟维修训练场景，掌握装备维修技能。
2.1基于手势识别的多模块电子手册的“导师”指导
为了使操作者在HMD显示的三维虚拟环境中直接进行由导师指导的训练，基于层级划分与管理技术，在虚拟环境中对电子手册进行多模块开发，将其作为虚拟维修训练的指导。这种导师指导式训练，基于认知心理学，以影像资料、演示动画和图文说明等在虚拟电子屏上向使用者展示相关信息，可帮助操作者逐步掌握设备的组织结构、拆装步骤、工具仪表使用方法、日常维护保养、典型故障排除和特殊情况处置等，以提高操作者的记忆与认知能力，使操作者在虚拟环境中的维修训练更高效。
为了使操作者可以通过直观性交互控制电子手册，基于虚拟手手势识别开发了交互式操作面板。当手掌面朝向操作者时，可以在虚拟环境中调出该面板，用虚拟手对面板上的按钮进行操作来控制电子手册屏幕。当操作者需要受电子手册指导时，翻转左手至手掌面向自己，便可调出电子手册控制按钮。按钮主要分为四大部分：左右两个按钮分别为前进和后退按钮;上方按钮为场景重置按钮，当装配过程中出现问题时，可按下此按钮返回最初的装配状态;下方按钮的功能，可自行开发。
3虚拟维修训练系统的设计与测试
3.1虚拟维修训练的操作仿真
操作者在真实环境中进行装备维修训练，是通过单双手或使用工具操作零件。为了将真实的维修训练过程在虚拟环境中得到高沉浸感仿真，以虚拟现实多传感器采集的人手位姿数据为基础，将真实的人体运动与虚拟环境中的运动一一映射，开发虚拟手和虚拟工具，实现多种直观性、无标记的交互操作，使操作者能以与真实环境中相同的操作方式处理装备维修训练中的问题。
1)虚拟手无标记交互操作。分析装备维修中人手拾取零件的功能需求，建立适应虚拟维修训练的手势分类，以多LeapMotion(体感控制器)采集并提取的手掌和手指数据为基础，经多LeapMotion数据融合算法处理后，建立手型模型，采用计算2个凸体之间最短距离的相交测试方法，以及虚拟手与工具或零件的多点碰撞检测方法[26]，在Unity3D环境中建立虚拟手模型。在整个装配过程中，人的手部运动可以被系统识别，使其可以逼真地拾取零件，完成复杂的拆装动作。基于接触碰撞的虚拟手交互操作原理如图10所示。2)虚拟工具无标记交互操作。在实际装备维修中，操作者常使用工具辅助维修，如螺栓、螺钉等的拆装须使用扳手。所以，在虚拟环境中，基于手持控制器开发了多种虚拟工具的无标记辅助维修方式。
Vive操控手柄具有多种输入方式，如多功能触摸面板、抓握键、双阶段扳机、系统键和菜单键等，在Unity3D平台中对其控制按钮进行开发，基于按钮等定义的动作来完成多种手势难以完成的交互操作，如按住抓握键可以拾取虚拟手难以拾取的精细零件。在Unity3D环境中建立多种工具模型，如不同规格的扳手，将虚拟环境中的手持控制器替代成不同的工具，操作者可以根据零件的特征，选取相应的工具拾取零件。
4结语
虚拟维修训练系统须满足零件拆装的定位精度需求、维修训练过程中的指导功能需求以及人机交互的直观性需求，反映贴近实际的操作过程，增强虚拟维修训练的沉浸感。本文借助虚拟现实辅助技术的自然直观人机交互、RoomScale(空间范围)级别高精度定位、高稳定性虚拟环境图像立体显示等优势，以零件多数据信息为基础，结合零件之间的装配关系及其对应的装配操作，研究了装配约束识别与建立算法。
通过该算法可以使系统实时感知当前的装配状态，自动在装配位置提供正确的装配约束，提高零件的定位精度，模拟出更真实的拆装过程。建立了基于直观性交互的“导师&助教”指导架构，开发了多模块电子手册和基于视线碰撞信息显示的多模式指导方法，以Unity3D为开发平台，实现了多手势虚拟手、虚拟工具的无标记交互操作方式，并通过HMD将虚拟环境立体可视化，实现了虚拟维修训练系统的设计和实现。
以某型号洗衣机模型为对象，进行了虚拟维修训练系统的测试。测试结果表明，虚拟维修训练系统可以满足虚拟拆装中对零件安装定位精度和人机交互操作的需求，模拟出更逼真的拆装过程，更加贴近于实际维修训练。多种直观性指导方式可以指导操作者更好地完成维修训练任务，使其能在操作尝试中不断丰富维修知识，锻炼维修技能。
参考文献：
[1]徐文胜，武博，蒋坚鸿.武器装备虚拟维修训练系统行为树设计与实[J].系统仿真学报，2018，30(7)：2722-2728.doi：10.16182/j.issn1004731x.joss.201807036XUWen-sheng，WUBo，JIANGJian-hong.Designandrealizationofbehaviortreeinweaponequipmentvirtualmaintenancetrainingsystem[J].JournalofSystemSimu‐lation，2018，30(7)：2722-2728.
[2]刘相，刘玉庆，朱秀庆，等.基于虚拟现实的航天员舱内导航训练方法[J].计算机辅助设计与图形学学报，2017，9(1)：101-107.doi：10.3969/j.issn.1003-9775.2017.01.012
作者：姚寿文1，胡子然1，柳博文2，丁佳1，常富祥1，栗丽辉1
转载请注明来自发表学术论文网：http://www.fbxslw.com/dzlw/26099.html
