基于混合现实的对抗模拟训练系统及其关键技术

基于混合现实的对抗模拟训练系统及其关键技术

■ 敬晓玲1 鲍培文1 马永宁2（1.北京特警学院）

（2.江苏前景信息科技有限公司）

摘 要Abstract随着技术的进步和外部环境的变化，对和的训练需求也提出了更高的要求，创新网络化、基地化、模拟化和对抗性训练方法手段是一个必然的趋势。混合现实技术应用与对抗模拟训练系统可以很好的满足这个需求。文中介绍了训练系统的空间建模、单兵精确定位、虚拟弹道仿真、虚拟兵力生成和多人联机技术，概述了系统组成和实现的技术路线，对系统后续的发展提出了建议。With the advancement of technology and changes in the external environment, higher requirements have been placed on the training needs of troops and armed police. It is an inevitable trend to innovate networking, base, simulation, and confrontational training methods. The application of mixed reality technology and the combat simulation training system can well meet this demand. The article introduces the training system's spatial modeling, individual soldier precise positioning, virtual ballistic simulation, virtual force generation and multiplayer online technology, outlines the system composition and technical route of implementation, and proposes suggestions for the subsequent development of the system.关键词Key Words混合现实　　弹道仿真　　虚拟兵力　　对抗模拟训练MR; Ballistic Simulation; Virtual Force; Confrontation Simulation TrainingDoi:10.3969/j.issn.1673-5137.2021.03.004０．　引言

混合现实（Mixed Reality,MR）是一种使真实世界和虚拟物体在同一视觉空间中显示和交互的计算机虚拟现实技术。MR将现实和虚拟世界结合而产生的新的可视化环境。在新的可视化环境里，物理和数字对象共存，并实时互动，是AR、VR技术的阶段性终极形态，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感[1]。实现层面上包括虚拟环境的高效构建、现实环境空间结构的恢复、虚实环境的自然融合以及混合现实支撑软件平台等。

目前MR技术得到了长足的发展，相较于虚拟现实（VR）技术和增强现实（AR）技术，MR技术具备让使用者和虚拟对象实时保持与现实时空之间联系的特点：①使用者在保持MR沉浸式体验和交互的同时，可以接收到现实空间的信息；②虚拟对象可以以现实空间为依靠，并与现实空间进行交互。MR技术在虚实结合场景的应用领域中有着独特的优势，融合了AR和VR的特点[2]。

随着编制改革，特种作战规模显著增加，为进一步满足特种作战训练需求，依据特种作战分队训练大纲训练课目内容[3]，在推进训练场地体系建设的同时，创新网络化、基地化、模拟化和对抗性训练方法手段，整合训练资源，拓展训练功能，完善保障条件，提高训练综合效益。为此，在现有训练环境下使用MR混合现实技术，建设模拟对抗训练系统，依托混合现实环境组织特战分队进行反恐战术行动对抗演练，为特种（反恐）训练提供近似实战的新型训练手段支撑，增强训练的真实性，

图1：混合现实技术概念图

提高训练质量。

PAGE051

Design & Application设计与应用１．　对抗模拟训练系统关键技术（一）空间建模技术

模拟对抗训练系统首先需要对真实的场景进行建模，就是空间建模。空间建模主要采用同步定位与建图（SLAM）技术，也是本系统建设中的一项关键技术，主要用来解决对未知环境进行空间建模和定位等问题[4]。

SLAM技术主要在未知环境中依靠自身所携带的各类传感器获取周围环境的感知信息并创建环境地图[5]，同时利用已创建的环境地图实现自身的可靠定位，这就形成了目标环境的三维地图创建。

相机作为唯一外部传感器的SLAM被称为视觉SLAM。由于相机具有成本低、轻，很容易放到商品硬件上的优点，且图像含有丰富的信息，视觉SLAM得到了巨大的发展。根据采用的视觉传感器不同，可以将视觉SLAM主要分为三类：仅用一个相机作为唯一外部传感器的单目视觉SLAM；基于单目相机与红外传感器结合构成的传感器的RGD-SLAM；使用多个相机作为传感器的立体视觉或深度视觉SLAM，其中双目立体视觉的应用最多[6]。

（二）单兵精确定位技术

模拟对抗训练系统中还需要掌握移动单兵的精确位置信息，这样才能增强训练的真实性，提高训练质量[7]。本系统主要采用物联网技术和惯性导航技术来解决单兵的精确定位问题。通过测量无线信号的特征测量值实现对移动台的定位估计，通过后台解算获得这个移动台精确位置信息。该技术具有潜在的支持高数据速率或系统容量的能力、定位精度高，探测能力强、共享频谱资源、穿透能力强、低截获、抗干扰、保密性好等众多优势。

（三）虚拟弹道仿真技术

模拟对抗训练系统中对弹道的仿真和虚拟化实现也是增强训练的真实性，提高训练质量的关键技术。弹道的仿真和虚拟化实现需要针对不同的装备、地形和气候条件进行研究，是有一定的难度的，也是需要持续加强优化的。本系统中攻克了虚拟弹道仿真技术，可以模拟全天候条件下典型地形的射击环境并通过头盔式显示器、耳机等输出设备输出，射击结果由数据库保存并通过视觉、听觉、触觉的形式输出。

（四）虚拟兵力生成技术

模拟对抗训练系统中对抗模式是典型的红方实兵实装分队与蓝方虚拟敌人所展开的实虚对抗，作战对手完全由计算机模拟生成，并在实景环境下通过混合现实技术予以呈现。虚拟兵力生成技术是指在仿真系统中，利用计算机实现对武器装备和人员的编配建模技术，并能根据训练任务和训练目

标进行调整。虚拟兵力生成技术中任务匹配和实时态势调整算法是系统关键技术之一。

（五）多人联机技术

模拟对抗训练系统中为实现多用户联机训练操作使用了多人战术协同技术，基于Unity3D与Photon引擎搭建的多机多用户模拟训练系统实现了用户数据的持久化、数据更新。同时，用户根据不同需求可以自行选择团队训练或个人训练模式。在团队训练模式下，系统实现了用户间实时数据交换，以达到各用户视图同步的目的，实现了多机多用户的网络通信。

２．　对抗模拟训练系统组成（一）功能组成

对抗模拟训练系统主要由四大部分组成，分别是：MR训练管理、MR训练监视、MR实训、MR训练评估四个子系统。

MR训练管理：训练管理功能为反恐模拟训练准备与实施提供全程管理服务。包含沙盘推演，通过MR终端读取、加载、导入、分类呈现素材库三维模型内容（人物模型、沙盘模型、装备模型、军标符号等）并进行显示，即时呈现在真实空间中。

MR训练监视：训练监控功能是用于组训者对MR反恐模拟训练过程进行监督、导调、控制、记录的应用模块。主要为训练监控操作平台，运用多种监控手段，为对抗模拟训练准备与实施提供全程监控服务。

MR实训：MR对抗体验通过MR终端实现虚实融合遮挡、物联网协同对抗、AI等功能。主要功能有：①虚实融合遮挡功能；②物联网协同对抗功能；③AI功能。

MR训练评估：训练评估功能是实现反恐训练评估的技术支撑，是基于受训对象反恐训练过程和结果着重对单个人员或群队进行作战任务、作战能力以及综合情况分析评估的事后分析系统，包括数据记录、任务评估、能力评估和演练分析等。

具体的系统图如图2所示。

图2：基于MR的对抗模拟训练系统功能图

设计与应用Design & ApplicationPAGE052

（二）技术实现

基于混合现实的对抗模拟训练系统的技术实现路线如图3所示。

实现步骤如下：

（1）画面采集。通过混合现实眼镜上的摄像机采集用户对现实世界的视觉画面,将画面数据传递给眼镜中的增强现实引擎进行处理。

（2）标识定位。通过增强现实引擎对采集画面中的“标识图”进行特征识别。根据标识图的大小和变形等特征,推算出现实中标识图相对于摄像机的位置和角度,从而定位设备整体的位置和角度,并计算出设备每个零件的位置。

（3）叠加虚拟信息。制作虚拟设备的零件模型、标牌、参数等指导信息。根据上一步骤中得到的实物设备零件的位置,将这些信息摆放至虚拟空间中和实物一致的位置。

（4）投影虚拟画面。通过眼镜上的微型投影仪,将虚拟信息投影到用户眼前以45°安装的折射镜片上,使得用户产生虚拟信息叠加在现实中的场景和设备上的错觉。通过偏振光角度使左右眼同时观看2幅不同的图像。左右眼观看到的是2幅同时输出的不间断的图像，不会产生闪烁，彻底消除了闪烁造成的疲劳感，可使受训人员融入在数字环境中，有身临其境的真实感受。

３．　总结

基于混合现实的对抗模拟训练系统，利用MR（混合现实）技术的特点，通过虚实结合、强化训练提高反恐训练效率，结合后台数据分析为研究新型训练模式打下良好基础。系统需要在虚拟弹道仿真技术、虚拟兵力生成技术方面进行深入研究，同时需要与5G等最新的通信和计算技术结合，进一步提升系统效能。

图3：基于MR的对抗模拟训练系统技术框架基于混合现实的对抗模拟训练系统，利用多媒体与计算机技术生成反恐基地三维动态建模，结合虚拟现实3D技术，采用以智能可穿戴硬件为核心的现代高科技手段生成逼真的视、听一体化的特定范围的反恐基地虚拟环境。参训人员以自然的方式与虚拟环境中的对象进行交互作用、相互影响，控制虚拟物体，从而产生亲临等同真实环境的震撼效果，实现信息化的对抗模拟训练。

参考文献[1] 姚岫远.信息化实战推演模块化设计演练方案[J].新安全 东方消防，2014(09):52-53.[2] 陈宝权,秦学英.混合现实中的虚实融合与人机智能交融[J].中国科学：信息科学，2016,46(12):1737-1747.[3] 董子龙.面向增强现实的实时三维跟踪[D].浙江大学，2010.[4] 权美香，朴松昊，李国.视觉SLAM综述[J].智能系统学报，2016,11(06):768-776.[5] 赵洋，刘国良，田国会，罗勇，王梓任，张威，李军伟.基于深度学习的视觉SLAM综述[J].机器人，2017,39(06):8-6.[6] 顾鸿良，朱文华，蔡宝，孙张驰.面向工程训练的混合现实技术开发与应用[J].上海第二工业大学学报，2020,37(02):159-1.[7] 张骥.一种用于混合现实应急演练系统的体验馆:,CN207282036U[P].2018.