虚拟动点·虚拟现实产业布局白皮书 2024.docx

《虚拟动点·虚拟现实产业布局白皮书 2024.docx》由会员分享，可在线阅读，更多相关《虚拟动点·虚拟现实产业布局白皮书 2024.docx（78页珍藏版）》请在课桌文档上搜索。

1、利亚德1.三=Jf=FO4点IU油白virtualPoImt虚拟现实产业布局白皮书虚拟动点AI时代虚拟现实产业领创者2023年5月目录前言21 .关于虚拟现实11. 1虚拟现实的概念11.2 虚拟现实产业链21.3虚拟现实的关键技术41. 3.1智能显示：Micro1.ED是VRR的终极显示方案41.3. 2感知交互：自然化、情景化、智能化51.3 .3渲染计算：软硬耦合、质量效率兼顾61.3.4 网络传输：5G+千兆网络支撑虚拟现实全场景应用61.3.5 内容制作：交互性体验和支撑工具快速发展72.虚拟动点关于虚拟现实产业的布局及能力82.1 业务定位与产业布局82. 2虚拟动点的核心能力1

2、02. 2.1空间计算102.2. 1.1光学动作捕捉技术及产品112.3. 2.1.2惯性动作捕捉技术及产品182.4. 1.3光惯融合系统及产品212.5. 2.1.4基于3D深度摄像机的动作捕捉212.6. 1.5表演捕捉系统222. 2.2AI赋能虚拟现实272. 2.2.1数字人交互283. 2.2.2AlGC生成数字人304. 2.2.3AlGC赋能内容制作315. 2.2.4基于RGB摄像机的动作捕捉技术326. 2.2.5建立动作数据资产（交易）平台327. 2.2.6建立动捕技术云平台338. 2.2.7动捕数据赋能AI大模型342.2.3数字李生：可操作+可计算+可视化35

3、2.2.3.1工业元宇宙体系的关键底座362.2.3.2人工智能赋能数字李生城市372.2.4智能显示技术381. 2.4.1Micro1.ED：虚拟现实的终极显示方案382. 2.4.2量子点技术：点亮世界第一款AR/VR用2微米全彩NPQDMicro1.ED阵列413.虚拟动点数字技术赋能虚拟现实商业落地433.1 强国：以作训为主的航空航天、军警安防系统443. 2兴业：以行业为场景的商业应用463. 2.1虚拟现实+工业仿真473. 2.2虚拟现实+影视制作493. 2.3虚拟现实+游戏娱乐543. 2.4虚拟现实+医疗行业553. 2.5虚拟现实+智慧教育593. 2.6虚拟现实+体

4、育训练613. 2.7虚拟现实+展馆展示643. 2.8虚拟现实+文化旅游683. 2.9元宇宙体验馆703.3惠民：智能电视+AI数字人走进家庭724、共建虚拟现实产业生态744.1遍布全球的合作伙伴及营销网络744. 2共建动作捕捉开发生态平台（开发者社区）75参考文献761 .关于虚拟现实1.1 虚拟现实的概念虚拟现实由来已久，钱学森院士称其为“灵境技术”，指采用以计算机技术为核心的现代信息技术生成逼真的视、听、触觉一体化的一定范围的虚拟环境，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得身临其境的感受和体验。随着技术和产业生态的持续发展，虚拟现实的

5、概念不断演进。业界对虚拟现实的研讨不再拘泥于特定终端形态，而是强调关键技术、产业生态与应用落地的融合创新。本书对虚拟(增强)现实(VirtualReality,VR/AugmentedReality,AR)内涵界定是：借助智能显示、感知交互、渲染处理、网络传输和内容制作等新一代信息通信技术，构建身临其境与虚实融合沉浸体验所涉及的产品和服务。扩展现实(EXtendedReality,XR)技术，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是AR、VR、MR等多种形式的统称。三者交互融合，实现虚拟世界与现实世界之间无缝转换的“沉浸感”体验。目前，我国虚拟现实关键技术进

6、一步成熟，在画面质量、图像处理、动作捕捉、3D声场、人体工程等领域有了重大突破，产品供给日益丰富，应用创新生态持续壮大，已形成基本完整的虚拟现实产业链和产业生态，虚拟现实产业市场规模不断扩大，取得了阶段性成果。1.2 虚拟现实产业链虚拟现实产业链条很长，主要分为硬件终端、软件系统、场景应用和内容生产。硬件软件应用内容IIM交互II-JEIII1.-I光学事件*mi电r手势女亘wrrn9MttH4廿，、Uir广，*K大立 S， ft*3Dt-图1：虚拟现实产业链硬件终端方面，主要分为终端外设及关键器件，其中终端外设包括以PC式、一体式、手机伴侣与云化虚拟现实终端，以及手柄、全向跑步机等感知交互外

7、设。关键器件主要包括芯片、屏幕、传感器、光学镜片等。软件系统方面，主要涉及面向虚拟现实的操作系统、开发引擎、SDK、API等开发环境/工具，以及全景相机、3D扫描仪、光场采集设备等音视频采集系统。场景应用方面，聚焦文化娱乐、教育培训、工业生产、医疗健康、商贸创意等领域，呈现出“虚拟现实+”大众与行业应用融合创新的特点。文化娱乐以游戏、视频等强弱交互业务为主，在数量规模上占据主导，商贸创意可有效提升客流量与成交率，主要包括地产、电商、时尚等细分场景，工业生产与医疗健康应用早期局限于培训指导，目前开始逐渐向产品设计、生产制作或临床诊疗等更为核心的业务领域拓展。内容渠道方面，除互联网厂商主导的内容聚

8、合与分发平台外，包含电信运营商发力的电信级云控网联平台，以及自助VR终端机、线下体验店与主题乐园等线下渠道。来源：中国信通院、VRPC整理图2:虚拟(增强)现实产业地图(2020)1.3 虚拟现实的关键技术结合虚拟现实跨界复合的技术特性，可划分为“五横一纵”的技术架构。其中，“五横”是指智能显示、感知交互、网络传输、渲染计算与内容制作，“一纵”是指XR（VR/AR/MR）o1.3.1 智能显示：Micro1.ED是VR/AR的终极显示方案在近眼显示方面，从当前的技术发展上来看，VR/AR显示技术包括O1.ED（有机发光二极管）/1.CoS（硅基液晶）/D1.P（数字光处理）/1.BS（激光束扫

9、描仪）等，但这些技术均无法兼顾成熟性、性能、成本等指标。Miero1.ED是业内公认的最佳解决方案，相较其它技术，MiCro1.ED在亮度、对比度、工作温度范围、刷新率、分辨率、色域、功耗、延时、体积、寿命等多方面具备优势。在屏幕轻薄度方面，Micro1.ED和硅基O1.ED一样都是自发光的方案，同样不需要偏振器，不过由于Miero1.ED顶部只有玻璃基板，并且1.ED芯片尺寸非常小，因此在轻薄度方面更胜一筹Q在光效方面，MiCro1.ED相较于传统1.CD或O1.ED显示器，能够产生更多的“每瓦亮度”。测试数据显示，MiCro1.ED只需要消耗一半的电能，就能够达到硅基O1.ED的亮度。因此

10、，MiCro1.ED可以让AR/VR设备的续航更长久。在显示性能方面，Micro1.ED的分辨率理论上能够达到硅基O1.ED的数倍，可以轻松实现8K显示；MiCrO1.ED的对象切换时间为纳秒级，比微秒级的硅基O1.ED更加出色，完全没有了拖影的问题；Micro1.ED能够实现更高的对比度和屏幕亮度，增强了阳光下的可读性；此外，Miero1.ED的寿命更长，远远超过了硅基O1.ED。当然，还有一点必须要提到的是，MiCro1.ED具有目前已知屏幕方案中最好的透明性，这对于AR设备而言非常重要。目前，市面上已发布的MiCro1.ED智能眼镜产品较少，此类产品大多处于初期开发阶段，MiCro1.E

11、D在良率、量产性、全彩化等方面还有待进一步的发展。此外，虚拟现实对于大场景应用更早落地，其中以利亚德为代表，在大尺寸MiCro1.ED显示端已实现小范围应用。132感知交互：自然化、情景化、智能化当前，手势追踪、眼动追踪、表情追踪、全身动捕、沉浸声场、高精度环境理解、三维重建、肌电传感、气味模拟、虚拟移动、触觉反馈等诸多感知交互技术百花齐放，共存互补，并在各细分场景下呈现相应的比较优势。未来，理想的人机交互可让虚拟现实用户聚焦交互活动本身，而忘记交互界面（手段）的存在，界面愈发“透明”，自然化、情景化与智能化成为感知交互技术发展的主航道。虚拟现实沉浸体验的进阶提升有赖于对视觉、听觉等多感官通道

12、一致性与关联性的强化。而利亚德在全身动作捕捉（面部、手指等）、沉浸声场（声场预测系统、可变声学环境系统、全景多声道系统）等领域技术积累深厚，产业链完整，正积极推动虚拟现实技术商业应用。133渲染计算：软硬耦合、质量效率兼顾不同于影视工业中离线渲染技术对视觉保真度的极致追求，实时渲染主要用于无预定脚本的游戏等强交互应用，为保证渲染速度而在一定程度上对渲染画质做出权衡妥协。V虚拟现实渲染领域的主要技术挑战在于面向传统游戏的上述权衡范式难以直接套用于虚拟现实应用，表现为相比游戏画面的主流渲染要求（如FHD分辨率所须每秒渲染六千万像素并且不高于150毫秒的用户交互时延），虚拟现实渲染负载与MTP时延须

13、提升十倍量级才可达到初级沉浸的入门体验。此外，在跨越了沉浸体验的初始门槛后，渲染质量与效率间的平衡优化成为时下驱动虚拟现实渲染技术新一轮发展的核心动因，即用户需求的持续进阶放大了渲染画质、速度、成本、带宽等多目标规划的求解难度。在智能云控与以人为本的创新架构下，云渲染、人工智能与注视点技术触发虚拟现实渲染计算2.0开启。特别是随着人工智能技术的演进，其正成为虚拟现实渲染质量与效能的倍增器与调和剂。1.3.4网络传输：5G+千兆网络支撑虚拟现实全场景应用2019年5月工信部、国资委共同印发专项行动，确定开展“双G双提”，推动固定宽带和移动宽带双双迈入千兆（G比特）时代，明确提出2019年我国千兆

14、宽带发展的目标，2020年9月，国务院常务会议确定加快新型消费基础设施建设，第五代固定网络（F5G）千兆宽带与5G网络共同构成双千兆接入网络联接，助力千兆城市建设。当前，作为影响虚拟现实体验的关键因素，5G传输网络正不断地探索传输推流、编解码、最低时延路径、高带宽低时延、虚拟现实业务Al识别等新的技术路径，旨在实现无卡顿、无花屏、黑边面积ana小、高清画质切换无感知等用户体验，加速虚拟现实的规模化发展。完佥沈浸XSI分况浸CKNtAt2016mXH62O“20-20212072-2025X2Sfi*三rn4cMAtmMflAMWM来源：华为图3:面向虚拟现实业务的网络传输技术供需匹配情况1.3

15、.5内容制作：交互性体验和支撑工具快速发展从用户与内容应用间的交互程度看，虚拟现实业务可分为弱交互和强交互两类。前者通常以被动观看的全景视频点播、直播为主，后者常见于游戏、互动教育等形式，内容须根据用户输入的交互信息进行实时渲染，自由度、实时性与交互感更强。因此，对于8K分辨率及以上、高动态范围、宽色域、高帧率全景拍摄、高性能拼接缝合、多相机同步、虚拟现实视频与平面视频混合制作等关键技术的研发，以及六自由度摄制、沉浸式音频、全息视频采集制作、渲染引擎、虚拟化身以及基于位置服务的三维数字空间体验等强交互内容生产技术都需要持续突破。2.虚拟动点关于虚拟现实产业的布局及能力2.1 业务定位与产业布局

16、虚拟动点定位于Al时代虚拟现实产业领创者。业务覆盖数字内容制作，机器视觉（动作捕捉）技术与产品，行业/场景虚拟现实解决方案，动作大数据数字资产与云服务、元宇宙体验空间建设等领域。定位：AI时代虚拟现实产业的领创者。特点：基于全球领先的一系列基于空间计算的机器视觉动作捕捉技术，结合AI,大数据，云计算等技术构建虚拟现实产业生态闭环。使命愿景：引领交互，联结虚实；用交互技术构建虚拟现实世界。业务布局：虚拟动点将以A1.机器视觉（动作捕捉）、物联网、大数据、智能显示五大技术形成能力技术底座，完成包括虚拟现实核心技术、标准产品、内容与能力、解决方案与服务等全方位的业务布局，并将与云厂商合作，建立动作数

17、据资产平台与云能力平台，全面拥抱Al与云计算。虚拟现实产业全景图4:虚拟动点虚拟现实产业技术与布局全景图利亚德早在2017年就开始布局虚拟现实产业。通过收购美国NaturalPoint（以下简称NP公司），凭借全球领先的光学动作捕捉技术，利亚德迅速完成VR业务战略布局，成为虚拟现实（元宇宙）产业连续6年盈利且利润最高的公司，并多次入选“中国VR50强企业”，2022年排名第四。2023年利亚德整合全集团的优势资源注入虚拟动点，以虚拟动点为核心，在Al时代，全面进军虚拟现实产业。未来，虚拟动点将与NP公司、孚心科技、德火科技、数虎科技等公司合力发展人工智能、动作捕捉、内容制作、数字李生、虚拟数字

18、人开发等虚拟现实技术，并聚焦虚拟现实新场景和产业应用融合，构建从数据采集、存储到内容加工制作，构建场景化的完整端到端能力，最终通过生态共建，以海量动捕数据赋能Al大模型。2.2 虚拟动点的核心能力2.2.1 空间计算空间计算是麻省理工学院SimonGreenwold在其2003年的论文中引入的一个术语，是一种利用空间数据和算法，对空间信息进行处理和分析的技术。如今，空间计算作为新兴技术领域的重要分支，已经受到越来越多的关注。在空间计算中，位置、形态和体积是三个核心概念。位置是指物体的空间坐标，形态是指物体的外观特征，体积则是指物体所占有的空间大小。空间计算的实用化建立在人工智能（AI）、计算机

19、视觉、芯片与传感器的技术进步之上，它重新定义了人与空间的关系，将虚拟与现实真正融合，为各个领域带来了创新性的解决方案，蕴藏着巨大的产业价值。据国外市场研究机构评估，新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高，空间计算解决方案的需求会产生18.3%的年复合增长率。在增强现实（AR）和虚拟现实（VR）中，空间计算技术起着关键作用，让用户能以三维方式与虚拟或增强的现实环境交互，AR和VR中的空间计算所需的技术包括计算机视觉、位置追踪、物体识别和跟踪、手势识别、深度感知、图形渲染、物理模拟、空间音频等。目前，利亚德旗下虚拟动点在空间计算方向已拥有光学动捕、惯性动捕、基于AI

20、无标记点追踪等一系列基于空间计算的机器视觉动作捕捉技术，其空间计算的布局更多体现在数据采集、位置追踪、物体跟踪、内容制作、设备校准等领域。MAT1.AB以及其他第三方生物力学软件和分析工具。图12:运动分析示意图图13:测力台示意图图14:VisualSD软件界面NP公司还提供了一款运动分析软件STrInSigHt。这是一套完整的、实时的科学和临床三维人体运动分析解决方案。简化的工作流程，可轻松进行标记跟踪、数据收集、实时分析和报告。图15：STTInsight软件界面(3)虚拟现实(VR)：用于CAVE和HMD的低延时VR跟踪。通过优化对虚拟现实跟踪最重要的性能指标，构建了世界上最准确且易于

21、使用的VR跟踪设备。超低延迟体验，使得任何头戴式显示器(HMD)或自动沉浸式环境都可以做到平滑跟踪。U图16:VR大空间多人交互效果图OptiTrack动作捕捉系统提供免费开发工具，如UnrealEngine、Unity、Motionbuilder等插件；NatNetSDK提供了对OptiTrack实时流的免费、开放和有据可查的访问，可轻松集成到一系列跟踪和可视化技术中。流式传输数据采用单播(Unicast)或多播(MUItiCast),一键轴向调整(快速设置Y向上或Z向上)，流式传输到包括VRPN和trackd在内的行业标准中。II$IQIVrpnMAT1.ABHUnrealEngineRU

22、nrtyHMotionBuilder-VRPN图17：免费开发工具【应用案例】OPtiTraCk动作捕捉技术应用广泛，包括影视娱乐、游戏制作、医疗培训、工业仿真、军事训练、工厂模拟规划、电力设施维护等。图18:南省博物馆国宝迷踪VR多人游戏内画面图（4）机器人（RobOtics）:用于无人机、地面和工业机器人的6DoF跟踪。OPtiTraCk采用业界最先进的刚体解算器，可在多个目标的大范围区域内提供完美的6DoF（自由度）数据，是全球首选的机器人准确控制与精确定位的跟踪系统。图19:多刚体在软件中的显示效果【应用案例】Quanser的室内自主多智能体协同控制系统是一个以OPtiTraCk动捕系

23、统为基础，集合无人飞行器和地面移动机器人为一体的多目标教学和研发平台。该平台为广大研究人员提供了一个实现多智能体协调控制的工具，用户很方便地就可以将自己的控制器和算法通过这个平台工具进行实现及验证。三TCTOI图20:多目标教学和研发平台展示(5)影视、动画(FiImandAnimatiOn)：Prime系歹相机和MotiVe软件相结合，产生了世界上最大的捕获量、最精确的3D数据。OptiTrack动作捕捉系统则可以帮助用户优化流程、快速实现影视制作、动画生产。图片来源：美国电影摄影师杂志专栏图21：电影狮子王使用OptiTrack技术跟踪虚拟摄像机2.2.1.2 惯性动作捕捉技术及产品惯性动

24、作捕捉系统主要是将惯性传感器(IMU)绑定在人身体主要骨骼上，如足、小腿、大腿，实时测量出每段骨骼的旋转，利用正向运动学(FOrWardkinematics,FK)和反向运动学(Inversekinematics,IK)实时推导计算出整个人身体的运动参数。惯性传感器主要包括加速度计、陀螺仪、磁力计。其中加速度计、陀螺仪、磁力计多采用MEMS形式，所以称为MEMS惯性传感器。三轴加速度计可以测量载体的三个轴向上的加速度，是一矢量，通过加速度可以计算出载体静止时的倾角。三轴陀螺仪可测量出载体的三个轴向上角速度，通过对角速度积分可以得到角度。三轴磁力计可测量出周围的磁场强度及与地球磁场的夹角。通过融

25、合加速度、角速度、磁力值的数据可以精准的得到载体的旋转。融合后的数据一般用四元数或欧拉角来表示。其中四元数形式如q=勿+W+”,欧拉角包含俯仰角（Piteh）、横滚角（ROI1）、偏航角（Yaw）。得到载体的旋转后再拟合各个骨骼的运动，从而计算出穿戴部位的运动姿态。图22:惯性动作捕捉系统原理图经左校准mw利亚德旗下孚心科技专注于虚拟现实领域的硬件研发，致力于“惯性导航”“惯性动作捕捉系统”的研发，通过研究MEMS惯性传感器开发出低延迟、低功耗、高精度的惯性动作捕捉系统。；目前已发布惯性动作捕捉系统FOheartmagic、FoheartX,数据手套FOHEARTHl,惯性导航及姿态测量Mot

26、ionMarsWl等多款产品，可广泛应用于VR、3D人物动画（动漫、游戏、影视）、运动科学、康复医疗、生物力学研究、体育训练、军事模拟等多个领域图23:惯性传感器的惯性动作捕捉系统穿戴图【应用案例】(1)滑雪运动员动作及位置检测系统滑雪运动员动作及位置监测模块包括雪杖动作姿态监测模块、雪鞋动作姿态监测模块、肌电体温传输模块、主机模块、上位机展示软件共五部分，可以实时采集滑雪运动员的雪杖雪鞋作用力与动作姿态，肌肉电信号与体温，并能够通过无线的方式实时发送到远程上位机。(2)国家田径队运动训练器械传感器技术通过惯性动捕可统计运动员每次投掷或接力结果并自动生成数据分析报告。训练器械传感器测量系统时产

27、生的运动数据，可根据甲方的运动员个人或团队，利用数据挖掘的方法，提取出有效有价值的运动数据，并对数据进行多维度分析和统计，用直观丰富的图表形式将训练、成果展示出来。(3)驱动虚拟人物与VR水枪实时交互通过惯性动作捕捉设备，捕捉人体的实时动作(全身17个节点)，和消防水枪(VR水枪3个节点)的训练动作，实现真实水枪与虚拟水枪的交互，可模拟水枪动作，可切换开关、大小、直流/开花等，水枪自重贴近真实。通过惯性动捕设备驱动人物与VR场景实时交互。2.2.1.3 光惯融合系统及产品利用整合光学动作捕捉系统和惯性动作捕捉系统的部分优势，摒弃二者的劣势，如光学动捕容易受遮挡的影响，无法正确的追踪识别人/物的

28、动作数据，而惯性不受遮挡的影响，容易出现误差累积的问题，利用光学动捕系统估算惯性传感器的偏移误差，通过滤波器对惯性传感器的测量的噪声进行滤波，最终通过kalma滤波器完成数据融合得到目标姿态，当部分光学标记点出现被遮挡时，光惯融合系统将未被遮挡的标记点信息和目标的姿态信息进行融合得到完成的6自由度位姿信息。光惯融合系统一般使用“冰球”传感器，传感器下方有螺丝孔，可以直接放在摄像机或道具上，虚拟动点正在开发更小巧、轻量，便于安装的光惯传感器模块，用于人体关节及物体的追踪和及数据采集。图24:OptiTrack的CinePuck主要用于摄像机的追踪2.2.1.4 基于3D深度摄像机的动作捕捉3D深

29、度摄像机与2D摄像机的区别在于，除了能够获取平面图像外还可以获得深度信息。3D深度技术目前广泛应用在人体步态识别、三维重建、S1.AM等领域。目前主流的3D深度摄像机的技术路线有：(1)双目立体视觉；Q)飞行时间(TimeOffIy,TOF);(3)结构光技术等。双目立体视觉即使用两个2D平面摄像头。两个平面摄像头获得两幅图像，通过两幅图像算出深度信息。飞行时间即由雷达芯片发射出红外激光散点，照射到物体后反射回雷达芯片的时间，由于光速已知，发射返回时间已知即可测量出摄像头距物体的距离，S=C结构光是摄像头发出特定的图案，当被摄物体反射回这一图案时，深度摄像头再次接收这一图案，通过比较发射出的图

30、案和接收的图案从而测量出摄像头距离被摄物体的深度信息。利用结构光方案的产品有微软公司推出的KineCt,其广泛的应用在体感交互、人体骨架识别、步态分析等领域。图25:微软公司的Kinect2.2.1.5表演捕捉系统表演捕捉技术是目前应用最广的应用方式。在影视动画制作、实时直播过程中，单独的身体动作捕捉太过单一，无法满足制作和直播需求，所以在动作捕捉技术基础上增加面部捕捉技术和手指捕捉技术。（一）面部捕捉系统面部捕捉（FaCialCaPtUre）,也被称为“面部表情捕捉（FaCialEXPreSSionGIPtUre)”,它是动作捕捉(MOtionCaPtUre)技术的一部分，指使用相机等设备记

31、录人类面部表情和动作，将之转换为一系列参数数据用于制作动画的过程。与捕捉由关节点构成较为稳定的人体动作相比，面部表情更为细微复杂，对数据精度要求更高。随着技术发展，大部分3D动画、CG电影、大型游戏越来越倾向于，选择捕捉真人面部来完成角色动画的制作。与人为制作的动画角色表情相比，通过捕捉真人面部动作生成的角色会更具真实感。面部捕捉系统多采用计算机图像技术进行面部表情的数据采集，演员需佩戴带有摄像机的头盔，保证摄像机随时采集到演员面部信息,并对面部信息分析最终计算出表情数据驱动角色模型。(1)Facegpod面部捕捉系统Facegpod推出的AVATARY数字人脸全系列软件解决方案，配合FaCC

32、gPod脸部表情数据采集硬件，通过视频采集、脸部数据跟踪分析、驱动及快速绑定等功能，可以高效完成数字人脸高品质内容创作。图26:实时面部捕捉效果展示(2)基于IPhone的面部捕捉系统APP的IPhone手机可提供面部识别和追踪功能，可区分用户面部50多钟特定肌肉的位置、拓扑结构和运动变化,通过EPiCGameS提供的免费IiVelinkFaCe应用程序，在UnreaIEngine引擎中控制复杂的3D角色面部动画，支持手机和引擎中的实时录制。图27:由iPhoneX摄像头实时驱动的面部网格体(二)手指捕捉系统手指是人体最灵活的关节，手指动作在交流和表演中至关重要，手指捕捉系统价格高昂且效果较差

33、，高性价比手指捕捉系统更易受到广大用户的青睐。(1) ManUS手套Manus手套采用全新的量子追踪技术，通过使用亚毫米级精确指尖跟踪传感器提供高保真手指跟踪。这些传感器无漂移不受磁性影响，可提供高度准确和可靠的手指捕捉数据。手指追踪的新标准通过使用精确的量子追踪技术捕捉每一个细节动作，让手指动作捕捉不再有任何限制。在制作动画时节省宝贵的时间，同时再现逼真的手部动作。图28:Manus手套ManUS手套可与目前主流的动作捕捉系统打通，如其专门为OptiTrack动作捕捉系统打造的数据手套，可将实时的手指数据快速传输至Motive软件中，然后将手指数据与OPtiTraCk身体数据一起作为单一来源

34、进行流式传输和导出。(2) StretchSenseStretchSense是新西兰的VR手部捕捉解决方案商，动作捕捉手套采用独特的拉伸传感器和人工智能技术提供非常高品质的手指动作捕捉数据，所需的数据清理工作大大少于光学和惯性动作捕捉系统。新推出的MoCapProFideUty,支持关节测量在内的所有手部运动，而不是采用复杂算法以补偿盲点，这将有助于快速生成高质量的动作捕捉，其包含26个传感器，分布在手指的末梢关节和手腕，可追踪任意的手势运动角度、捕捉更多细节，输出的动捕效果更自然、准确。MoCapProFedelity可提供快速、高质量的手部动捕，将有望为角色动画等场景带来更多可能性。比如，

35、游戏、VFX工作室可以通过实时动捕来控制动画形象。图29:StretchSense手套图30:StrctchSense软件界面展示2021年OptiTrack与StretchSense达成战略合作，将StretchSense手指动作数据直接流式传输到。PtiTraCk软件Motive中，从源头上实现手部和身体数据的融合，实现实时的手指和身体数据，同时使用干净的StretChSenSe手动数据减少后期生产时间，加快项目进度。图31：StretchSense手指数据与motive身体数据的结合展示(3) Fohearhi数据手套FOHEARThi数据手套采用惯性传感器与弯曲传感器相融合的设计方案，

36、常规数据手套具有6个惯性传感器和5个弯曲传感器,提高了捕捉精度；通信采用了2,4GHz5.8GHz双频通信方案，使用过程中不掉线、不丢帧，稳定可靠，低延时性；数据传输帧率达100ms,精准捕捉手指姿态。FOHEARTHl数据手套校准简单，三个简单手势，即可在30秒内完成校准；基于手指姿态算法的迭代更新，新增加了分指功能，大幅提升用户体验感。FOHEARTHl能适配VR头显、HTCVIVEFocus3VR一体机。软件支持录制、回放、导出数据（可导出BVh、FbX等格式），SDK可实时导入第三方软件。数据手套客户端软件有丰富的插件，包括Unity、UE、MOtiOnBUiIder等插件，可满足实时

37、直播场景的应用。图32:FOHEARHl数据手套产品图2.2.2Al赋能虚拟现实AI作为虚拟现实的隐形核心技术，其升级将推动交互方式变革。在VR技术中，实现智能人机交互有三个关键要素多模感知能力、深度理解能力和多维表达能力。精细的多模态、高智慧模型可以帮助VR设备以消费级的成本实现以语音控制为辅，以肢体动作为主的全新交互方式。通过引入多模态识别系统，在语音识别的基础上，结合人脸识别、唇语识别、眼动追踪，把多种维度的感知结合成为多模态系统，从而提升复杂场景识别效果。一方面Al在VR肢体定位和手势交互技术上，让高精度手势识别成为可能；另一方面在内容中，AI可以缩短创作时间，为元宇宙提供底层支持。以

38、虚拟人数字人为例，Al既是其能够感知行为并做出反馈的核心要素，也是其掌握与学习技能的关键所在。此外，3D模型创建属于“劳动密集型”行业，也将受益于AlGC升级。来源：国信证券研究报告图33:AI帮助AR2.2.2.1数字人交互交互技术与人工智能技术是虚拟数字人最核心的技术场景，其中交互技术作为虚拟人的“骨与肉”，人工智能作为虚拟人的“灵魂”，好看的皮囊与有趣的灵魂，二者缺一不可。A、语音识别研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及的领域较多，主要包括机器翻译、机器阅读理解和问答系统等，即转化自然语言数据为电脑语言数据的技术，可帮助人类实现客户服务、知识管理和智能搜索

39、等操作。B、视觉识别使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。这一技术应用于自动驾驶、机器人、智能医疗、智能家居、智慧社区、智能安防等领域，通过计算机视觉技术从视觉信号中提取并处理信息。C、动作捕捉通过捕捉记录演员的面部表情、身体动作等运动轨迹，将其数据转化为CGl角色运动动画的一种技术驱动型方法。动作捕捉技术现如今已经普遍运用在电影、动画以及游戏的制作中。虚拟动点基于全息柜的Al数字人系统，包含数字人渲染、声音识别外放、语音驱动、RGB摄像机识别分析、全息展示等模块，具有声音检测、语音识别、声音合成、N1.P对话等功能，支持实时连接C

40、hatGPT,用户可完成真人实时的语音驱动数字人，还可通过RGB摄像机采集真人动作，实时为数字人驱动赋能，助力数字人完成多场景、多领域应用。图34:湖南卫视你好星期六数字人小漾图35:利亚德旗下数虎图像助力王者荣耀打造首位国风虚拟人“婉儿”同时系统还内置了数字人换装、场景切换、机位切换（包含VR相机视角）、直播推流等功能，丰富的数据资产库为系统展示提供更多的内容支撑。目前市面上同类型软件平台存在诸多问题，如单RGB相机进行半身动作捕捉，同时还伴随着捕捉范围小，捕捉效果不稳定、应用场景单一的局限性；基于惯性动捕设备的系统有误差累计、容易受磁场干扰等问题。而虚拟动点基于光学动捕技术的数字人系统平台

41、，采用红外光学动作捕捉系统，能够实现高精度、低延迟、高鲁棒性的全身动作捕捉，保证数字人的稳定输出，而光学动作捕捉系统的超广范围捕捉也决定了该系统平台可垂直应用到各个领域。系统“傻瓜式”操作可帮助用户快速了解系统的使用，同时通过打造数字与数据资产库，可根据场景适配更好的资产，以满足不用的应用体验。2.2.2.2AIGC生成数字人AIGC(ArtificialIntelligenceGeneratedCharacters)是一种最新的人工智能技术，它可以用于创作高度真实的虚拟数字人，并且可以与人类进行无缝互动。首先，AIGC技术可以帮助虚拟数字人更快地生成和优化。传统的虚拟数字人需要劳动力去设计角色、制作动作等，成本高，效率低。而AIGC通过在大数据解析中学习，可以生成更有生命力的虚拟数字人，并且能够快速调整、优化其形象、性格和行为。使得虚拟数字人变得越来越智能化和真实化，更好地与客户进行交互和沟通，很大程度上降低了虚拟数字人的制作成本和时间成本。其次，A