近年，随着电视制作手段的不断增加，XR技术 在广电行业逐步推广发展，辽宁广播电视台演播室技 术升级改造后也开始尝试使用。XR技术的应用为节 目画面提供了更加丰富的信息，更加灵活多样的创作 空间，该系统从2022年3月起正式投入使用，录制 卫视频道和体育频道自办节目。节目类型风格迥异， 系统设定也随之改变，在此将我们的使用经验与大家 分享。
随着VR和AR技术不断发展成熟，VR和AR 技术被越来越多的人所熟知，它们在日常生活中广泛 应用并且为人们的生活带来便利和乐趣。目前，虚拟 技术有多种技术路线用于各种不同的应用场景，XR 虚拟技术相较于VR与AR，究竟有什么特点，我们 为什么选择XR？
一 VR、AR、MR、XR四种视频 虚拟技术对比
VR指虚拟现实技术，它利用计算机图形技术通 过佩戴VR设备构建出一个独立的虚拟世界，实现一 种沉浸式体验效果。但是VR设备的画面刷新率、眩 晕等技术问题一直无法改进，导致用户体验感无法得 到跨越式提升。
AR指增强现实技术，又称虚拟前景技术，它将 计算机生成的图像用前景图层形式叠加在实景上。由 于AR图层的遮挡关系，因此只有电视观众可以看到 虚构出的物体，因而更适合应用于体育赛事、综艺晚 会的播出画面使用。
MR指混合现实技术，以LED背景墙和实物置 景构建虚实结合的拍摄环境。LED屏幕内的场景视 角和透视关系随着摄像机的移动而变化，让观众难 以分辨虚拟画面和真实画面的边界。应用于电视制 作却受限于演播室的空间体积因此无法展现其技术 特点。
XR指扩展现实技术，以LED屏幕为电视拍摄 背景，利用摄像机追踪与实时图像渲染技术，使LED 屏幕及屏幕外的虚拟场景实时跟踪摄像机视角，同时 图像合成技术将摄像机拍摄的LED屏幕、真实物体 以及LED屏幕外的虚拟场景进行图像合成，从而营 造出无限空间感的技术。在XR技术的支持下，主持 人可自由地穿梭、游走于层次分明的三维场景中，呈 现出沉浸式的表演，实现虚拟和现实的互动。
辽宁广播电视台采用的XR虚拟技术能够在较 小的真实空间营造出无限的虚拟仿真环境空间感， 更加适合在电视演播室环境下使用，这也是选择 XR沉浸式虚拟技术作为新型演播室发展方向的重 要原因。
二 XR虚拟技术建立沉浸式观看感受的 技术原理
三维模型的二维透视转换是XR虚拟技术贯穿 连通虚拟与现实的桥梁。采用透视投影法和中心投 影法从新构建三维模型的LED显示场景。以图１中 半透明的虚拟LED屏幕为界，场景中的物体如果在 屏幕后则运用“透视投影法”进行图像计算与渲染， 如果在屏幕前则运用“中心投影法”进行图形计算 与渲染。
透视投影法是指当被摄物体发出的光线，穿越 虚拟屏幕到达摄像机的过程中与虚拟屏幕相交，这些 交点会构成一个扭曲变形的图像。但是在标定的角度 上观看LED的显示画面却能够得到更加真实而富有 纵深感的视觉体验。
中心投影 法是指通过标 定拍摄角度和 距离，再结合 LED屏幕的搭 建结构，反求 场景透视关系 并设计LED屏 幕的显示画面， 在标定位置利 用人眼的视觉 误差效果从而 实现模型的3D 显示。
图3左侧画面富有立体感的信箱影像是由右侧 上下两块LED屏幕画面共同显示的结果。可以看 出其本质上更准确的描述是“具有裸眼3D的视觉 效果”，它的实质是平面二维屏幕配合特别制作的 2D视频内容，但却形成超越屏幕限制的3D显示 效果。
另外内凹的LED屏幕结构也使得站在地屏上的 主持人能够更好地融入量身设计的场景之中，成为画 面的一部分，也让电视观众得到了更加沉浸式的观看 体验。
三 XR虚拟系统的硬件架构
辽宁广播电视台XR虚拟制作依据第二部分的 透视原理可以分为MR背景渲染、AR虚拟拓展渲染 两部分。系统架构采用两套实时渲染引擎负责各自的 渲染工作。
1.大屏背景渲染
◆摄像机追踪系统将真实摄像机的实时运动位 置、姿态及镜头参数传输到大屏控制服务器；
◆大屏控制服务器对摄像机空间位置信息进行 实时解析，按照透视关系分析三维场景并将该场景画 面分解映射到三块LED屏幕，再驱动三台实时渲染 引擎渲染该视点的显示画面；
◆大屏渲染服务器接收控制机指令对模型进行 渲染，再将渲染好的虚拟画面输出至三块LED屏幕， 由摄像机完成拍摄。
2.AR虚拟拓展渲染
◆AR控制服务器读取摄像机追踪系统数据，驱 动AR实时渲染引擎生成前景虚拟植入和LED外虚 拟拓展内容的渲染画面；
◆同时AR控制服务器也对该渲染画面进行自 动校正功能，使虚拟扩展画面与LED屏幕显示内容 达到颜色统一、材质统一、灯光统一，实现LED屏 幕内外的无缝衔接；
◆AR渲染服务器根据控制服务器的指令进行模 型渲染，实现大屏“背景”、实拍真实物体、AR“前景” 以及LED虚拟拓展之间的完美融合与组合。
图5是辽宁广播电视台体育频道CBA篮球联赛 的XR演播区，在MR展示区由LED屏幕构成的背 景是镜头中的主要场景，画面中顶棚和左侧是演播室 实景。
四 硬件架构的分析
在XR虚拟系统中LED显示屏是搭建基础， 实时渲染引擎是运算核心，跟踪系统是镜头运动前 提，控制服务器是运行中心。实时渲染引擎需要强 大的运算能力，输出场景分辨率应与LED屏幕点对 点定制。虚拟扩展内容与LED显示内容可以无缝衔 接一体化过渡。控制服务器对实时渲染引擎的实时 控制，能够完美实现对异形显示载体的素材映射及 校正功能。
1.屏幕系统
根据演播室的建筑结构，辽宁广播电视台XR 虚拟系统的LED屏幕采用L形90°直角安装，3块 LED屏幕进行无缝拼接使用。与传统的平面安装方 式相比，夹角的安装形式能在很大程度上减少摩尔 纹的出现。这种屏幕拼接方式能把平面的图像“立 体化”显示出来，把图像显示的方式从一个平面变 成三维空间。
同时，LED需要应对摄像机的全程跟踪拍摄， 屏幕更注重图像的细节表现确保摄像机拍摄的质感 与清晰度。为了达到更好的显示效果，屏幕具备重 高刷新、高灰阶、高动态对比度，以及曲面/转角 平滑过渡。
2.实时渲染引擎
实时渲染引擎接收控制服务 器的指令依靠其强大的运算能力， 实现输出场景分辨率与LED屏 幕点对点映射。虚拟扩展内容与 LED显示内容可以无缝衔接一体 化过渡。
辽宁广播电视台XR系统的 实时渲染服务器采用4台惠普的定 制工作站，3台负责屏幕渲染，一 台负责AR虚拟扩展，所有渲染服 务器的渲染引擎均为UE虚幻引擎 （4.27版本）。场景渲染是通过在 GPU上执行的大规模并行计算来实 现的。UE对于材质、光影和色彩 的实时渲染，能够呈现近乎真实的视 觉效果，让观众体验到更加精彩的影 像世界。
以LED屏幕的三维结构为出发 点，渲染服务器采用分布式设计。3 台渲染服务器分别负责左、右立屏及 地屏的渲染画面输出，保证了屏幕场 景渲染的稳定性。3台渲染工作站还 都安装了帧同步卡来保证LED屏幕渲 染输出的同步性，确保了影像跨屏幕 播放的稳定一致。
AR虚拟扩展及最终播出画面则 由第四台渲染服务器负责输出。
3.跟踪系统
跟踪系统主要涉及摄像机运动的问题。运动镜 头能使得观众产生身临其境的错觉，提高了观众的 参与感。跟踪系统要保证实时传输定位信息并有足 够的精准度，避免屏幕画面的卡顿和丢帧，保证屏 幕与扩展画面运动中的稳定性，扩展画面无错位抖 动等现象。
跟踪系统选用Mo-Sys的光学跟踪系统，采 集包括摄像机运动位移和镜头聚变焦等数据。 Mo-Sys红外摄像机拍摄预先粘贴在演播室屋顶 的反光贴片通过移动红外摄像机计算形成整个演 播室的光学地图，利用光学地图实现对摇臂摄像 机的位置跟踪定位。对于摄像机的推拉变焦则通 过安装在镜头上的传感齿轮实现对摄像机镜头的 参数读取。
Mo-Sys系统通过UDP传输协议将跟踪定位数 据及镜头参数传输到大屏和AR控制服务器，由控制 服务器将物理空间中的位置关系、镜头信息映射到 UE场景中的虚拟摄像机和LED屏幕，这样就可以实 现真实空间与虚拟空间的关联与同步。
4.控制系统
整个XR系统的设备连接、配置、输出、跟踪、 扩展等功能的实现全都依赖于控制系统。控制系统分 为屏幕渲染控制和AR渲染控制两部分，控制数据均 通过网络进行传输。屏幕控制服务器将摄像机的移动 位移、画面信息经过精确计算处理，还原现场投影画 面的正确透视关系，并将透视关系发送给实时渲染引 擎驱动图像输出。AR控制服务器完成前景AR效果 的计算与分析并将图像分析结果传送给实时渲染引擎 驱动图像输出。
屏幕控制服务器负责网络设置、渲染设置、效 果设置、应用配置。主要包括控制数据及媒体数据的 传输工作；调整渲染输出的图像质量；对渲染引擎进 行参数设置，优化图像显示效果；配置信号传输接口， 摄影机跟踪设置。
AR渲染控制负责管理场景中现实增强的物品状 态，是否遮挡主持人和前景功能，包含虚拟拓展、校 准微调、场景调节、同步设置。可以实现羽化的开启 与关闭；调节场景节点参数、跟踪偏移参数、同步矫 正参数；实时调节场景中物品的位置、旋转、缩放参 数，设定物品的显示与隐藏；处理跟踪延时保证运动 画面的稳定。
另外，在屏幕控制服务器中集成了XR播控软 件，在播控界面中可以添加播放素材、编排内容播 出方式、设定取景区域、播放动画、调整屏幕颜色 等编播动作。
五 XR沉浸式虚拟演播室对节目制作形式 的推动
通过分析XR虚拟沉浸式系统的技术特点，可 以看出这种新型的演播室系统相较于 传统演播室或虚拟演播室具有以下方 面的优势。
1.AR植入和虚拟拓展增强节目 的互动性
XR技术支持虚拟场景视频开 窗，满足微博、微信、实时视频等 全媒体信号接入。同时依托辽宁广 播电视台“云平台”项目，实现公 网5G的高速数据传输,使得异地实 时云制作成为现实。主持人与视频 内容的互融互通更能够体现电视节 目实时播出互动性。XR虚拟技术 的综合性，实现前后背景的无缝悬 接，LED屏幕也可以与各种实物道 具搭配，让观众难分真假，达到虚实结合互动的最 佳效果。
2.一次性搭建所见即所得实现场景自由转换
XR沉浸式虚拟演播室只需要搭建一个 “LED箱体”，利用不同风格的虚拟场景就可 满足不同栏目的制作需求。在有限的演播室空间 中，展示空间和主持空间任意转换，拍摄角度的 任意调整，使主持人与表演环境相结合的效果及 时呈现，并且更方便场景创作团队及时修改创作 想法。
3.UI交互成就无限可能
2023年春节期间，辽宁广播电视台第一个虚拟 卡通人物主持人成功上线。虚拟人物的面部表情采集 就是依托UE引擎开放的接口特性，通过Live-link 接口实现了面部表情数据轻量化采集，借助苹果手机 摄像头实时采集被捕捉人物的面部表情数据，并将数 据从手机设备通过局域网实时传送到UE虚幻引擎中 的数字虚拟角色中，实现实时驱动。
六 结语
为谋求先进技术为节目内容赋能， 辽宁广播电视台在节目制作方式上不断 寻求突破，综合各频道栏目节目的制作 特色，采用了XR沉浸式虚拟演播室。 依托完善的系统设计和UE超强的渲染 能力及开放性的结构，XR沉浸式虚拟 演播室开创了一种三维拍摄的演播环 境，实现了真实与虚拟的结合，真正达 到了一景多用并打破了传统演播室的限 制，提升节目制作效率。未来还将不断 尝试开发XR虚拟系统更多的表现形 式，推动辽宁广播电视台沉浸式虚拟技 术逐渐走向成熟。
