1 异形屏幕映射技术存在的挑战
随着 LED 技术的创新发展，现代舞台不再局限于静态式舞台和仅能实现简单机械变换的舞台，而是能够通过屏幕的形式将内容以更好的视觉效果展现给观众 [1]。例如，北京 2022 冬奥会展现的冰五环亮相：冰五环的亮相由长方体屏幕和五环形屏幕配合完成。首先长方体屏幕作为“冰块”升起，然后长方体屏幕顶面 LED 播放“激光雕刻”效果的视频，同时长方体屏幕缓慢下落，后方五环形的异形屏幕播放“冰材质”效果，同时缓慢上升。这是一个典型的异形屏幕应用实例。
异形屏幕类型多样，其中常见的包括巨型平面、 CAVE 环境、柱面、球面、环形屏幕等。这些屏幕表面能够覆盖用户更多的视野空间，结合立体影像生成技术和主动立体显示技术为用户提供强烈的沉浸感，能实现更好的舞台效果和观赏体验。然而，异形屏幕映射技术存在如下挑战。
（1）难以制作适配特殊形状屏幕的视频。异形屏幕的空间结构相对复杂，需要对其进行结构分析，然后根据其结构进行分区。为使视频适配异形屏幕，每一个面都需要对应屏幕形状的异形视频。以环形为例，环形 LED 三维结构可以分为正面、背面、内环、外环，分别为 4 个分区。正面、背面需要环形视频；而内环、外环需要长条形视频。一般的视频制作工具不便于处理这种异形视频。
（2）难以将视频数据映射到异形屏幕硬件。为使屏幕正确播放视频，需要使屏幕上的每一个灯珠和视频中的像素位点建立映射关系。通常情况下二维屏幕播放二维的视频，这种映射关系很容易建立。舞台上的异形屏幕是三维空间，视频和屏幕形状也不局限于矩形。因此，制作的视频不能直接通过播控系统播出，需要进行视频和LED 灯珠映射关系构建才能在异形屏幕上得到期望的效果。
（3）难以直观地设计视频和预览效果。即使设计师设计出对应形状的异形视频，视频数据也还是难以直接传输到硬件中正确显示。技术人员知道如何将视频正确显示，但是视频制作不是他们的工作。因此，需要提供一个完善的人机交互接口给设计师，让设计师在无需知道底层原理的情况下，只要按照模板设计出视频，就能预览到模拟效果，同时在实际播出的时候也能够达到预期效果。
异形屏幕的映射技术随着异形屏幕的普及而发展。科技馆常使用的球形 LED 屏幕采用异形伸缩显示技术，此技术首先建立满足人眼空间分辨力的灯珠尺寸、间距、排布等之间的数学关系，然后依据此规则将原视频进行加工，实现视频到屏幕的映射；成都和广州的裸眼 3D 大屏则是利用人的左右眼视差特性，让用户左右眼分别看到所投影的左右眼图像，然后左右眼图像在人大脑中融合成立体图像 [2]。以上属于特殊形式的异形屏幕视频播放，而本文将会进一步提出一种适用于所有异形屏幕的生产播控方法。
2 异形屏幕映射原理及方法
2.1 异形屏幕映射原理
想要设计异形屏幕显示效果并且正确地显示，需要技术人员建立视频与异形屏幕的映射关系并且为设计师提供简单的人机交互接口。
构建异形屏幕映射关系过程的数学表达可以写成如下形式：
D_temp,P_temp=f_BuildMapping（S_msg）
f_BuildMapping 根据屏幕信息，对屏幕进行拓扑展开和分区，其中，参数 S_msg 为屏幕信息集合， D_temp 为视频设计模板， P_temp 为视频播放模板。S_msg 包括异形屏幕的空间拓扑结构、灯珠的物理地址、屏幕摆放的位置和角度等信息。异形屏幕同一个表面的硬件物理地址是连续的，因此 f_BuildMapping 首先分析异形屏幕的空间拓扑结构，对不同表面进行分区处理。视频像素需要与屏幕 LED 灯珠对应才能正确显示，但是在接线的时候并非为每个灯珠单独接一条线，而是一个区域的灯珠共同显示一块视频内容，因此需要按灯组区域对屏幕进行切分。切分之后，再结合预期效果和表面灯组小区域的排布顺序进行分析，计算得到映射公式。由于映射关系可能非常复杂，对设计师提供的原视频提出了严格的格式要求，因此 f_BuildMapping 需要按照此映射公式以及 S_msg 中关于屏幕摆放位置和角度的信息生成视频设计模板 D_temp 提供给设计师，以便设计师进行视频设计；同时生成视频播放模板P_temp 提供给舞台播控人员，包括目标视频命名、播放顺序等信息，以便于播控人员在真实舞台上播放。
将视频设计模板提供给设计师，原视频生成过程的数学表达如下：
V_ori=fDesign（D_temp）
fDesign 提供视频设计模板D_temp，让设计师只需按照模板进行设计创作，无需知道视频后期的切分和拼接过程，就能将设计的视频效果正确显示。设计师进行设计后，提供原视频V_ori，此时原视频仅仅是满足视频设计模板的视频，其特点是简单易懂，便于设计师进行编辑，也便于预览效果，但是还没有与屏幕硬件建立映射关系，需要将原视频通过映射关系转换成目标视频，才可以在屏幕上正确播放。
原视频转换为目标视频的数学表达如下：
V_tar=fMapper （V_ori）
fMapper 根据映射关系，将原视频转 V_or 换成目标视频 V_tar。按照映射公式，将原视频按照屏幕分区和灯组物理地址的顺序进行切割和重新拼接，最终才能在屏幕上正确显示。
视频播放的数学表达如下：
Visual_effect=fPlay（V_tar, P_temp）
fPlay 将目标视频和播放模板 P_temp 一同传递给舞台播控人员，播控人员可以按照播放模板手册上面的要求，正确显示在屏幕上。
2.2 构建异形屏幕映射关系
异形屏幕由多个面的集合组成， S={P1，P2，P3...Pn}，其中，P1，P2...Pn 为不同的面。异形屏幕相同面上的灯珠物理地址是连续的，因此对异形屏幕的空间拓扑结构进行展开，对屏幕的面进行分区处理。建立每一个面和区域的映射关系如下：
LED屏幕一个区域的灯珠共同显示一块视频内容，一个面由多个灯组区域集合组成，Pn={a1，a2，a3...am}，其中，a1，a2 ... am 为不同的灯组区域。一般来说，第一个灯组区域存在于面的边缘，如果当前面是一个封闭的几何结构，则第一个区域一般位于接缝处。按照灯组区域的排布顺序，将一个屏幕的面切割成对应的视频区域，此步骤是为了确定原视频的切割方式。接着需要结合想要的视频效果与按照屏幕摆放信息进行视频区域切割和拼接规则的建立，此步骤是为了对切割后的视频进行正确拼接，使每个面播放的视频在位置和角度上都是正确的。
按照映射规则，能够确定输入视频约束条件D_st 和输出视频约束条件 P_st，其中输入视频约束 D_st 包括对原视频分辨率、图像形式、每个像素的精确描述、有效区和图形对应的屏幕区域编号等内容的约束。输出视频约束 P_st 包括对输出文件、各区文件分辨率、播放位置、播放顺序等内容的约束。
以五环为例，首先对其进行分区操作，展示冰五环的屏幕是 5 个环形的异形屏幕，如图 1 （a）所示，对于每一个环形屏幕，正面、反面、内环和外环分别为一个分区，一共 4 个分区。
接着进行视频区域的切分操作，将每一个环型 LED 屏幕进行分区和展开，对环形的正面、反面、外环和内环分别进行屏幕的分区。从接缝处开始，灯组区域顺时针排布。
五环的接缝处为第一个灯组区域，其余灯组区域依次向后排布，其中每一个小的灯组区域共同播放一个视频。当设计师交付的原视频是一个严格满足格式要求的环形视频，就要对原视频对应的区域进行切分，使每一个灯组区域对应一个切分后的视频。
由图 1（b）可看到五环的接缝处角度各不相同，此现象是由现场施工时布线偏移造成。每个环形屏幕接缝处即为它的灯珠分布起点，接缝处角度不同也导致环形屏幕起点的位置不同，此时如果视频仍以同一个起始位置开始拼接，按照灯组区域排布的顺序依次输入，则会出现 5 个屏幕播放出来的视频呈现一个互不相同的旋转角度。为了纠正此问题，需要对切分后的视频与灯组区域的映射关系进行调整。
重新拼接好的视频能够和屏幕灯组区域满足映射关系，同时能够满足每一个环形屏幕显示的内容都是相同角度，没有偏移。将重新拼接好的视频传输到屏幕硬件中，就能正确显示效果。
3 视频设计模板及播放模板生成
3.1 视频设计模板 D_temp 生成
完成构建视频与硬件的映射关系之后，需要生成每个输入视频的模板 D_temp。视频设计模板满足输入视频约束 D_st，是视频制作公司提供制作原始视频的依据。只要是严格按照此模板制作的视频，就可以正确传入映射程序切分和拼接，然后传入视频播放模板进行播放。
视频设计模板 D_temp 以视频制作手册的形式提供给设计人员，向设计人员提供详细的输入视频约束，包括要求的素材编码、封装格式、帧率、色彩空间、码率、制作模板等。制作模板彩色区域是有效区域，黑色部分为无效区域。设计人员设计好视频效果之后套用在模板上，无效区域视频自动被删去，就形成了一个原视频。原视频的形状与屏幕表面形状相同，方便设计人员直观地设计视频效果。
在此之后，设计人员无需关注制作好的视频如何切分和拼接并与硬件建立映射关系，这些工作由映射程序自动完成。当映射程序完成后续的操作之后将视频在环形屏幕上播放，和设计人员最初设计的环形视频效果一致即可。
3.2 视频播放模板 P_temp 生成
视频播放模板 P_temp 需要满足输出视频约束。在目标视频生成之后，将目标视频和视频播放模板一同转交给舞台播出控制人员。视频播放模板是一个操作手册，包含舞台分区信息、输出文件要求和各区文件分辨率要求、播放位置和顺序等内容，为播控人员提供操作指南。
在实际应用中，技术人员制定了对鸟巢国家体育场地面 LED 屏幕 16K 高帧率视频制作的技术规范，撰写了《视频播控技术手册》，解决了开幕式发光五环异形视频映射问题。
4 视频仿真计算验证
仿真模拟指为立体数字舞台建立基于时空架构的动态三维仿真模型，实现舞台模型的任意移动、缩放及旋转，使设计者多视角、多层次地观察舞台设备，以及设备间的位置、互联等关系，并可从舞台模型中获得所需的数据 [3]。在实际的项目工作中，工作人员有实时检验模块正确性的需求，如果每一次都在真实屏幕上进行验证则会消耗大量人力、物力和时间。仿真模拟可以简化工作流程，有助于设计人员预览设计的实际效果，进行调整和修改 [4]。fBuildMapping、fDesign、 fMapper、fPlay 阶段都需要用到仿真效果。
fBuildMapping 阶段：使用三维仿真构建虚拟舞台，在确定映射关系之后，按照映射关系对模拟的目标视频进行裁剪和拼接，然后模拟物理硬件的播放过程，此处利用仿真能够快速验证映射关系是否正确。
fDesign 阶段：设计视频的过程中，设计师需要实时查看仿真效果，以便进行修改和调整。仿真程序提供一个一键生成预览视频的功能，快速生成原视频的预览效果。
fMapper 阶段：仿真程序读取原始视频图像内容映射到三维舞台模型表面，采用每个舞台块独立映射方式，对当前视频帧的所有图像逐一读取、变换、纹理映射；同时，根据错误校验配置，在读取视频时检查图像块数据是否为黑屏，为视频制作公司提供验证方案，及早发现错误并改正。
fPlay 阶段：为了能让播控人员在实时演出过程中看到真实舞台 LED 实际显示效果，需要通过采集卡采集 LED 视频图像回传到仿真程序。仿真程序可把回传的图像数据作为纹理图像流贴到三维仿真空间的模型表面，实现一个三维仿真视频监视器的功能 [5]。此时真实舞台视频数据与虚拟舞台表面纹理图像同步变化，方便播控人员观察实时效果，进行控制和调整。
仍以五环效果为例，其输出分辨率为1 860×168×5，即对于每一个环形屏幕，环形面一周的总像素为 1 860px，总高度为 168px，一共 5 个环。一个环形屏幕正面高度为 50px，反面高度为 50px，外环高度为 34px，内环高度为 34px。
五环相交处结构示意图如图 2 所示，技术人员对于五环相交处的拓扑结构同样做了细节的处理。
按照以上规则，三维建模效果如图 3（a）所示，仿真效果如图 3（b）所示。
5 播出效果
在实际的播出中最终效果， Visual_effect=f_Play（V_tar, P_temp），此过程将目标视频和视频V_tar 播放模板 P_temp 一同交给舞台播控人员，播控人员按照手册要求即可在屏幕上播放。
依然以五环为例，此技术也应用在了北京冬奥会开幕式上。实际播出中，五环结构和视频光影的完美融合，最终形成了展现给世界的“冰质感”五环效果，如图 4 所示。
6 结 语
近年来，异形屏幕应用更加广泛，屏幕形状更加多样，舞台效果更加丰富，如很多大型演播厅都采用了全媒体演播室技术，将演播室的地面、墙面等覆盖 LED 屏幕，这极大地提升了舞台能展现的内容丰富度，同时也对异形屏幕的应用技术提出了挑战。未来异形屏幕形态将会更加丰富，应用场合也会更加广泛。当屏幕结构非常复杂时，需要有一套架构分工明确的生产播控方法，这样有利于代码的管理和维护，有利于协同开发，能有效提高开发效率，缩短系统开发周期 [6]。
异形屏幕的生产播控方法不仅已经成熟应用于北京冬奥会开幕式，还能应用于任何使用异形屏幕的项目中，包括应用全媒体演播室技术的演播厅以及其他场合。按照异形屏幕的生产播控流程，可以极大简化生产流程，降低生产成本，缩 短生产周期并达到预期效果。
参考文献：
[1] Yue A, McQuire S, Papastergiadis N. Large screens as creative clusters[J]. City, Culture and Society, 2014, 5(3): 157-164.
[2] 赵思伟. 曲面屏幕上移动视点的沉浸式立体渲染及投影方法[D]. 济南: 山东大学, 2017.
[3] 刘泳慷. 基于数字表演的动态舞台仿真系统的研究与实现[D]. 北京: 北京理工大学, 2012.
[4] Zeng H, Zhang J, Sheng H. Large screen stereo projection splice based on parametric curve[C]//2012 IEEE Fifth International Conference on Advanced Computational Intelligence (ICACI). Washington D C: IEEE, 2012: 1200-1203.
[5] Zhu Y, Zhen T. 3D Multi-view autostereoscopic display and its key technologie[C]//2009 Asia-Pacific Conference on Informationn Processing. Washington D C: IEEE, 2009: 31-35.
[6] 郭昊东. 基于数字舞台的异构屏幕拼接技术[D]. 北京: 北京理工大学, 2022.
基金项目：自然科学基金项目（62177005）；国家重点研发计划项目（2020YFF0305200）。
第一作者简介：陈雪琪，女，北京理工大学硕士研究生在读，研究方向为智能数字表演， 2596915927@qq.com。
引文格式：陈雪琪，李立杰. 异形屏幕视频映射技术及其在冬奥开幕式中的应用[J].计算机教育,2022(10):12-16.
转自：“计算机教育”微信公众号
如有侵权，请联系本站删除！
