从虚拟制片看传统影视制作流程的数字化革新与突破

  虚拟制片（Virtual Production）是指把虚拟计算机图像与真实演员的表演融合在一起，且在拍摄现场将特效的画面实时进行可视化呈现的制片方法。作为当前备受影视制作业界关注的热点，虚拟制片的发展并非旨在创造一种新的制片形态或满足资本需求，而是一场由行业内部需求驱动、决策者引导并不断自我迭代的变革。不同于以往传统影视制作流程，虚拟制片的生产流程提供了一种迭代式的并行生产方式，极大地提升了整个生产环节的协作性。

  新的技术诞生初期，往往会在行业内引发热切关注。从2019年开始，全球范围内已经出现大量的机构及个人为虚拟制片技术的推进进行宣传与交流。尽管各方在虚拟制片各种技术细节上的探讨如火如荼，但我们也有必要将注意力回归其本身的价值归属上，即在获取足够信息认知的基础上，深入了解在虚拟制片发展的背后，其对传统影视制作流程所带来的数字化革新与突破，从而在整体宏观层面上更加理解其内在价值和意义。

一、虚拟制片的发展及对传统技术环节的数字化突破

  虚拟制片当下的发展，应该说不只是一种“现象”，而是一种“必然”。虚拟制片从使用绿幕抠像拍摄技术到实时驱动的LED封闭空间拍摄的技术变革，是在过去十几年的时间里，由一批先进的创作者进行的多项技术尝试和实践经验积累的量变所诱发的质变。正如《虚拟制片指南》的作者诺亚·卡德纳（Noah Kadner）所言：“电影制作是一种在艺术和技术上不断探寻变革的过程。当我们谈论虚拟制片以及它给电影制作带来的好处时，我们其实是在谈论电影制作持续变革中的下一个必然环节。”[1]

  需要指出的是，虚拟制片的发展其实是为了切实可行地解决之前传统行业人员遇到的诸多问题，其中包含着过去传统影视制作技术环节所面临的困难和挑战。

  比如，蓝绿幕合成技术，是影视业长久以来实现“虚拟与现实结合、创造视觉奇观”的最主要的方法，许多创制严重依赖蓝绿幕拍摄和后期制作。这一技术固然能够实现诸多视觉效果，但是有时也会因其固有缺陷，拖累制作进度、增加制作成本。首先，在现场蓝绿幕拍摄环节，为了增加人物与场景后期合成画面的可信度，每一个场景都需要调整打光设备和角度，大大增加了拍摄的工作量。绿幕反光造成的“溢色”（Spill）和打光设备的“穿帮”，也加大了工作量。其次，在蓝绿幕拍摄过程中，创作者无法在现场看到影像最终呈现的效果，前期拍摄与后期制作两个流程各自独立进行，档期错位。这导致后期制作时，修复前期拍摄错误的成本非常高昂，因此大多数情形下会用“补救”的方式完成剪辑和后期制作。许多事关影像呈现创意的关键决策只能在后期流程中决定，主创不能完全在拍摄现场以协作方式完成。总之，在蓝绿幕合成制片的过程中，各环节要付出更多的努力去克服绿幕对画面造成的影响。

  随着数字技术不断发展，所生成的虚拟数字场景的工业精度不断提升，一些电影项目开始尝试原先在游戏创作中运用的引擎技术，来拍摄或辅助拍摄电影场景。如《奇幻森林》利用游戏引擎Unity作为创作工具，拍摄前在引擎中将创意实现为可视化的场景，现场使用动作捕捉技术和摄像机联动，把CG实时进行混合，完成实时的表演。《头号玩家》《银翼杀手2049》利用Unity引擎和其他工具插件实现了现场的VR、AR扫描，在引擎内进行实时的、可视化的场景和镜头规划辅助拍摄，并利用引擎在动作捕捉拍摄中融合场景进行实时渲染和修改。这些技术对于影片拍摄中的虚拟外景勘景、场景搭建、灯光布置、动作捕捉等环节颇有帮助，大大地压缩了影片拍摄成本。为Unity引擎开发影视相关解决方案的合作企业DMM，其开发的经验最初源于与导演卡梅隆合作的《阿凡达》，这些都是影视制作流程数字化创新的最初尝试。[2]

  2019年，制片人乔恩·费儒（Jon Favreau）为迪士尼流媒体制作《星球大战》衍生剧《曼达洛人》时，首次大规模采用了利用LED墙创造背景的模式进行拍摄。相较于大银幕电影，流媒体剧集的拍摄时间更加匆忙、预算更加紧张。因此乔恩和工业光魔、Epic Games合作，大胆试验了之前应用于游戏的虚幻引擎实时渲染3D画面，创造出星球大战场景和投射在巨大的LED屏幕上直接拍摄的实验性系统。[3]拍摄所使用的全LED的封闭空间被称为“The Volume”，内有七部跑着虚幻引擎和StageCraft软件（工业光魔在虚幻引擎技术基础上打造的虚拟制片工具）的机器，实时驱动LED背景墙上的CG场景。拍摄现场共有三位虚幻引擎操控者同时控制虚拟场景的切换、光照和背景效果，工作人员利用iPad就可实时调整场景的曝光、色彩及进行动画回放、补光等。 [4]

  虚拟制片伴随数字技术的不断突破融合，发展至今，目前主要技术环节包括了用CG或VR技术在拍摄前把场景做可视化（Previs）、搭建虚拟拍摄片场（Virtual Sets）、实时可视化特效（Real-time In-camera VFX）、表演捕捉（Performance Capture）、虚拟后期制作（Virtual Post-prodcution）等部分。得益于LED舞台（LED Stage）和实时可视化视效工具（In-Camera VFX toolset）的使用，全新的制片流程具备了“所见即所得”的特性，虚拟制片驱动之下，影视制作全流程、各阶段、各环节、各工种的工作内容产生了显著的变化，各工种创建的内容性质也都发生了转变。

  1.准备阶段

  如图1所示，在全新的虚拟制片工作流程中，准备阶段的虚拟艺术、特效、可视化等工作内容，均可在引擎内完成创作。

  在流程上，虚拟场景的制作将后期工作前置，项目组通过与美术置景部门的协商，提前确认表演区域内需要搭建的部分，根据设计效果图，双方按照统一的标准分头进行生产。数字资产团队根据要求，通过现场采集或者3D制作的方式，制作出相应的数字资产背景，并对相应置景部分进行可调的预处理，美术道具设计团队结合导演要求进行表演区域真实搭建。利用VR工具，创作者可以将各类元素导入引擎，渲染出沉浸感极强的VR场景，对画面进行预览，以想象和决定制片的细节。导演和摄影师可以进入到空间内，360度无死角地现场查看画面效果，以决定故事在哪些地方、以哪些角度展开。当引擎模拟出的场景收到修改反馈时，所有的修改也是实时和同步的。同时真实场景的搭建，也可以参考虚拟部分进行优化或改良。在此过程中，所有的修改可以实时同步各个部门，各部门根据实时渲染画面同时协作，能够提升整体的创作效率和质量。

  2.制作阶段

  实时渲染可视化的数字场景解决了摄影、导演等创作者感到棘手的视觉割裂的难题。LED背景墙与现场前景的和谐共处，可以直接产生一个近似于实景拍摄的画面，导演能以传统影视拍摄的方式在虚拟场景下实时产出最终画面，通过发挥其专业技能和充分的想象力，对影片内容的创作进行迭代更新。这对演员也有所帮助，他们不用再在一片绿幕中想象场景空间，甚至还能在与场景的互动中获得难能可贵的“即兴表演瞬间”。正如《曼达洛人》的R&D指导 Rachel Rose评价的，“所见即所得，这对于习惯了传统影视拍摄方法的创作者来说，意义重大。”[5]

  光影是LED舞台相较于蓝绿幕影棚的最大的优势。LED屏幕充足的漫反射光，可以提供符合场景的真实色彩和光影，节约了布光所耗费的大量时间成本，获得了更加真实的光影效果。同时LED发光解决了绿幕的溢色问题，降低了后期制作环节弥补缺陷的成本。例如在《曼达洛人》的创作中，曼达洛人金属质地的战衣会对场景中的光线强反射，如果运用传统蓝绿幕将会放大“溢色”的缺陷，这样的疑难杂症之前也经常出现在许多电视节目演播室、舞台以及影视剧创作的摄影棚中。不仅如此，相较于实际出外景拍摄，LED墙则保留了摄影棚的优势特性。它允许创作者轻易地在黄昏、夜晚等场景拍摄任意时长，且无需额外的布光设计，仅仅在引擎内使用引擎技术调节场景，即可填充场景光照的氛围，通过调整云朵的布局和阳光的角度等，可以模拟出任何真实的自然天候。如果需要，LED墙还能有更多可能性——如可以把其中一块限定尺寸的屏幕变成绿幕，在演员和虚拟背景中间再加入更多的CG元素或高清背景画面等等。

  另外，数字化的制片流程也使得云端同步和远程合作成为可能。在笔者接触、了解到的一些影视广告虚拟制片实践案例中，已经实现了广州外场拍摄、北京艺人拍摄、天津路跑拍摄、上海云端监看等多地跨空间的同步合作，使得导演组和客户（制片人）可以直观地监看和控制整个跨多地的项目。这一流程可以使跨国际合作更加简便，大大降低制片的成本。

  在后期制作阶段，传统拍摄流程要求剪辑师在剪辑时对着绿幕画面进行一定的想象，完成预先的剪辑。在这套流程中，剪辑师无法充分发挥创作能力，需要多次调整自己的工作；特效团队无法确定完成的剪辑样本，做出精准的特效，合作过程中容易造成资源的浪费或质量的下降；后期合成场景时，摄像机跟踪数据也需要更加复杂和精细的调整。

  虚拟制片流程画面“所见即所得”的特性令剪辑师可以直接获取到带有背景及实时摄像机跟踪的画面，提高了剪辑完成效率和质量，减少返工内容，与后期及特效团队的合作更加流畅。特效团队则因准备环节可预先制作，大大缩短了制作周期，在后期制作时可直接制作精准到帧的特效内容。后期环节衔接“虚拟场景”和“实拍场景”时，特效团队只需轻微调整两者之间的色差，让场景间的切换变得更自然即可。总之，在虚拟制片流程下，后期阶段受前期影响更小，工作质量与效率更高。

二、虚拟制片对传统制片流程的革新迭代

  虚拟制片中LED舞台和实时可视化视效工具改变了传统制片各自独立、档期错位的线性流程，取而代之的是迭代式的协作工作流程，其最主要的特点是各部门工作同步进行、协作推进，团队规模大，制作周期短。

  迭代是指在连续尝试中不断改善以达到期望结果。传统制片中，各部门的工作流程在档期上各自独立，创作过程中包含不确定性。各部门的工作人员需要对其他环节创作的效果进行大量的猜测和想象。例如摄影指导需要在现场想象和猜测哪种灯光最匹配某个看不见的场景，因为在眼睛和摄像机中只能呈现蓝绿色的幕布；导演不能看见某个承载着重要功能的虚拟元素，如电视晚会节目中与舞台演员发生互动的虚拟物体，或影视剧中与主人公发生战斗的虚拟生物；剪辑师要协调前期拍摄的临时替换镜头和后期的特效制作之间的连续性和流畅性……这种令各流程环节割裂的问题时有发生，导致主创团队的专业性无法得到充分的发挥，一些主要决策不得不推迟到最后以“补救”的方式决定，从而不得不付出高昂的成本。

  由于游戏引擎被用来作为重要的创作工具，虚拟制片的工业流程更加接近游戏生产流程，允许多部门共同合作，并且通过实时渲染，将所得的成品展示给所有创作者。相较于传统电影制片流程，虚拟制片流程的特点可被概括为更加迭代化、协作化和非线性化。

  如图3所示，传统制片流程呈线性，仅在特效制作和剪辑环节有相互的反馈和协作，这两个环节除彼此协作外，还须应对先前流程中产生的失误，这些失误在流程中是不可逆的。非线性、协作化的虚拟制片流程可以在同一个阶段内，由不同环节相互合作，以迭代的方式不断地改善一个共同的成品。在不同阶段，也能得到及时有效的信息传递和合作，如后期制作阶段的相关环节，与前期准备阶段的特效制作能够链接协作，整体流程可更加流畅和合理化。由此，可以更好地发挥各部门的专业能力，统一协调各部门的工作，以达成统一的审美，减少不充分的交流造成的时间和人力损耗。

  虚拟制片流程革新的另一个明显优势，是对制片成本的控制。在制片流程中，同一个LED舞台可以用来创建完全不同的场景，只需更换简单的道具，就将片场的空间转换为一个全新的场景，且在大多数情况下，依赖LED屏幕的自发光，片场无需大幅调整灯光器材的选用和布置，就可创作出大量复杂的特效镜头。

  使用引擎制片的逻辑与传统影视制作不同，虚拟制片是在计算机内创建一个虚拟的数字场景，要取景的现实物体会被创建为数字对象。构成数字场景的数个数字对象，便是数字资产（assets）。影视创作中的场景和道具在制作中经过数字化处理，意味着这些数字化的对象是可复制的。可复制的数字资产可以随时根据需求进行更改，适应不同故事或不同场合的需求。数字资产也可以进行跨项目交易，成为制片公司的一种固定资产。

  以当前影视剧和流媒体网剧创作为例，大多数剧集的创作资金预算和时间周期都有限，搭建实景拍摄并在拍摄后拆除的做法是需要耗费大量时间和金钱的。低成本网剧拍摄大多依赖共享的摄影基地或外景制作，不允许多个片场在基地同档期拍摄，多处实景的大时空跨度需要剧组付出更多的成本进行管理。而若采用虚拟制片流程，数字化场景和数字资产可根据不同需要进行调整，制作完全在同一个场地进行，丰富了制片的灵活性，解决了管理上的难题。即使影视公司没有相应的数字资产积累，也可以向相关专业企业以租赁或买断的方式获取数字资产，搭建需要的场景。特别是以往为游戏行业制作场景和道具的企业，已经在虚幻商店（Unreal Engine Market）、Unity商店（Unity Store）等平台积累了丰富的数字资产，热带丛林、太空战舰、魔法城堡等场景都可随时获得。简单来说，数字资产和场景相当于一个或多个数字化的影视摄制基地，可随时在一个固定的LED舞台内进行多维度调用。

  综上，虚拟制片流程的协作化、迭代化革新，使得影视制片生产流程更加高效。同时，制片方在一个固定的空间内进行多方位拍摄，数字场景和资产可以跨项目复用，并成为一种易获取、可交易的资产。对比传统制片流程，这些虚拟制片的特点，让其具备了未来影视创制数字化升级转型的必然优势。

三、虚拟制片助力国内影视创作“想象力消费”生产

  “想象力消费”是近年来国内学者针对影视产业创作现状所提出的一个理论概念，不同于以往安德烈·巴赞所提出的“电影是现实的渐近线”的思想，近年来中国的观众和生产者更加倾向于欣赏、生产和消费充满想象力的艺术作品。这些作品的灵感未必直接来源于现实，而是将某些概念具象化，托付到一个凭空想象的虚拟世界的故事中。随着近年中国电影工业水平的提高，科幻题材影视剧，以及由网络文学改编而来的玄幻类、穿越类影视剧逐渐成为影视业的重要题材类型。这种具有超现实的想象和娱乐化的大众文化属性的作品，曾是国内观众对于好莱坞影视大片的审美期待，然而《流浪地球》等国产IP的爆火，为中国科幻题材、奇幻题材影视的市场前景和创作带来了强大信心，未来可能有一大批“想象力消费”型的影视IP涌现。

  当前，国内一大批影视机构企业和高校正积极入局新一代虚拟制片配套设备、技术的研发，运用虚拟制片流程进行的作品创作，顺应了这股影视创作“想象力消费”生产的热潮，为未来高质量、高产量、健康可持续的虚拟制片产业生态提供了宝贵的软硬件资源和创作经验。

  国内广播电视领域较早关注并已运用XR技术和LED虚拟背景墙拍摄，如中央广播电视总台、上海文广集团等广播电视单位自2018年起就逐步引进、使用基于虚幻引擎内核的广电级虚拟制片系统。至今，舞台综艺节目、电视晚会、新闻类节目大量使用了引擎驱动的LED背景墙、XR绿幕棚拍、XR虚拟棚拍流程，创造出具有无限想象力的空间感，如《中国诗词大会》《2023梦圆东方跨年盛典》《武侠元宇宙音乐会》《闪亮的坐标·青春季》等，实现了华丽的舞台美术效果。

  同时，影视公司、科研机构和影视高校对虚拟制片流程及技术也进行积极探索，创作实践了一批优秀的短片作品。浙江博采传媒的科幻短片《诞辰》全程采用虚拟拍摄技术，证明虚拟制片已经完全能够承担一整部电影的制作需求。该短片在国际多个展会和电影节展映，引起了国内外业界的巨大反响，收获了诸多奖项。北京电影学院师生用LED墙虚拟拍摄了首部教学实验片《异星救援》，是高校联合科研机构对LED虚拟拍摄技术适用场景的积极有效的尝试。上海大学上海温哥华电影学院与上海观池、上海青瞳视觉等机构联合设立虚拟制片摄制基地，其师生团队用虚拟制片全流程创作的短片《南橘北枳》在亚洲虚拟人协会（Asian Virtual Human Association）主办的首届48小时国际虚拟制作大赛获得佳绩，为虚拟制作数字化人才培养和教学改革探索积累了一定的经验。

随着“想象力消费”类影视作品的迅猛发展，以及全新虚拟制片技术的落地运用，不断完善的虚拟制片创制，将成为进一步提升中国影视创作水平的重要驱动力。

四、总结与展望

  综上，关于虚拟制片在数字化革新影视制作流程的优势特点，总体可以梳理为以下几个方面。

  第一，实时化、可视化、迭代化的拍摄系统，允许影视制片各流程、各部门工作同步进行、合作推进。在大幅度提高影视节目生产效率的同时，也允许主创人员对节目的艺术性拥有更高的掌控力，改善了节目的质量。如影视剧创作针对大量虚拟合成画面和特效镜头分档期的工作流程可压缩至同步进行；舞台可以实时监修，迭代化、协作化处理舞台美术，利用引擎预演美术、摄影、特效，可提高制作效率，尤其是系列影视剧集IP项目可以重复使用数字资产和场景，大大降低了生产成本和制作周期。

  第二，实时、可视化的影视制作系统拓宽了影视创作的空间，为传统影视工作者提供了类似实景拍摄的室内棚场地工作环境，使创作更加具有想象力的画面和故事成为了可能，尤其有益于奇幻类、科幻类影视作品的创作。

  第三，实时化、可视化、迭代化的系统，减少了影视制片流程产生的失误，降低了弥补失误所需要的成本和影视项目存在的风险，配合数字化项目管理的革新，为产业的健康发展提供了强大助力。

当然，目前国内虚拟制片新技术的推行，也有一些发展瓶颈。首先，作为一项问世不久的新技术，缺少相关的规定和条例对其各环节和技术标准进行规范化管理，导致现有的各种影棚规格不统一、配套的技术和水平参差不齐，在项目进行中需要更加熟悉该流程的专业项目策划和管理。其次，全新的虚拟制片系统全流程数字化制作，与传统影视制片使用的软、硬件技术不同，需要全新的技术人才。这将迫使传统从业人员尽快完成技术转型，或引进来自其他领域如游戏业的人才，这些需要一段时间的调整。好在这套新流程所依赖的游戏引擎和相关插件的操作有着可视化、易操作的特性，并且相关机构和高校已逐步开始专业人才培养积累。另外，与有着成熟的虚拟拍摄技术的创作经验的好莱坞影视工业相对比，我国影视技术工业化程度还不够成熟完善，行业全面数字化转型的剧变或许在短时间内难以承受。但从另外一个角度看，这也是中国影视工业化转型升级的一次“弯道超车”机遇。

  尽管面临一定的挑战，但可以肯定的是，虚拟制片是可以预期的未来，在技术环节、制片流程和创作系统上具备多方面的优势，必将引领未来影视制片步入一个全新阶段。

（作者简介：陈晓达，上海大学上海电影学院副教授；蔡梁承，上海大学上海电影学院硕士研究生）

参考文献

【1】Noah Kadner,The Virtual Production Field Guide v1.3,Epic Games.

     https://www.unrealengine.com/en-US/solutions/film-television

【2】来源于Unity创意技术总监Ron Martin,Unite Shanghai 2019,Technical Track 3的演讲.

【3】Caranicas, Peter (November 7, 2018). "ILM Launches TV Unit to Serve Episodic and Streaming Content"[N]. Variety. Archived from the original on November 16, 2018. Retrieved November 25, 2018.

【4】Baruh, Bradford (May 22, 2020). "Technology". Disney Gallery: The Mandalorian[N]. Disney+.Gartenberg, Chaim (February 20, 2020). "How The Mandalorian teamed up with Fortnite creator Epic Games to create its digital sets"[N]. The Verge. Archived from the original on February 20, 2020. Retrieved February 20, 2020.

【5】Failes, Ian (April 1, 2020). "The Mandalorian and the Future of Filmmaking"[N]. VFX Voice. Archived from the original on April 18, 2020. Retrieved May 30, 2020.

参考文献

【1】欧阳玥,刘伊晗,张博文.基于LED背景墙的虚拟拍摄在电影和电视制作中的应用研究[J].现代电影技术,2022(12):4-10.

【2】陈奕.全流程实时可视化：电影数字虚拟制片的创新与突破[J].电影艺术,2022(03):116-124.

【3】李晋林.中国电影虚拟制片的现状与发展机遇[J].电影文学,2023(05):18-24.

【4】崔轶.浅谈“未来电视”战略下影视剧创作创新趋势[J].上海广播电视研究,2023(02):38-46.