“科技+艺术”打造全新文化传播场域

引言

  静安光影节是城市更新成果的一次新的展示，是上海文广集团在“十四五”期间聚焦新一轮改革创新、对产业转型与多元化布局的孜孜以求，是通过“科技+艺术”着力打造全新的文化传播场域、推动文广集团视听能力和全产业IP建设的一次创新输出。幻维数码作为台集团改革和技术创新的排头兵，在实践探索适合自身发展的“广电+文旅”融合之路上奋力前行。在本次光影节上，幻维数码通过光影艺术和城市建筑的双向奔赴，在苏河湾生动演绎了这座城市的记忆、艺术、生态和未来的景象，为城市打造了一个重大的商业文化IP。

  静安区是上海七个中心城区之一，因千年古刹静安寺而得名，也是上海开埠至今中外文化相互碰撞、相互吸收、相互融合的交汇之地。“十四五”期间，静安区按照上海市委、市政府的重大战略部署，着力打造上海文化创意产业聚集地，依托苏州河两岸人文休闲创业聚集带，重点发展文化创意、高端商务业、金融、人力资源等现代服务业，塑造人文生态商务的新地标。本次静安光影节正值SMG着眼多元产业布局、服务城市发展与重塑自身价值之际，这座城市的消费空间和文商旅业态也迫切等待着激活与复苏，上海作为一个国际化大都市，也应该拥有属于自己的光影节。幻维数码有幸成为此次静安光影节的承办单位，全面参与了策划、全球艺术家邀请、落地执行等工作，以光影艺术和数字科技为载体，全面升级了“一江一河”夜景灯光，积极探索建筑可阅读、历史可触摸、文化浸润人心的视听表达方式，助力推动历史建筑修缮保护与城市更新的有机融合，体现城市数字化发展成果。

一．打造文化体验新场域

  1.国际光影艺术大赛：此次国际光影节成功的关键之一，是幻维数码代表主办方早前发起的国际光影艺术大赛作品征选活动。高水准的大赛评委、精益求精的作品成为本次国际光影节大获成功的关键所在。在前期阶段，为突出光影节的“国际属性”和丰富层次，幻维数码发起和创办了“国际光影艺术大赛”，面向全球公开征集60余件数字影像作品，并邀请中外著名艺术家，组成光影大赛评委团，提高了赛事的权威性。并在静安苏河湾区段设置了“闪亮光影秀”“追光现场”“艺术灯光装置”三大艺术板块，一手打造了国际顶尖赛事。

  2.可落地的执行方案：幻维数码团队在全球调研、实地勘景的基础上，通过多轮论证，综合考量方案投入、落地实施、运行维护、可持续等各方因素，倒排时间节点，细化筹备内容，最终形成光影方案及相关技术方案。

根据用户的喜好，本次光影节设计了两条超沉浸式+线上线下融合商业化路线。A线路:城市记忆路线点位（共六大光影点位）；B线路:艺术苏河路线点位（共六大光影点位）。

  A路线方向：由东至西

  （1）大师展演秀：续写东西方文化的交融，致敬百年商业

  （2）闪亮·上海：与“三件套”及东方明珠塔最佳合影点位

  （3）团圆（新泰仓库）：上海工业历史建筑展出非遗传承的大型艺术装置

  （4）苏河湾万象天地—天后宫：中国历史上少见的由政府出资兴建的官式庙宇

  （5）追光二十年艺术装置：东方卫视追光二十年闪亮装置

  （6）追光大赏（苏河湾万象天地—慎余里）：官方主秀+获奖作品展播

  B路线方向：由西至东

  （1）光影交互秀：元芳大厦光影艺术点亮“城市更新路”

  （2）光·未来：创意点亮未来发光装置

  （3）和谐的心跳：人工智能与人类想象驱动的大型互动装置

  （4）造梦机：“苏河之心”艺术装置

  （5）幻光奇境：苏河光影步道

  （6）摩登苏河：上海总商会旧址与河南路桥将在光影节期间整体联动

  无论A/B哪条线路，我们都紧扣新技术体验，尽可能地设计与观众的亲密互动，全方位地展示顶级创意团队的光影作品，凸显苏河湾区域的商业潜力和跨界艺术氛围。

  3.数字内容与装置的集中呈现：在艺术的维度上我们尽力追求审美的破圈，在光影内容上追求投影秀、艺术装置等国内外作品的多样性，同时对投影秀内容的丰富度进行了托底呈现，包括上海总商会上演大师展演秀中的两个国内作品、苏河湾万象天地—慎余里追光大赏展映秀中的主秀、米哈游《原神光影秀》、亲水平台上演光影艺术交互秀。

  本次光影节举办地点涵盖了用户最喜爱的四大要素。我们采取“3+N+X”模式，在展演会场分布“3”大光影街区、“N”个光影装置、“X”场追光现场联动。以万象天地慎余里、天后宫、上海总商会、上海大悦城等地标建筑为“点”，演绎多场沉浸式互动光影秀；以苏州河景观步道为“线”，串联起时尚潮流、体育休闲、人气美食、音乐游戏等多元共融的光影奇妙夜；以苏河湾滨水地区为“面”，设置“文艺奇遇夜”“虚拟之城”“不焦虑空间”3大主题区域，营造城市活力空间；以静安区文化艺术生态为“体”，打造“演艺新空间、人文新景观、休闲好去处”为一体的文旅新地标。

  自创作品，包括世界最大的钢琴交互秀《魔幻钢琴》、与上影跨界联动的《星光巨幕》、Mapping剧《长城的故事》，与国际大师展演作品、国际光影艺术大赛的获奖作品遥相呼应、相映成趣。而引入的作品，如苏河光影步道“雾森”“和谐的心跳Heart Beat Harmony”、非遗文化的大型艺术装置《团圆》等也均有各自的亮点。

  从本次光影节现场人流统计与分析来看，主流人群年龄段分布在25-40岁之间，但现场驻留时间较长的人群以50岁以上群体为主。

  4.变“我传播”为“他传播”：通过打造具有顶级艺术品质的内容，我们力图呈现上海这座海纳百川、大气谦和的城市的文化性格，使用最前沿的技术手段，让观众沉浸式感受与交流，以期实现跨次元、跨代际、跨圈层的传播效果。为“加热”光影节，我们努力多层面、多渠道地打通，从前端策划宣传开始，构建新媒体平台运营宣发，开发了配套“Shining Shanghai”公众号、“shining sh”预约小程序，联动公众号、视频号的发布。并加入SMG光影节宣传矩阵，形成节前预热查询、节中时效发布、节后总结回顾，从而积累幻维数码的数字资产。为配合光影节热度的提升，幻维数码团队全程拍摄、打造了光影系列爆款视频，其中国庆当日“不夜的精彩，闪亮的上海”，经由上海发布推出，阅读量近10万。“苏河艺术”短片也在各大媒体视频号平台被广泛转载。

二．以科技实现艺术的创新表达

  1.世界最大钢琴交互光影秀《魔幻钢琴》：完全实时的互动是本次光影节表演的一大亮点，我们尝试着将钢琴的琴键和苏州河对岸建筑上的光影装置相映射，当演奏者在亲水平台上演奏时，苏河对岸建筑上的画面也随之变化，声音信号实时转化为建筑上的视觉元素，让音乐旋律不仅可以被听到，也可以被“看”见。钢琴的88个键盘都被编上了独立的信号，当几个键同时按下演奏时，画面会呈现设计好的特殊处理效果。交互光影表演共有四个设计好的画面主题：一种是色彩鲜艳、对比度强的蓝红配色效果；一种是钢琴互动游戏，当琴键被按下时，画面上会落下对应位置的击打物；一种是钢琴互动游戏，紧紧贴合艺术苏河主题；还有一种是根据音乐家罗威的演奏，主创团队特殊制作了整个画面的交互，与音乐的变幻交互交融。

  团队与音乐家罗威进行深度合作，将乐理拆解融入视觉程序，设计了多种交互信号对应近30种视觉效果，使得观众按下的每一个音符的轻重起伏变化，在建筑上都会呈现出不同的投影效果，游客可以通过预约创作一场属于自己的钢琴光影秀。贯穿光影交互表演的曲目《苏河梦游》，描绘的是夜晚的苏州河畔一场浪漫华丽的少女梦境，从梦境入手体验水的梦幻、人物内心的梦幻。“某次夜游之后，我开始做着关于苏州河的梦，亲切美好又绚烂得不真实，舒缓流入城市的避风港。”作曲家罗威用婉转梦幻的钢琴旋律给听众们带来了仿佛泛舟于夜晚的河水之上的听觉体验。后台根据现场情况控制和切换这三种不同的交互模式，独创的钢琴与建筑光影交互的方式，拉近了观众与建筑的距离，让观赏体验更加有沉浸感，光影与建筑、人与城市被连接在了一起。

  1.1 设计思路

  程序思路是通过Unity游戏开发引擎进行框架的搭建，通过使用MVC（模型-视图-控制器）设计模式来组织代码，保持代码的解耦和可重用性。程序设计思路围绕钢琴的琴键和苏州河对岸建筑，开发一个互动程序，该程序将钢琴键与苏州河岸边的建筑景观相结合，创造一个音乐和视觉艺术相互融合的体验。首先收集苏州河对岸建筑的图片和相关信息，以及不同钢琴键对应的音符。将每个琴键映射到特定的音符，用户按键时，程序将播放相应音符的声音。根据音符的高低，创造一种音乐与建筑高度匹配的视觉效果。设计界面上，用户可以通过点击琴键来触发建筑的视觉变化和音乐播放。结合音乐节奏和强度，为苏州河岸边的建筑设计动态效果，如随音乐闪烁的灯光或是建筑轮廓的动态展示。最后对程序进行测试，确保其稳定运行，优化音视频同步和内存管理，保证良好的用户体验。通过上述程序设计，为用户创造一种既能触动视觉又能感受音乐之美的独特互动体验。

  美术思路是围绕钢琴琴键和苏州河对岸建筑来进行设计，将琴键的线性和流畅感与苏州河岸边的建筑轮廓结合起来，创造一种音乐与城市景观交融的视觉效果。设计可以从钢琴琴键的排列和节奏出发，提取其黑白键的对比元素，用以象征城市的动态节奏和历史层次。同时，苏州河对岸建筑的反射和灯光可以与琴键的光泽和质感相呼应，形成一种视觉上的和谐与对话。通过这样的设计，不仅能展现苏州河的城市美学，还能传达出音乐与地域文化的相互融合。在实际应用中，这样的设计理念通常用于城市品牌形象、公共艺术装置或者文化活动的视觉传达中。

  1.2 技术流程

  MVC（Model-View-Controller）框架是一种用于应用程序开发的架构模式，它将应用程序分为三个主要组件：模型（Model）、视图（View）和控制器（Controller）。视图层：提供用户交互界面，包括钢琴琴键的显示以及苏州河对岸建筑的视觉展示，并提供反馈给用户以确认其操作。控制器层：接收用户交互信号，处理琴键敲击事件，并协调后续的音乐播放和视觉效果展示行为。模型层：包含音乐和建筑的逻辑模型，负责生成音符和管理建筑数据。

1.3 美术流程

  在整个流程中，设计师团队在不同阶段深入考虑将钢琴琴键的优雅和力度与苏州河对岸建筑的历史与文化相结合，同时使用AI技术在设计各个阶段提供数据分析、图像渲染优化、3D模型生成等支持，增强设计的效率和创造力。每一轮的设计迭代都融入新的AI分析结果，使得最终的建筑设计既符合主题又展示了最新的技术进展。

  1.4 控制设计

  程序启动时，会执行一系列初始化操作，包括配置MIDI接口、准备音频和视觉处理引擎、加载四个画面主题的资源以及设置初始的互动参数。同时程序进入监听模式，等待接收来自MIDI设备（如MIDI键盘、控制器等）的信号。这些信号包括音符触发、控制变化、程序更换等信息，用于触发不同的互动响应。在接收到用户通过MIDI设备发送的选择信号后，程序根据信号值匹配并加载相应的画面主题。随着MIDI信号的连续输入，程序动态调整光影效果，如变化颜色、移动图案、调整亮度等，以及音频反馈，如音高、音量、音色变化，以实现音乐与光影的同步互动。为了增强互动性，程序可以处理更复杂的MIDI信号组合和序列。通过编码特定的MIDI信号组合，用户可以解锁特殊的视觉效果或过渡到全新的互动体验。整个流程中，MIDI信号的处理成为关键，程序需要准确无误地解读和响应这些信号，确保光影和音响效果与用户的互动动作同步一致，创造出一个连贯且富有表现力的表演体验。程序设计还需考虑信号的稳定性和处理效率，以确保即时反馈和高质量的表现输出。

  2.AIGC技术的场景落地：

  在本次光影节，我们运用到了大量AIGC（人工智能生成式内容）的技术手段，去重现艺术家的风格，比如月光洒在水面上、星河流转、让静态的画面形成互动光影的效果、让UCCA展览中名画名作与钢琴家旋律产生“数字光影”，一同描绘出“艺术苏河”在城市更新中的新画作。

  例一，首先我们让人工智能学习了保罗·克利、马蒂斯、毕加索和梵高四位艺术家的画作，为“艺术苏河”品牌，增添了一系列保有大师遗韵的数字艺术影像新作。通过文字语言描述，让人工智能创作一幅梵高风格的星空，通过多次测试抽卡，最终得到符合本场秀演的画面，如图6所示。

  但考虑到具体展现的元素，还需要通过后期手段进行二次创作，去除掉原画中植物与船的元素，最终得到梵高《星空》二创，如图7所示。

  拿到二创的《星空》，再通过后期进行动画的创作，将星空根据构图流线进行分层处理，然后对每一层的星空流线做一个动态的引导线，让该层的星空跟着所设定的引导线流动，从而完成一幅动态的《星空》画作，如图8所示。

  例二，通过人工智能工具(Stable Diffusion),完成鸟瞰苏州河的最终设计图。首先我们在网络上找到了一幅鸟瞰的苏州河地图，如图9所示。

  将图4参考图喂给SD(Stable Diffusion)，调用SD内的大模型（控制主体风格）和Lora工具（控制氛围），再输入想要的具体细节的文字语言，用controlnet工具锁定特定元素及框架结构（精准控制），生成多张不同风格的概念图，如图10所示。

  再通过后期选择符合度最高的概念图，得到最终的设计图，如图11所示。

  拿到最终设计图后，进入后期合成软件进行最终的动画创作，如图12所示。

  关于幻维数码对于AIGC的理解与实践，我们认为，AIGC技术最终要成为撬动生产力的杠杆，需要尽可能地融入到更多的生产环节，成为每一位创作者不可或缺的工作伴侣。2023年，幻维数码的艺术家们，包含导演、编剧、动画、设计、美术、音效、剪辑、校色等各种创作者开始全面、系统地探索各种类别AIGC的创作方式以及功能范畴，并在工作学习中尝试兼容使用AIGC工具。如今我们的设计师们将完成从0到1的创造，AIGC技术将帮助他们完成从1到10的迭代。未来的设计师要有从0到1的创造力，并能驾驭AIGC设计结果，这才是最核心的价值。我们认为通过AIGC，建设符合业务端的工业化架构和制作流程将是非常有价值的突破。幻维数码长期秉持“一站式”服务理念，拥有基于内容生产的全产业链条，对AIGC的关注和重视更是早于行业多数企业。我们相信自己能够成为国内率先利用AIGC技术形成全新生产流程的企业之一。

结语

  首届静安光影节困难虽多，但有新鲜的优势，在策展过程中，我们感受到上海这座城市的天然禀赋对外部有很强的吸引力，所以通过加强艺术性和国际性，可以不断提升水准、扩大影响，成为全国范围内乃至国际上的头部光影节。上海正着力推动城市数字化转型，加快建设具有世界影响力的国际数字之都，艺术与科技的融合以AIGC的几何级扩张为代表，整个数字视觉领域都已经处于技术高速迭代的大背景下。技术对新媒体艺术的影响也很显著，如算法艺术领域就涌现了大量创新，所以紧扣新媒体艺术与高科技的天然关联，特别关注艺术与科技的结合，可以成为未来“闪亮上海”的重要特征。

  2023年9月26日至10月6日，静安光影节现场总客流约为131万，人流超预期是首届的重要特点，也为保持良好观赏体验带来难度。“用户体验”值得注重，所以在规划中我们要总结经验、主动管理，“魔鬼在细节中”，未来需要大量的细节思考与改进。此外，之所以用“用户体验”这个词，是因为不仅仅有现场观众游客，光影节还伴生着一个巨大的传播场域，具有更大的价值，所以对“用户”的界定范围可以更广泛，除了个体外，也包括各种各样的机构和“金主”。要总结和深思的事还有很多，更需要不断地完善思维。光影节是个好机会，我们也希望能抓住机遇，持续扩大影响、持续做好产品创新，还要争取获得更多收益，真正把“闪亮上海”打造成一个城市文化IP，体现城市数字化发展成果，为延续历史文脉、提升城市品质释放出应有的价值。

（作者为上海幻维数码创意科技股份有限公司总经理）