智能多模态技术在科普传播中的应用与实践 ——以上海出版印刷高等专科学校科普研究中心为例

  2022年8月，科技部、中共中央宣传部、中国科协共同编制的《“十四五”国家科学技术普及发展规划》公布，规划进一步明确努力方向——到2025年公民具备科学素质的比例超过15%，多元化科普投入机制基本形成。在此背景下，上海出版印刷高等专科学校依托科普研究中心，实践人工智能与视觉、感官等多模态技术的融合，提供更加丰富、生动、互动性强的科普传播体验，提升科普工作的传播效果及其覆盖面。

一、视觉模态技术在科普传播中的应用

  视觉模态是多模态技术的一个分支，主要通过图像、视频来进行信息交流。在科普传播中它主要以科普视频的形式来呈现，可以融合动画、图像和影像等多种视觉元素，从而更为多元化地展示科学知识；也可以通过数据可视化技术，将抽象的科学数据转化为直观的图表或图像，让受众更好地理解科学概念和规律。

  （一）融媒体技术赋能：呈现形式的丰富多样

  融媒体技术是指将多种媒体形式融合在一起，通过数字化平台进行整合和传播的技术。在实际应用中，上海出版印刷高等专科学校科普研究中心将虚拟演播技术和科普传播相结合，针对人民防空科普教育工作制作了一系列慕课。

  课程的拍摄场景选择了虚拟演播室，通过vMix软件将多个机位的摄像机、计算机屏幕、媒体文件、字幕等不同来源的视频、音频和图像实时地混合在一起，导播直接与摄影师沟通机位，并通过导播台完成内容的切换。录制完毕即可生成视频内容，显著提升了科普内容生产的质量和效率。拍摄的背景选取了绿幕，专家于绿幕前向观众科普民防知识，绿幕背景可同步抠像替换为任意的虚拟场景，达到重现民防实地环境的效果。据此学习者可以更好地理解和体验特定的情境和实践环境，提升对知识和概念的理解及应用能力。

  制作完成的科普视频在慕课平台上线，进一步拓展融媒体技术的多样性和互动性。学习者通过平台提出问题、分享意见，实现更加广泛的交流与互动，增强受众的参与度和兴趣，提升学习主动性。同时，慕课平台能够记录学习者的学习情况，实现科普学习效果的反馈与评价，进而调整融媒体技术在科普传播中的应用策略，更好地在科普传播领域实践先进技术。

  （二）数据可视化赋能：知识内容的深入浅出

  科普传播和数据内容息息相关，尤其是自然科学和历史地理类的科普视频。对于没有学科背景的受众，数据可视化技术能够将数据以更为直观、易懂的方式呈现，使受众快速地获取信息，更好地理解复杂的科学概念和数据间的关联。

  数据可视化的具体呈现方式又可以分为图表、时间线、地图、热力图、词云、3D可视化等，科普视频中常用的有时间轴、地图可视化、流程图。时间轴可以完整再现事件的前因后果，能够让观众对科普内容产生全局的概念。地图可视化则可以从横向着手，帮助观众理解同一时间内、不同地域或组织间的相互联系。流程图则是对科普内容的归纳总结，能够让观众对科普的知识点一目了然。视频后期软件Adobe Premiere、Adobe After Effects和Final Cut Pro均能实现数据可视化的效果。后期软件制作可视化效果的优势是能够展现整个数据变化的过程，较之传统的展示方式，可以涵盖更多的数据内容，帮助受众探索科学的发展趋势与规律，挖掘科普的深度，让学习者知其然更知其所以然。

  数据可视化真正实现了对复杂科学内容的拆解，增强了科普内容的可理解性和说服力，提高了科普传播的效率，提升了受众的学习体验，有利于促进科学文化的传承和普及。数据可视化也为科普视频的制作和传播带来了更多的创新可能性，有助于推动科普事业的发展和进步。

  （三）动画技术赋能：科普教育的形象生动

  在科普传播中，涉及自然、历史的大场面不容易通过实拍完成，网上搜集的画面资料又难免存在版权问题。动画技术的介入，既能再现难以复现的场景，又能为观众带来形象生动的视觉冲击。在科普视频中主要使用的动画技术为MG动画，MG全称为Motion Graphics，一般使用计算机和特效技术来完成动画内容。较之于传统动画，MG动画技术具有效率高、成本低的优势。MG动画的制作通常使用专业的图形设计和动画制作软件，如Adobe After Effects、Cinema 4D、Maya等。制作者可以通过控制图层、应用效果和动画关键帧等技术，实现图形元素的运动和动态效果。

  在科普研究中心的实践案例中，MG动画技术通常有两种应用情境。第一种为纯动画制作，即完全借由动画来展现需要科普的内容。第二种为包装制作，即在专家讲解的实拍画面中融入动画的效果，同语言科普的内容相辅相成。动画技术还会在一些特定的场景中发挥重要的作用，以民防类科普视频为例，上海民防拥有自己的卡通形象代言人“小海卫”，因此不少民防科普视频都会倾向于使用“小海卫”作为主持人来串联内容。虚拟人物的动态化也需要动画技术的支持，遵循动画制作同样的步骤，制作团队将小海卫的形象通过Photoshop软件分离，再由After Effects软件完成“小海卫”手和脚的动态。未来，随着数字人技术的逐渐成熟，虚拟人物在科普视频中还会有更大的发挥空间。

  动画技术拓宽了科普传播形式的广度，打破了传统教学的局限，使得科普内容的制作更为灵活。实拍和动画两种技术分别具有各自的特点，实拍的画面更具信服力，动画的内容更有趣味性。应根据实际的内容选择恰当的传播形式，以使得科普效果最优化。

二、感官模态技术在科普传播中的应用

  感官模态技术可综合视觉、听觉、触觉等多种感官体验，模拟现实中的体验感，构建真实的沉浸效果。随着5G技术、全景拍摄、虚拟现实（VR）、增强现实（AR）技术的日益成熟，感官模态技术已被应用于多个领域，并延伸出了“元宇宙”的概念。在科普传播中融入感官模态技术，能将受众从被动的“看”转化为主动的“做”，实现更具有实践性的科普教育。相较于传统的科普形式，对于学习者的创新意识培养和解决问题能力的提升具有更大的作用。

  （一）全景拍摄技术赋能：复制真实环境

  全景拍摄技术和虚拟现实技术容易被混淆，两者的主要区别在于全景拍摄使用全景相机捕捉360度全方位的真实场景内容，而虚拟现实则是通过模拟三维环境，将观众置于计算机建置的场景之中。

  全景拍摄能够近乎一比一地记录真实的环境，在体育赛事、演唱会中均有广泛的应用。上海出版印刷高等专科学校的科普研究团队利用全景拍摄技术的优势，开创性地将其应用到了全民国防教育日的拍摄中。以往的全民国防教育日都会通过开展防空逃生疏散演练的方式来普及国防教育知识，并在现场用传统摄像机直播记录全流程。科普研究团队则将传统摄像机替换成了全景相机，全景式地拍摄逃生演练过程，囊括了心肺复苏、物资发放、救援包扎和隔离观察等主要的防空逃生疏散动作，观众可以透过全景相机多角度观看学习，让未能在现场亲身参与的居民也能获得近似的感受，沉浸式地完成民防科普传播。

  全景拍摄主要分为前期调研、全景视频拍摄、视频素材整理、后期初剪和后期精剪五个步骤。前期调研主要是确认合理的机位设置，确保全景相机安排的点位可以拍摄到逃生路线的全部内容。在实际的全景视频拍摄中，制作团队遭遇了拍摄光源不充足的问题，因为民防设施大多处于地下，灯光环境较差。而全景相机拍摄的画面内容又是360度无死角的，若使用灯具进行补光就会穿帮。团队最终选择了后期降噪的处理方式，来修补前期拍摄的不足。视频素材整理是全景拍摄前期制作的重要一环，由于全景相机包含6个摄像头，所以会产生大量的素材。制作中需要将每段素材对应到相应的摄像机镜头，以保证后期拼接时不会出现混乱。后期初剪主要完成全景素材的初步拼合，预览效果并制订进一步的后期制作计划。后期精剪是整个全景拍摄最关键的技术，需要完成6个镜头间的精细化缝合，若这个步骤出现失误，则会在画面上造成瑕疵，从而打破全景相机的沉浸感优势。

  Kolor Autopano Video、Mistika VR和Insta360 Studio是主流的全景视频后期软件，Kolor Autopano Video和Mistika VR适用于各类全景相机的拼接，均是收费软件，Kolor Autopano Video可以满足基础的全景视频拼接，缝合效果相对一般。Mistika VR则收费较高，但视频缝合的算法更为优秀，可以提供较优质的画面。Insta360 Studio只适用于Insta360的相机，购买Insta360旗下的产品即可获得该软件的使用权，还内置了小行星、水晶球等特效，一键就能套用这些效果。传统的剪辑软件Adobe Premiere Pro和Final Cut Pro也都开始支持全景视频的剪辑，可以和普通视频一样添加字幕、调整色彩，只是不能做拼贴、缝合的处理。

  （二）虚拟现实技术赋能：构建虚拟展馆

  虚拟现实技术可以让用户在构建的虚拟场景中自由移动并完成交互，基于这样的技术特性，科普研究中心在“上海市科技创新行动计划”科普专项“多模态交互式大学生公共安全科普教育课件的研制与推广”中，创造了一个虚拟的禁毒馆，向大学生科普毒品的危害。学生可以在虚拟展馆中尽情探索，并点击相应的展板进行观看或者互动。虚拟展馆的自由度和趣味性与大学生学习特点中的自主性和创新性相契合，能够让科普工作更加事半功倍。

  在虚拟展馆的构建中，最核心的技术当属三维建模。团队使用Maya和3ds Max等计算机图形软件创建展厅中各部件的3D模型，包括展馆的结构和展品。而后通过Unity和虚幻引擎（Unreal Engine）实现交互的功能。如果对交互的个性化需求不高，也可以使用在线云平台，套用已经设定好的交互效果。虚拟展馆的展示终端既可以是手机和电脑，也可以是头显设备，前者更易推广，后者则能提供更好的体验。

  虚拟现实技术所构建的虚拟展馆能够随时随地供访客参观，可以吸引更多的人进入展馆学习，且不受地域和空间的限制，便于学习者体验到更多现实生活中无法触及的科普内容。此外，虚拟展馆的建设和维护成本也较低，降低了科普的成本，有助于让更多人参与到科普内容的建设中。

  （三）5G+云VR技术赋能：模拟实际场景

  5G+云VR技术是指将第五代移动通信技术（5G）与云端虚拟现实技术（VR）相结合的应用。利用5G技术高速、大容量、低延迟的特点，可以让用户随时随地享受高质量的虚拟现实体验。为了实现5G与云VR的嫁接，科普研究中心使用了5G+云VR的“云-边-端”协同交互框架，该框架由5G网络、中心云、边缘云和终端四部分构成，通过将VR业务的图形渲染、编码和计算等复杂工作放到云端，一方面解放了VR体验的时间、地域限制，另一方面降低了社区用户获取VR内容的成本，不再需要购置昂贵的VR设备。

  技术方案完善后，就需要填充实际内容以验证5G+云VR技术的可行性。研究中心开发了一套社区居民虚拟人防疏散VR应用软件，以居家环境为主要场景，把居民听到防空警报后的响应行动作为脚本内容，通过三维建模技术、立体显示技术和VR视频相结合开发该应用。在调研了5G手机+VR手机盒子、VR一体机+5G路由器、VR一体机+WiFi+光纤网络等各种层次的VR终端应用解决方案，依据实施成本和技术成熟度的综合考量，确定采用VR一体机+5G路由器的解决方案。

  从实际体验来看，这套应用方案以极低的延时和高清的画面，让用户以假乱真地完成了一次逃生演练。疏散VR应用软件和逃生全景视频两者之间也能做到相辅相成，居民先是通过全景式观看科普视频，学习他人如何逃生，而后再通过全景交互练习，巩固学习到的逃生知识，验证自己对科普内容的掌握情况，形成了一套闭环式的科普传播体系。

三、人工智能技术在科普传播中的应用

  随着ChatGPT、Midjourney等人工智能工具的推出，AI成为了当前最热点的技术。人工智能的机器学习、图像处理、语音识别、自然语言处理等能力有助于推动科普内容的制作效率，在这个追求快速传播和多样化媒体的时代，人工智能技术的加持对科普传播来说是必不可少的个性化和智能化手段。

  （一）人工智能在剧本创作中的应用

  科普传播需要依赖优秀的剧本输出优质的内容，人工智能在剧本创作阶段主要起到辅助的功能。首先，人工智能软件可以提供给创作者灵感的来源，从人物角色的设定、到故事大纲的形成再到情节桥段的提示，人工智能都能在海量的数据库中根据创作者所要创作的科普内容类型给出个性化的推荐。其次，在剧本的写作过程中，人工智能也能自动生成剧本的框架，创作者只需要往里面填充内容即可。工整且规范的文本内容是科普视频制作最好的指引，能让文字更高效地转化为最终要输出的科普影像。

  人工智能软件对于剧本的分析和归类，也会在后续的制作环节给科普创作团队提供很大的帮助。根据剧本的内容，人工智能会迅速计算出最终的成片时长，制作团队可依照预计的时长合理地安排拍摄计划，分配完整的制作周期。而剧本中所有涉及的角色，AI也能一键提炼出来，方便制作团队在拍摄中为人物设计符合其个性的服化道。此外，在AI软件的协助下，创作者可以一键将剧本转化为拍摄的脚本，进一步设计镜头的景别和运镜方式，为拍摄环节提供更多的提示。可能的景别和运镜内容都被内置在了AI系统里，创作者只需要勾选其提供的选项就能完成该环节的设计，十分便捷。

  （二）人工智能在声音制作中的应用

  科普的传播不仅需要视觉内容的支持，听觉的内容制作也是重要的一环。而与声音有关的人工智能制作主要分为配音和配乐这两个部分。传统的人声配音成本较高，几分钟的配音内容收费就会达到上千元，而且人声配音的时间也比人工智能一键生成的配音时间长。现有的AI配音已十分健全，不仅有最基本的男女声配音，还有童声、外语、方言等多个类型的配音内容，基本上能满足配音制作的各项需求。不过AI配音还是会有一些机械化的痕迹，不如人工配音情感饱满，在一些多音字的处理上也偶尔会出错。但是人工智能的学习能力非常强大，预期在不久的将来这些问题也会逐步解决，使得AI配音变得更为成熟。

  在视觉模态技术中，版权问题是亟需解决的重要内容。在声音环节，版权问题也对科普内容的传播形成了不小的障碍，人工智能配乐的出现则很好地解决了这一问题。和图片生成类似，创作者只需要提供关键词，AI即可完成配乐的工作。可控的AI配乐的变量主要包括时长、风格、场景、心情，还可以直接填写创意的描述内容让AI更好地满足配乐创作的需求。

  除了生成音频内容，人工智能还可以辅助处理一些前期录音中的瑕疵，比如自动地分析音频信号，去除噪音和干扰，让声音变得更为清晰。或者可以利用其强大的声音识别能力，自动地生成字幕，所有生成的字幕都可以进行个性化的样式调整。

  （三）人工智能在后期剪辑中的应用

  剪辑在科普内容制作中是比较耗时的一环，人工剪辑需要浏览素材、整合素材、搜集素材、处理素材等多个步骤，这都是需要投入大量时间进行操作的。利用AI剪辑一键成片的优势，可以大幅缩短剪辑的时间，让产出的科普内容紧跟热点。科普类视频中通常会有大量的口播内容，专家在讲解过程中难免有卡壳的现象，AI剪辑还能迅速定位到出错的位置进行处理。

  评价剪辑工作的优劣，效率是其中一个维度，但质量也是很重要的一环。当前，人工智能基本已可以完成剪辑的全流程，并能根据音乐自动卡点，寻找合理的剪辑节奏。不过，只遵循音乐节奏剪辑，也会造成AI剪辑的情感缺失。因此，AI剪辑还不能完全取代人工剪辑，可取的做法是将两者相结合，由AI完成初剪，从大量素材里高效地选取可用的内容，并将其拼贴到一起。而后再由人工完成精剪，调整AI剪辑中不符合情感逻辑的部分，从而在效率和质量间找到一个平衡点。

结语

  当今社会处于一个信息爆炸的时代，这也为科普传播带来了更高的难度与挑战。上海出版印刷高等专科学校科普研究中心将继续致力于探索新媒体环境下的科普传播的有效手段，通过视觉模态技术带给受众最直观的冲击，在第一时间吸引科普学习者；通过感官模态技术带给受众最新奇的体验，在虚拟环境中实现科普实验的可能性；通过人工智能技术提升科普内容的制作效率，在短视频快速传播的时代更好地满足观众的需求。

（作者1：胡欣娴，上海出版印刷高等专科学校教师；

作者2：程琪，上海旅游高等专科学校全媒体广告策划与营销专业主任）

（本论文受到2023年上海市职业院校教师素质提高计划国家级培训项目“专业带头人领军能力研修班”项目资助）

参考文献

【1】屈江丽，周爽.“互联网+”多模态技术辅助下英语“金课”的设计与启示[N]. 西安外国语大学学报,2020,No.28(04):60-64.

【2】匡文波.5G时代中国网民新闻阅读习惯的量化研究[J].新闻与写作，2019（12）：72-78.

【3】吴晓英.多模态技术赋能智能化内容创作[J].中国传媒科技，2022（12）：73-76.

【4】朱欣英.广播电视科普节目的生产传播与策略研究[J].新闻爱好者，2021（12）：94-95.

【5】邵明铭，赵丽.基于多模态技术的学习风格分析：演进、困境及图景[J].开放教育研究，2022，No.28（04）：102-109.

【6】刘晓岚，刘伟，梁娟.全媒体应急科普传播体系构建研究[J].灾害学，2023,38(4):000-000.

【7】匡文波，姜泽玮.融合出版视域下健康科普短视频的内容生产与传播探讨[J].出版广角，2022，No.423（21）：32-37.

【8】徐静休，朱慧.新媒体时代提升科普传播效果的对策与建议——以科普新媒体“科普中国”和“果壳网”为例[J].传媒，2018（9）：54-57.