元宇宙技术在新媒体时代的实际应用 ——以世界人工智能大会云会场为例

  元宇宙是人以数字身份自由参与和生活在可能的数字世界。这听上去虽然只是个概念，但在现实中已有诸多实现。

  2020年以来，国内外的卫生和安全事件，对各行各业的线下运营和活动带了巨大冲击，进一步加剧了人们对活动线上化的迫切需求。经过策划构思，“沉浸式三维虚拟会场平台”项目顺势而生，并于2020年正式启动。充足的准备、明确的设计思路、成熟的团队架构以及准确的市场定位，使项目在落地过程中高效推进，笔者团队凭借技术力量，把元宇宙技术多元融入此虚拟平台，最终实现参与者沉浸式线上体验。

一、云会场平台的基本介绍

  笔者团队设计架构的云会场平台首次应用于2021年世界人工智能大会（图1）和世界VR产业大会，作为开幕式官方直播平台提供用户云端入会。会场领域首次展示了虚拟形象入会的概念，新奇的参会方式、真实的观影体验打开了会场虚拟平台这扇尘封的大门。过程中，同时通过用户反馈、市场反应和数据分析，进一步肯定了开发虚拟会场平台的必要性，在收获了一定的经济效益与社会效益的同时，也为后续2.0版本的开发打下扎实的基础。

  团队通过精美的三维建模、炫酷的科幻场景、极高的操作自由度以及双线交互、数据可视化等功能给用户带来了强烈的视觉冲击和感官体验，契合了流行的元宇宙概念，并具象化了其表现形式。2022年云会场项目在打造会场元宇宙的目标驱动下继续拓新，加强技术融合和内容更新，以提升用户体验为目的再次启航。

二、云会场平台的核心技术与创新点

  云会场平台的开发充分体现了当下流行的元宇宙相关技术，而本项目包含的技术部分主要分为两类，即“创新技术模块”与“核心技术模块”。

  1.创新技术模块

  创新技术模块主要是针对世界人工智能大会云会场平台而单独开发的原创功能模块，它们包括：

  （1）全流程线上沉浸式体验

  从注册、获取验证码、登录、创建人物、进入大厅到入座会议室观影全都由开发团队独立完成。以移动端APP，PC端应用程序和Web端页面的形式提供体验。客户端程序使用全三维画面呈现，以类似玩游戏的方式，让观众可以操控自己的虚拟角色在云会场中走动、交互、观影等。

  （2）线上参会、参展功能

  本次云会场系统，支持用户通过检票、进入参展区域，体验类似线下展览会形式的沉浸式体验，实现在移动端也能获得身临其境的感受。

  （3）WebGL版发布

  云会场的Web版平台整体使用了WebGL技术打包，无须安装，直接通过域名地址访问。在Web版中同样实现了全三维虚拟会议室结构，同一会议室在座250位观众为独立的在线用户，并且可以控制动作进行实时交互。

  （4）网页端的HLS流服务

  首次在网页端全三维场景中植入在线视频HLS流信号的直播功能，打破传统视频和直播网站形式，提供沉浸式观感。

  （5）云会场大厅

  云会场大厅（图3），为线上观众提供一个可以聚集、互动、自由移动的沉浸式虚拟空间。

  （6）数据处理模块

  用户习惯数据的采集（在线、观看时间、大厅会议室系统实时数据）分析汇总。

  （7）演讲者模式

  实现演讲者模式，能远程宣讲和向观众投放演讲的内容。

  2.核心技术模块

  核心技术模块是本次云会场平台开发中最核心的一类模块，这些模块中有任一缺失，整个平台将无法正常运作，它们普遍含有较高的技术含量，是云会场架构不可或缺的重要组成部分。

  （1）虚拟楼层扩容技术

  我们需要面对业务访问量有可能随着后续版本功能与结构的更新而变得更加庞大，而且会场作为一个沉浸式交互系统需要非常多的用户同时在线且处于相互可见状态的情况。

  由于一般大型会议在线观众的访问数量都需要以万来计算，所以在系统架构的设计上就需要着重考虑到服务器在线人数的横向扩容问题，并且还需要尽量根据系统扩展性来设计扩容部分的服务端程序如何通信和匹配。

 如图4所示，在云会场的构架设计中我们将整个系统模块化分割，把常规的用户注册、验证、登录和用户相关个性化数据分割到用户数据API服务中，然后再将整个云会场的大厅以类似现实中楼层的形式，在逻辑上进行分层。每一个层面提供一定量的用户同时在线和相互可见，当这一层达到用户链接数量的临界点时，其余的用户再通过进入另一层平行空间实现沉浸式体验。不同层面的用户是相互不可见的，然而我们通过自主研发的聊天系统，使得不同层面的聊天信息汇聚在一个池子中，即不论多少用户都可以看到彼此发送的聊天信息。这样在线用户数量增加的情况下，只需要增加分层数量就可以实现扩容。

  另外沉浸式会场部分通过目前比较流行的负载均衡模式，可以通过横向堆叠服务器资源来应对同一访问入口下的多用户、高并发的使用情况，再通过后台管理模块中步骤较少的配置后，便可以实现扩容功能。以上的扩容，统称为“虚拟楼层扩容技术”。

  （2）帧同步在线服务器

  云会场大厅部分除了采用上述的楼层扩容技术外，团队还为其开发了帧同步服务器（图5）。即用户的操作以60帧/秒的形式被收集，然后通过计算和优化后发送到服务端，再通过服务端在逻辑上实时计算所有用户的位置。可以理解为在服务器上运行的程序清晰、准确地知道每一位用户在大厅中所处的精确位置，然后用通讯传输的方法，实现对自己以外的用户进行数据转发。

  这样的结构类似大型互联网游戏，需要用户APP客户端与服务器之间维持长时间的长链接，同时还需要向周围用户转发自己做出的所有动作，当服务器实现你的操作数据与其他用户操作数据按照相对统一的节奏传输时，才能够实现多个用户相互可见并且做出的动作可以被实时同步看到的情况。

  用户运行的客户端（App或者PC端），通过接受这些统一计算和分配的数据还原其他用户的数据，其中包含位置、运动状态、运动方向、高度、用户名称、虚拟人物穿着的服装等。

  在这一部分最难的是长时间维持用户在线的有效性，防止常见的“断线”和“卡顿”问题。在这两方面，团队通过开发客户端程序内的心跳机制，实现服务器可感知的用户在线状态判断机制（图6）。当用户离线满足后台设定的特定时长时，会被判定为掉线状态，此时再次连接就可以恢复刚才掉线时的位置和状态。如果掉线的时间过长，超过了后台配置的时间，则会被服务器判定为彻底离线，再次连接时需要重新登录角色，从云会场大厅的入口处重新进入。

  （3）虚拟形象换装系统

  云会场使用的虚拟形象支持自主设计和制作，遵循现在游戏的主流开发方式。每一个人物都有模块化的骨骼系统，人物的每一个交互动作可以像录像带一样，一盘一盘导入到骨骼上。这种形式结构为后期增加人物动作提供了极大的便利。当前版本云会场的虚拟形象支持五官、体型、身高等不同参数的调整，既可以创造出迪士尼四到五头身卡通风格人物，也可以改变成写实风的人物形象。从流程上来讲，可以使用一套基础模型，通过调整上面的参数来创建各种不同的虚拟形象（图7）。

 （4）模块化场景功能模组

  整个项目针对移动端进行了大量的测试和场景优化。在云会场应用开发和制作的初期，团队进行了极高精度三维建模来保证模型效果圆滑，贴图效果能够完美地贴合在每一个物体上。在完成基本效果的基础上，对大型场景进行切分，把所有重复出现的部分做成模块化“积木”，通过引擎内置的复用功能，将重复出现的部分实例化。这个步骤可以大大降低重复模型在系统中占用的资源。通过这样的切分和复用，整个场景的多边形数量从一开始的同屏幕数百万个面降低到了五十万个面。然后根据原先渲染生成的超高清贴图，进行压缩和调整，将多张零散的贴图整合到一起，使应用程序运行的效率提升了一倍以上。在不同的场景模块中，可配置的区域也不相同，比如地板的纹理、墙面的纹理、墙壁上发光的灯带，在云会场开发工程中这些部分都可以通过修改配色参数实现效果的变化。

  目前版本的云会场程序在各大主流手机上都可以流畅运行。考虑到用户使用的手机终端存在配置和性能上参差不齐的情况，开发团队还定制了画面调整的选项，可以为用户提供多档画面调整方案，不同的方案占用不同比例的终端性能，即使是低版本的手机也可以通过修改配置，流畅地体验云会场应用。

  （5）低延迟实时直播信号流接入

  云会场平台兼容市面上较少被实现的SRT低延迟视频流，能做到长时间流畅播放高清和超高清直播节目内容。

  我们可以看到，在云会场会议室中拥有一块巨大的虚拟屏幕，屏幕可以通过后台配置播出低延迟SRT视频流信号（图8），最多支持3路不同的视频流地址，供客户端切换观看。

  传统应用开发中的视频播放大多使用平面图形和系统GUI实现，但是在云会场平台中，开发团队需要将视频画面变成一种贴图材质，然后贴到三维空间中，播放视频时通过三维重新排布像素来播放画面内容，并且还需要考虑到低延迟SRT流使用的编码器和云会场画面呈现所占用的系统资源。整体视频编码开发的难度较大，花了较多的时间进行优化和调整。目前云会场平台可以支持最高4K的超高清直播画面播放。

团队在云会场特效制作阶段参照了影视级画面标准，经最终优化后所呈现的效果虽然稍有折扣，但总体上已经达到了预期要求。

三、功能与流程体验

  下面是云会场平台的功能与流程体验展示：

  1.所有参会观众登录客户端后都聚集在此处（图9），用户之间可以进行各种交互、实时聊天等。在前台可以查阅各会场的满座情况和当前举办的活动，大厅内还可以进行换装和角色自定义，另外还可以观看分布在大厅中的广告内容。

  2.平台界面的UI尺寸根据多机型进行适配，画面质量提供多档调整（图10），自己创造的角色昵称也可自定义。

 3.各虚拟角色之间可以进行动作交互，同时支持预制本文聊天和自由输入聊天的切换，聊天内容可被自动过滤，实现后台禁言管理。

  4.虚拟角色可以自由移动和快速传送，在移动过程对其他用户可见，类似游戏中的操作。大厅配备8个不同会场，每个会场可以独立配置会议内容。

  5.可选择配置自己的角色（图11），支持性别、肤色、身高、体型的自定义，具备捏脸功能、换装功能，此外配饰也可自定义。

 6.每个会场通往大厅所对应的通道口设有自定义会议标牌，用户可根据标牌找到想要参加的活动（图12）。此外，主办方还可以通过前台接待员自定义参会注意事项。

  7.虚拟会场、拟真座位（图13），可在每个会场独立主持会议，会场内不同座位具备不同的视角，并且其场景样式是可以配置的。

  8.用户的虚拟角色坐在会场中可以看到其他观众，各角色之间同样具备互动、聊天系统。

  9.会场内的虚拟大屏支持低延时直播流的接入（图14）、全屏模式和切换视频语言（多路视频）的功能。

结语

  近年来随着科技水平的发展，网络的普及以及各移动终端的优化，越来越多人愿花更多的时间在网络上获取信息与资源。随着线下活动能够容纳的用户趋于饱和，但为满足更多用户实体场景体验感受，通过对市场的分析，活动线上化的需求越来越强烈。而眼下各类虚拟产业蓬勃发展，着眼于会议会展行业，如何结合当下前沿技术打造满足用户需求的线上播出平台，成为我们急需攻克的课题。目前的技术、信息、产业生态尚未彻底成熟，传媒行业要战略性谋划、布局元宇宙产业建设，推动自前端研发到中端生产，再到后端场景应用的传媒全链路发展。尽管元宇宙时代的传媒行业面临着些许不确定性，但更多的是机遇和改变。未来，在元宇宙技术的助力下，与时俱进的传媒行业会迎来更好的变革。

（作者简介：朱名一，上海东方传媒技术有限公司-皮皮虾工作室；杨洁，解放日报社）