这项技术，让虚拟世界走进现实！

导语|2021年元宇宙概念已无处不在，也寓意数字虚拟世界和现实世界新一轮的大融合已开启。要构建以假乱真、令人沉浸、承载多人实时交互的虚拟世界，需要庞大的渲染算力支撑，仅依靠终端设备算力无法实现。本文介绍实时云渲染技术，使用云端高性能海量算力满足虚拟世界实时渲染需求。

3D应用场景案例

随着数字化、场景化趋势发展，3D 应用越来越广，聚焦公司内部，业务场景在社交，赛事直播，虚拟主播，虚拟演唱会，会议以及未来腾讯云上的一些第三方应用都有被涉及。下面对某些行业应用场景进行分析，提出对云渲染的需求。

（一） 社交娱乐虚拟大世界

随着Roblox上市、元宇宙概念的流行，越来越多的虚拟世界平台推出，比如，公司内部的Zplan项目、百度的希壤、元象的XVERSE大世界、Meta公司的Horizon worlds等，这些平台和活动是对现实世界的补充和拓展，满足人们社交娱乐等基本需求。这类应用场景复杂、模型较大，采用端渲染方案时，用户需要先下载大场景APP，应用启动时还要等待加载场景模型，APP包体积大和加载时间长都会劝退一部分用户。另外低端机型的用户，画质和流畅方面体验感不太好，平台对重型游戏的拓展也极大受限。

主要痛点/关注点：场景加载和切换时长，以及对低端机型画质和流畅度体验的支持有待提高；对画质清晰度需求大，追求真实感和操作流畅度。

（二）虚拟直播和虚拟展会

传统的直播间多由实景搭建构成，布置直播间时需要考虑打光方向、景物摆放、广告位排布等；之后，一部分公司利用虚拟背景技术打造了绿幕直播间，但“抠图明显”的技术缺陷依旧无法满足用户更高的视效需求。使用实时云渲染，主播在直播间内想要实现更具购买吸引力的现场效果，无须实景铺设、无须额外购置价格昂贵的服务器与高配置硬件设备，能大大降低虚拟直播的成本与门槛。3D虚拟直播能带来比传统直播更具沉浸感的体验，吸引更多用户的关注。

虚拟展会将展陈的3D可视化内容发布到线上，通过URL可以嵌入到官网或宣传页面，助力策展方提升展陈的影响力、吸引潜在观众，打破了常规线下展会中由时间、地域、面积等限制，能够使展会面向世界各地的用户，并随时都能进行参展。

主要痛点/关注点：需要直播间虚拟场景效果更吸引眼球，直播间装修成本降低；要求构建虚拟场景和场景渲染效果优化，追求真实感和操控流畅度。

（三）数字孪生领域

数字孪生是今年才火起来的概念，一般针对B端企业，比如数字孪生工厂（也叫智慧工厂）、数字孪生城市（即智慧城市、城市大脑等概念）。随着数字孪生模型和物理世界的相似度越高，整个程序就会越大，如果是选择本地电脑安装，则每次使用或者展示效果都需要去特定的空间和设备上。而实时云渲染技术解放了时间和空间的限制，只要网络允许，在任何空间和时间都可以随时随地操作服务器上的程序，查看效果，方便做各种演示和决策。另外，实时云渲染也可以让更多人同时协作，适合参与人数更多的场景下使用。

主要痛点/关注点：低端设备运行项目文件或者打开文件过慢、操作不流畅等问题；希望应用实现无需下载或者预下载，无需高端的电脑配置，随时随地通过电脑、平板、手机等多终端访问体验应用。

云渲染和端侧渲染技术对比

云渲染是渲染技术的服务方式之一，与之对应的是端侧渲染。过去，在云服务普及前，实时渲染以端侧渲染服务为主，受计算机能力限制，往往会牺牲画面效果来满足实时系统的要求。现在，随着国内云服务趋于成熟，出现了一些可以提供实时渲染的云平台，如云架平元渲染平台，在云端提供强大的图形实时渲染计算服务，平台配备弹性GPU资源集群，支持自动负载均衡和伸缩扩容，对比端侧渲染，实时计算的速度快，计算画面的精度高，使得实时渲染的效果越来越逼真，同时，还可实现降低研发和运维投入成本。

对比端侧渲染，云渲染具有以下一些优势：

对比端侧渲染，云渲染需要重点解决两个问题：

• 体验层面：与端侧一致的操控时延体验，与端侧渲染基本一致甚至更高的画质体验。云渲染算力的边缘化部署，终端用户的就近接入调度，低时延传输技术，高质量的渲染和编码能力都将成为云渲染平台的基础技术门槛。

• 成本层面：定制化硬件设备，云端算力的逐步积累，通过资源运营提升资源复用率，会逐步拉低云渲染的使用成本。

元渲染PaaS平台

TEG云架平推出“元渲染PaaS平台”，面向想要构建虚拟世界的客户，虚拟世界拥有强实时互动、多人协作等特性。我们的目标是为客户构建虚拟世界提供基础平台能力、上层应用插件和数字资产，帮助客户提升生产和运营效率。此外，元渲染平台拥有突出的成本和体验优势。

（一）平台能力

我们构建元渲染 Paas 平台，目标是通过对现有算力资源、技术进行整合，帮助用户快速构建虚拟应用（小世界）能力。元渲染PaaS平台能力由基础设施、核心能力、场景能力和场景Demo四个部分组成。

• 基础设施：基于CDN边缘、GPU算力平台、RTC低延迟网络技术、自研硬件编码卡和Android容器等构建PaaS平台基础能力，以API的方式对外开放。该部分主要考虑稳定性、成本、单场景并发用户数等。

• 核心能力：打造元渲染插件、全景直播插件和多人互动网络等，满足实时互动和直播的业务需求；进行渲染和编码优化，提升画质、多人互动等体验。该部分主要考虑渲染效果、互动效果等。

• 场景能力：提供构建虚拟世界的通用功能模块，满足比较多的应用场景的需求，以插件方式提供业务方按需使用。

• 场景Demo：我们在构建场景 Demo 时会逐步积累一些数字资产和数字资产构建工具，降低客户在美术资产的投入工作量。场景通用插件和场景Demo这两部分主要面向客户是对 UE4 不熟悉的新手团队，可以基于一些比较成熟的插件和场景 Demo 快速构建自己的业务场景，主要考虑易用性。

（二）打通元渲染+多人互动+全景直播全流程：

元渲染PaaS平台满足虚拟世界里的两类用户：互动用户和直播用户。

互动用户可以通过PC、手机、Web和VR 设备接入，可以实现 6DOF 的观看模式，以Avatar形式在场景中自由活动，与场景交互，与其他互动用户交流。

直播用户只能观看，观看的视角可以是场景中导播控制的，也可以是场景中预设的一些全景采集位置，只能实现 3DOF 的观看模式。平台满足互动用户与直播用户的无缝切换。

• 互动端：全链路操控延迟小于50ms；支持端与云的信令双向传输和媒体双向传输；支持多人互动网络，满足大世界需求。用户在端侧通过一个轻量 SDK 接入，主要由控制指令采集、视频播放器组成；云端会为用户启动一个 UE 的渲染引擎，用户端和云渲染端通过 WebRTC 打通。当用户接入时：

• 就近分配一个云渲染服务（基于 CDN 边缘），确保用户的操作时延体验

• 用户的操作会通过 WebRTC 的 DataChannel 通道上传到云渲染端，并由云渲染端响应用户操作

• 用户的声音会通过 WebRTC 的音频上行通道上传到云渲染端，作为 Avatar 的声音

• 云渲染端完成画面渲染和场景声音混音后，会通过 WebRTC 下行媒体通道到达用户客户端

• 直播端：支持采集360°全景视频流并且实时推送直播系统；直播系统对全景视频流支持FOV转码和传输，保证用户体验前提下，尽量优化传输带宽。

（二） 平台优势

• WebRTC超低延迟网络传输技术，全链路操控延迟50ms

• 自研编码芯片和V265算法，视频压缩率比行业优20%

• 渲染与编码联合优化技术，带宽降低10%

• 结合自研硬件编码卡的定制机型，单路渲染成本节省70%

• GPU算力平台@CDN边缘，支撑服务边缘部署，延迟更低、成本更低

• 稳定可靠的云服务运营能力、云原生技术架构，降低开发和运营成本

• 8K 60fps VR全景直播技术，支持FOV带宽优化，降低带宽75%以上

• 自研分布式渲染引擎技术，渲染算力消耗至少降低50%