云天畅想云端虚拟现实技术路径,驱动行业革新

发布时间:
2023-09-28
作者:
云天畅想
浏览:

9月22日,2023国际虚拟现实创新大会在青岛崂山区举行。云天畅想联合国家虚拟现实创新中心(青岛)等单位共同承办的平行分论坛也在当天召开,公司副总裁程起飞发表《云端虚拟现实,创新数字世界引擎》的主题演讲,与大家共同探讨虚拟现实与数字经济发展未来。

云天畅想云端虚拟现实技术路径,驱动行业革新

云端虚拟现实,创新行业发展新路径

在国家政策支持、技术配套日益成熟、市场认可度持续提升的环境下,近年来中国虚拟现实行业市场迅速发展,达到千亿规模。但算力、终端、体验、内容等方面依然存在着制约着行业发展、亟待解决的核心问题。

云天畅想云端虚拟现实技术路径,驱动行业革新

虚拟现实产业对底层算力要求高,高性能、高性价比的算力资源是各领域应用规模化重要底座支撑;画质、延时、交互等体验距离完全沉浸感还有很大差距;终端性能、成本、操作感知、兼容性等还需要改善;与此同时,上述问题也提高了内容制作门槛,导致缺乏高品质内容。

云端虚拟现实,将会是突破行业发展限制的重要技术路径。利用云计算技术,用户实际上可通过终端设备接入算力中心,获得几乎无上限的算力支持。

计算上云,将计算复杂度高的渲染上云,会大幅降低VR终端的渲染计算压力,降低VR终端性能要求和开发成本,以轻量的方式和较低成本更容易被用户接受;并且通过计算的标准化,降低内容和应用制作的门槛,无需适配多种终端设备,只需关注于内容和产品本身。

内容上云,利用云端超大规模的存储能力,内容云化、集中化,便于内容的统一分发和版权管理;即点即玩,无需下载,加速了内容的传播。

提升体验,利用云端算力和存储的能力,可以进行高复杂度的图形视频以及3D音视频的实时处理,提升实时交互内容的品质;借助5G、Wi-Fi等网络技术,实现终端无绳化、移动化,进一步提升舒适感、沉浸感。

5G云VR,虚拟现实产业创新技术

近年来,随着5G网络的不断完善,云端和终端连接最基础的一环已经具备。公司与运营商深度合作,打造了5G边缘云云VR技术架构,实现云网边端高效协同。

结合5G网络的UPF下沉技术,通过将算力和内容投放到离用户基站最近的边缘云数据中心,进一步降低核心网络上数据传输的延时和带宽损耗。通过5G切片技术将网络资源划分为多个独立的虚拟网络,优化特定应用的传输效率和质量。基于此方案,可提供8K、HDR视频画质,延时小于30ms,有效降低眩晕感;支持3D音视频、6DoF视听觉同步、左右眼120帧的体验,除VR游戏外,还可广泛用于VR视频、直播、巨幕影院、文旅、医疗、教育等场景,助力虚拟现实在各个行业领域的发展。

云天畅想云端虚拟现实技术路径,驱动行业革新

与此同时,云VR在数据量传输、超低时延方面有更高的要求,公司为满足高质量、高沉浸感体验,从整个链条上端到端关键技术进行优化提升,包括5G云VR交互和传输技术、视频处理技术、音频处理技术和QoE评估技术等。

云天畅想云端虚拟现实技术路径,驱动行业革新

在虚拟世界里,交互对时延的要求极高,在整体时延方面,网络传输尤为关键。公司通过基于WebRTC优化传输协议,平衡延迟和丢包卡顿;对拥塞算法、网络预测算法、平滑发送算法及向前纠错算法等基础模块深入优化,保障传输更顺畅;同时基于交互数据连续性、相对性、不可缺失性等特点,对WebRTC的控制指令传输通道做了质量保障优化,实现在普通网络条件下,操控延时降低到30ms以下。

视觉是体验世界的主要渠道,图像显示的清晰程度、图像变化的连贯性和流畅性影响体验的真实感。公司在云端视频处理上采用优化的FOV切片技术,根据视角、视点热度分配各个视角切片的可用码率,解决云VR由于画面清晰度、刷新率等不足导致的用户晕眩等问题;采用非均匀视角映射算法,对视频帧的不同区域采用8K/4K不同编码方式,并在GPU上通过硬件执行,从而降低处理延迟。

不同于传统的通过多个物理声源营造的多声道环绕声效果,VR场景主要使用耳机提供左右两个声道。公司采用VR/AR三维音频渲染、个性化HRTF头传输函数预测、360度声学场景构建及6DoF音视频空间同步等技术,通过用户所在位置以及位置、角度改变等,计算所有声源组合,实现3D音频实时渲染,提升VR/AR音视频整体的沉浸感体验。

而评估云VR体验是否具备沉浸感,可以从延时、画质和流畅三个方面评价。这三个方面是独立又互相影响的基本维度。例如可以通过提高码率提升画质,但数据量增加会加剧传输带宽等资源消耗,可能会造成数据在传输中丢失,最终降低流畅性,增加延时。

公司建立了一套QoE评估模型,覆盖服务端采集编码、数据网络传输、终端解码渲染、操控事件上下行等环节全链路上百个指标,并且和网络环境模拟自动化测试系统打通,可将采集数据进行回放,进行算法验证和策略模型训练。利用数据来驱动系统的优化方向,平衡整体的用户体验。

高端算力一站式解决方案,行业发展新引擎

公司创立于2016年,创立之初,便投入到云VR技术研发与积累以及应用商业化,基于底层技术逐步打造了云游戏、云视讯、云电竞、高性能云工作站、元宇宙、自动驾驶仿真测试等解决方案。

在算力底座方面,公司自研定制GPU算力服务器,软硬一体深度定制优化,兼容X86/ARM内容生态,超高性能、超低时延图形图像实时处理;采用GPU集群、服务器堆叠技术,形成大算力,为各应用提供高性能算力保障。

基于算力底座,公司构建了一整套算力网络实时操作系统,提供弹性算力,还可通过边缘算力调度引擎充分协调多机资源构造大算力集群;并且支持协调边缘计算与中心云计算资源,资源、数据、业务编排、应用管理、服务及智能分布式协同。同时,还提供3D图像渲染引擎、空间音频渲染引擎、视频编码引擎、低延时串流引擎、分布式渲染引擎等技术能力。

公司基于深厚的技术积累,集成高质量、可扩展、高兼容性、低延时的高端算力一站式解决方案,广泛适用于娱乐、办公、智能等需要实时交互、实时响应、实时决策的新兴应用场景。创新驱动数字世界发展新引擎,助力数字经济快速发展。


相关推荐